Changes between Initial Version and Version 1 of OpenMPI

Timestamp:

10/05/22 17:09:05 (2 years ago)

Author:

ypap

Comment:

--

OpenMPI

@@ +1 @@
+= OpenMPI =
+
+By default, το OpenMPI που έχουμε εγκαταστήσει στα clones χρησιμοποιεί shared memory για την επικοινωνία εντός του κόμβου. Αυτό υλοποιείται με memory map ενός αρχείου που βρίσκεται στο `/tmp`. Επειδή όμως το `/tmp` στα clones είναι NFS mount η intra-node επικοινωνία by default είναι απελπίστικά αργή. Λύσεις:  
+
+- Τρέχουμε μέσω TCP/IP:
+
+Δεν είναι βελτιστοποιημένη επικοινωνία αλλά δουλεύει και είναι κατάλληλη για non-critical εφαρμογές. Π.χ. με αυτόν τον τρόπο τρέχουν οι φοιτητές στα παράλληλα.
+
+`/usr/local/open-mpi/bin/mpirun --bynode -np 16 -machinefile machines --mca btl self,tcp my_MPI_prog`
+
+- Χρησιμοποιούμε αρχείο από τον τοπικό δίσκο:
+
+`/usr/local/open-mpi/bin/mpirun --bynode -np 16 -machinefile machines --mca orte_tmpdir_base /local/tmp-MPI my_MPI_prog`
+
+Πρέπει προηγούμενα να έχουμε δημιουργήσει ένα αρχείο (στο παράδειγμα tmp-MPI) σε directory του τοπικού δίσκου (εδώ `/local`) σε όλους τους κόμβους που θα εκτελεστεί το πρόγραμμα.
+
+- Οι developers του OpenMPI προτείνουν και τη χρήση αρχείου στη μνήμη, που έχει σε πολλές περιπτώσεις καλύτερη επίδοση (αλλά έχει διάφορα implications που χρειάζονται προσοχή)
+
+`/usr/local/open-mpi/bin/mpirun --bynode -np 16 -machinefile machines --mca orte_tmpdir_base /dev/shm my_MPI_prog`
+
+''Σημ.'': Ο διακόπτης `--bynode` "γεμίζει" όλους τους διαθέσιμους κόμβους που βρίσκονται στο machinefile και στη συνέχεια αναθέτει κυκλικά επιπλέον διεργασίες σε κάθε κόμβο. Αντίστροφα ο διακόπτης `--byslot` γεμίζει όλα τα slots ενός κόμβου πριν προχωρήσει στον επόμενο κόμβο. Τυπική οργάνωση
+{{{
+machinefile:
+clone1 slots=8
+clone2 slots=8
+clone3 slots=8
+...
+}}}
+=== MPI over MX (Myrinet) ===
+
+θα πρέπει να δώσουμε κάποιες παραμέτρους περιβάλλοντος για να μπορούμε να εκτελέσουμε MPI over MX καθώς και το  `--mca btl mx,self` για να μη χρησιμοποιεί TCP/IP
+
+`MX_RCACHE=2 /usr/local/open-mpi/bin/mpirun -x MX_RCACHE=2 --mca btl mx,sm,self -bynode `
+
+**ΠΡΟΣΟΧΗ! : Τα παραπάνω είναι OpenMPI specific (π.χ. δεν ισχύουν για MPI-CH)