OpenMPI

By default, το OpenMPI που έχουμε εγκαταστήσει στα clones χρησιμοποιεί shared memory για την επικοινωνία εντός του κόμβου. Αυτό υλοποιείται με memory map ενός αρχείου που βρίσκεται στο /tmp. Επειδή όμως το /tmp στα clones είναι NFS mount η intra-node επικοινωνία by default είναι απελπίστικά αργή. Λύσεις:

• Τρέχουμε μέσω TCP/IP:

Δεν είναι βελτιστοποιημένη επικοινωνία αλλά δουλεύει και είναι κατάλληλη για non-critical εφαρμογές. Π.χ. με αυτόν τον τρόπο τρέχουν οι φοιτητές στα παράλληλα.

/usr/local/open-mpi/bin/mpirun --bynode -np 16 -machinefile machines --mca btl self,tcp my_MPI_prog

• Χρησιμοποιούμε αρχείο από τον τοπικό δίσκο:

/usr/local/open-mpi/bin/mpirun --bynode -np 16 -machinefile machines --mca orte_tmpdir_base /local/tmp-MPI my_MPI_prog

Πρέπει προηγούμενα να έχουμε δημιουργήσει ένα αρχείο (στο παράδειγμα tmp-MPI) σε directory του τοπικού δίσκου (εδώ /local) σε όλους τους κόμβους που θα εκτελεστεί το πρόγραμμα.

• Οι developers του OpenMPI προτείνουν και τη χρήση αρχείου στη μνήμη, που έχει σε πολλές περιπτώσεις καλύτερη επίδοση (αλλά έχει διάφορα implications που χρειάζονται προσοχή)

/usr/local/open-mpi/bin/mpirun --bynode -np 16 -machinefile machines --mca orte_tmpdir_base /dev/shm my_MPI_prog

Σημ.: Ο διακόπτης --bynode "γεμίζει" όλους τους διαθέσιμους κόμβους που βρίσκονται στο machinefile και στη συνέχεια αναθέτει κυκλικά επιπλέον διεργασίες σε κάθε κόμβο. Αντίστροφα ο διακόπτης --byslot γεμίζει όλα τα slots ενός κόμβου πριν προχωρήσει στον επόμενο κόμβο. Τυπική οργάνωση

machinefile:
clone1 slots=8
clone2 slots=8
clone3 slots=8
...

MPI over MX (Myrinet)

θα πρέπει να δώσουμε κάποιες παραμέτρους περιβάλλοντος για να μπορούμε να εκτελέσουμε MPI over MX καθώς και το --mca btl mx,self για να μη χρησιμοποιεί TCP/IP

MX_RCACHE=2 /usr/local/open-mpi/bin/mpirun -x MX_RCACHE=2 --mca btl mx,sm,self -bynode

ΠΡΟΣΟΧΗ! : Τα παραπάνω είναι OpenMPI specific (π.χ. δεν ισχύουν για MPI-CH)