= OpenMPI =

By default, το OpenMPI που έχουμε εγκαταστήσει στα clones χρησιμοποιεί shared memory για την επικοινωνία εντός του κόμβου. Αυτό υλοποιείται με memory map ενός αρχείου που βρίσκεται στο `/tmp`. Επειδή όμως το `/tmp` στα clones είναι NFS mount η intra-node επικοινωνία by default είναι απελπίστικά αργή. Λύσεις:  

- Τρέχουμε μέσω TCP/IP:

Δεν είναι βελτιστοποιημένη επικοινωνία αλλά δουλεύει και είναι κατάλληλη για non-critical εφαρμογές. Π.χ. με αυτόν τον τρόπο τρέχουν οι φοιτητές στα παράλληλα.

`/usr/local/open-mpi/bin/mpirun --bynode -np 16 -machinefile machines --mca btl self,tcp my_MPI_prog`

- Χρησιμοποιούμε αρχείο από τον τοπικό δίσκο:

`/usr/local/open-mpi/bin/mpirun --bynode -np 16 -machinefile machines --mca orte_tmpdir_base /local/tmp-MPI my_MPI_prog`

Πρέπει προηγούμενα να έχουμε δημιουργήσει ένα αρχείο (στο παράδειγμα tmp-MPI) σε directory του τοπικού δίσκου (εδώ `/local`) σε όλους τους κόμβους που θα εκτελεστεί το πρόγραμμα.

- Οι developers του OpenMPI προτείνουν και τη χρήση αρχείου στη μνήμη, που έχει σε πολλές περιπτώσεις καλύτερη επίδοση (αλλά έχει διάφορα implications που χρειάζονται προσοχή)

`/usr/local/open-mpi/bin/mpirun --bynode -np 16 -machinefile machines --mca orte_tmpdir_base /dev/shm my_MPI_prog`

''Σημ.'': Ο διακόπτης `--bynode` "γεμίζει" όλους τους διαθέσιμους κόμβους που βρίσκονται στο machinefile και στη συνέχεια αναθέτει κυκλικά επιπλέον διεργασίες σε κάθε κόμβο. Αντίστροφα ο διακόπτης `--byslot` γεμίζει όλα τα slots ενός κόμβου πριν προχωρήσει στον επόμενο κόμβο. Τυπική οργάνωση
{{{
machinefile:
clone1 slots=8
clone2 slots=8
clone3 slots=8
...
}}}
=== MPI over MX (Myrinet) ===

θα πρέπει να δώσουμε κάποιες παραμέτρους περιβάλλοντος για να μπορούμε να εκτελέσουμε MPI over MX καθώς και το  `--mca btl mx,self` για να μη χρησιμοποιεί TCP/IP

`MX_RCACHE=2 /usr/local/open-mpi/bin/mpirun -x MX_RCACHE=2 --mca btl mx,sm,self -bynode `

**ΠΡΟΣΟΧΗ! : Τα παραπάνω είναι OpenMPI specific (π.χ. δεν ισχύουν για MPI-CH)