Selis Openstack @ cloud1

• VPN Server: cloud-gw

• After a power loss: openstack server reboot selis-gw cloud-gw

• If cloud-gw is stuck in REBOOT state:

  virsh start instance-000000065
  nova reset-state --active cloud-gw
  

• Known issue: Μετά από power loss, κάποια bridges δεν κουμπώνονται στο σωστό physical interface. Workaround:
  • Στο cloud1: Για να βρούμε τα μηχανήματα που έχουν θέμα:

    for i in `seq 2 7`; do ping -c 3 cloud$i; done
    ssh cloudXprv
    

  • Στο cloudX:

    brctl addif brqa8f3275f-82 enp1s0f0
    

• Check the network speed of the connections, in case of reported lags: root@cloud1:~# ./get_network_bandwidth_matrix.py If a row has slow speed, the whole cluster will be affected. Remove and insert the respective cable.

Gain access to unpingable VM in Openstack without passwords and network

η φάση είναι η εξής:

• κάνεις openstack server show και παίρνεις το instance id του VM

• virsh dumpxml στον host όπου τρέχει το VM

• μέσα απο το dumped xml βλέπεις ποιο rbd volume έχει σαν δίσκο το VM

• openstack server stop

• μετά στον cloud1, modprobe rbd και rbd map

• mount /dev/rbd0 /mnt

• chroot /mnt

• passwd

• exit chroot

• umount /mnt

• openstack server start

• virsh console ...

Selis Cluster Management

Attached βρίσκεται περιγραφή του setup του νέου Openstack cluster (SELIS hosts). Οι nodes βρίσκονται στο "νέο" rack.

Αν χρειαστεί να συνδεθούμε, κάνουμε ssh root@cloud1 και στη συνέχεια μπορούμε να κάνουμε ssh σε οποιαδήποτε άλλο node (cloud1 - cloud8).

Στο root@cloud1:~/passwords βρίσκεται το αρχείο που περιέχει όλα τα passwords για όλα τα core services του Openstack και του CEPH. Αν μας ζητηθεί να bootάρουμε VMs, κάνουμε τα εξής:

root@cloud1: ~/# source ~/admin-openrc
root@cloud1: ~/# nova list --all-tenants # βλέπουμε UUID αν δεν μας το έδωσε ο χρήστης
root@cloud1: ~/# nova start <VM UUID>

ΠΡΟΣΟΧΗ: Σε περίπτωση power cycle, τα VMs είναι by default down. Bootάρουμε μόνο ό,τι μας ζητηθεί. ΠΡΙΝ bootαρουμε, σιγουρευόμαστε ότι η εντολή ceph -w επιστρέφει HEALTH_OK . Αν όχι, πρώτα φτιάχνουμε το ceph και μετά bootάρουμε. Σε κάθε περίπτωση, πρέπει να είναι πάντα UP το cloud-gw (bcb7f273-19ba-4979-80b6-9a6ac568c535) και το selis-gw (187fa973-b7ad-42ca-968a-d4c04cfb14ff).

VPN access

Για εξαγωγή OpenVPN certificate, μεταφέρουμε το cslab-openstack-<username>.csr στο cloud-gw.cslab.ece.ntua.gr και κάνουμε ssh σαν root. Δίνουμε:

root@cloud-gw: ~/# create-cert.sh cslab-openstack-<username>.csr 

Η τελευταία output γραμμή θα μας πει που βρίσκουμε το tarball με τα απαραίτητα αρχεία. Το στέλνουμε στο χρήστη και that's it.

Προσοχή: Το script θα βγάλει μήνυμα "chmod: cannot access ‘cslab-openstack-<username>.key’: No such file or directory", αλλά δεν μας πειράζει.