Vous êtes ici : Accueil / TECHNICAL PAGES / Modes d'emploi / Reboot et Shutdown / Arrêt manuel total de la station

Arrêt manuel total de la station

Procédure a effectuer par t4-support pour arrêter la station et ses instruments

 

 

Il est préférable de faire un arrêt manuel lorsque l'on a du temps à disposition.

Cela permet de gérer les imprévus, ce que ne peut pas faire le script de shutdown.

A la fin de cette procédure, l'interrupteur général de la station pourrait être mis sur OFF avec les inconvénients suivants:

  • vider les batteries de l'UPS
  • ne plus avoir de lumière
  • vider les batteries des lampes de secours
  • couper les radiateurs (ce qui pourrait être un problème en hiver)
  • couper le frigo de la cuisine

 

Attention, certaines étapes nécessitent les privileges de super-user

Il faut s'assurer au préalable que la commande sudo -s (mettre votre mot de passe) sur glslogin1 fonctionne. Sinon il faut être dans le groupe sudoers (voir doc). Dans tout les cas il faut connaitre le mot de passe de SuperUser.

Il est également important (mais pas nécessaire) de pouvoir faire un login sous TeamViewer sur les 2 machines windows de la station PCWin7-TwinCat3 (10.10.132.90) et winpcbeck (10.10.132.70)

 

 

 

 

Procédure Observatoire ( ou actions à distance )

(voir en fin de document la procédure demandé à l'ESO pour les opérations locales)

 

Cette procédure se lance au travers de x2go sur glslogin1.ls.eso.org

 

1) Arrêt de Necam

Necam doit être mis à chaud et plus tard refroidi selon un protocole. Une coupure brutale n'est pas dommageable mais il est préférable de lui donner une consigne d'arrêt du refroidissement. Dans tout les cas il redémarre avec une consigne de +20[d], donc pas de problème.

Opération facultative:

  1. sur glsserv sous root et lancer: Nstop_CC

 

2) Arrêt de Coralie

A priori Coralie n'a pas besoin d'un traitement particulier. Le seul risque est qu'en l'absence de régulation thermique (Lakeshore éteint) l'azote restant va refroidir le CCD, mais dans des limites qui ne mettent pas le CCD en danger (TBC).

Opération facultative s'il n'y a pas d'urgence et si l'ESO est dispo:

  1. Demander à l'ESO de fermer la vanne d'alimentation mail à ls-tmes@eso.org dès que possible. Uniquement cela, aucune autres des actions citées en fin de document.
  2. Lancer la commande de chauffage sur glslogin1 : set_lakeshore -C 20

 

Rem: Apres le point 3, la commande set_lakeshore n'est plus possible

 

3) Arrêt des Local Control Units (LCUs)

Principe géneral: les LCUs (PCs industriel commandant les instruments) utilisent tous un disque dur conventionnel. Ce genre de machine doit être arrêtée proprement pour éviter des dommages au disque.

Ils sont connectés sur des IP-Power, c'est à dire que leur alimentation électrique peut-être coupée à distance.

Ainsi la séquence consiste à effectuer un arrêt propre, et dès que l'on est certain qu'ils sont tous arrêtés, on coupe l'alimentation de chacun d'eux, un par un par l'IP-Power (URL).

Rem: Un retour d'alimentation sur l'IP-Power ne démarre pas les LCUs connectés. Ainsi une fois arrêtés un LCU démarre par une action manuelle sur l'URL de l'IP-Power.

Opérations:

  1. Sur glslogin1 sous votre nom tapez: T_shutdown_lcu et confirmez par Y
  2. Effectuez un ping <machine> sur chacun des LCUs :
    1. ping glsecam
    2. ping glscora
    3. ping glspc20
    4. ping glsserv
    5. ping glstopt
    6. ping glstreg
  3. Lorsque l'ensemble des LCUs ne répond plus connectez vous sur firefox
  4. Sur 10.10.132.92 (login sans mot de passe) cliquez sur:
    1. glscora -> OFF
    2. glspc20-imacor -> OFF
    3. glsserv -> OFF
    4. glsecam -> OFF
  5. Sur 10.10.132.94 (login sans mot de passe) cliquez sur:
    1. glstreg -> OFF
    2. glstopt -> OFF

 

 

4) Arrêt des workstations

Principe géneral: les workstation sont tous des NUCs (glslogin(x), glsaux, glsdrs, glsmonitor) également connectés à un IP-Power. Comme les LCU ils faut les arrêter proprement. Utilisant des disque type SSDs, un arrêt brutal, n'a pas à priory les mêmes conséquences, mais un arrêt propre doit être tenté avant tout chose.

!!! Attention glslogin1, ne doit pas être arrêté car il gère la session sur laquelle vous êtes en ce moment à travers x2go!!!

Opérations:

  1. Sur glslogin1 sous votre nom tapez: T_shutdown_servers glslogin2 glsdrs glsaux glsmonitor et confirmez par un Y
  2. Effetuez un ping <machine> sur chacune des Worstations
    1. ping glslogin2
    2. ping glsdrs
    3. ping glsaux
    4. ping glsmonitor
  3. Lorsque l'ensemble des Workstation ne répond plus connectez vous sur firefox
  4. Sur 10.10.132.91 (login sans mot de passe) cliquez sur glslogin2 -> OFF
  5. Sur 10.10.132.92 (login sans mot de passe) cliquez sur glsaux-drs-moni -> OFF

 

5) Arrêt du serveur de disques SynologyCluster et de glslogin1

 

Toutes opérations ci-dessus doivent être terminées avant de passer à cette étape.

Attention une fois le serveur de disque arrêté, aucun ordinateur (LCU ou Workstation) ne réponds car les disques du SynologyCliuster sont monté sur chaque Workstation ou LCU et génère une situation bloquante.

le SynologyCluster est le dernier élément du monde Linux qui doit être arrêté et ceci conjointement avec glslogin1 qu'il est préférable d'arrêter proprement.

La stratégie consiste à se logger sur le Synology et lui donner l'un ordre qui fait un shutdown après 60 seconde (en fait entre 60 et 120 secondes). Immédiatement et pendant ces 60 secondes il faut faire un shutdown de glslogin1.

Après cela, la session remote x2go est terminée et le contact avec La Silla est définitivement perdu avec l'usage de x2go.

Opérations, ne passez pas au point suivant si le point courant n'est pas réussi:

  1. Ouvrez un premier terminal sur glslogin1 et tapez sudo -s pour être SuperUser
  2. Ouvrez un deuxième terminal  et tapez ssh admin@10.10.132.101 (mot de passe de SuperUser) pour être sur le SynologyCluster.
  3. Dans ce deuxième terminal  tapez touch /volume1/export_gls/PowerOffFile
    • Rem: un cron, sur le Synology teste chaque minute la présence de ce fichier. Dès que le fichier est PowerOffFile est présent, le système attend 60 seconde, supprime le fichier et lance /bin/poweroff
  4. Immédiatement, dans le premier terminal (root sur glslogin1),  tapez: init 0
  5. Attendre la fin de x2go
  6. A ce moment il faut savoir que le synologyCluster va executer son shutdown avant 300[s]

 

Il faut donc attendre un certain temps que le synologyCluster soit down.

 

6) Arrêt des machines windows et de la PLC (windows7)

Les 2 machines windows et la PLC Telescope peuvent s'arrêter avec une connection TeamViewer. Un bureau à distance sur la PLC permet de l'arrêter, puis arrêt sur chacune des 2 machines restantes.

Sans teamViewer, ces machines s'éteindront brutalement (acceptable).

 

Opérations (pour les personnes qui ont les informations confidentielles de la connexion TeamViewer12):

  1. TeamViewer sur winpcbeck (10.10.132.70) et Shutdown de cette machine
  2. TeamViewer PCWin7-TwinCat3 (10.10.132.90)
  3. Remote Desktop sur la PLC-ETCS (10.10.132.66) et shutdown de la PLC
  4. Shutdown de PCWin7-TwinCat3

 

Possibilité de connexion apres l'arrêt des machines

 

L'unique possibilité de se connecter sur le site est d'utiliser le VPN d'Astrodome ou celui du Labo d'électronique. Du au derniers problèmes rencontrés avec le VPN, il faut certainement rebooter le router local.

Si le VPN fonctionne, on a un accès aux éléments suivants qui ont une adresse IP au travers d'un navigateur

  • Les 3 IPpower
  • L'UPS
  • Les WebCam
  • La meteo, les Adams réseaux, la WebCam

 

La connexion au IP-Power 10.10.132.91 permet de couper l'alimentation de glslogin1 et du cluster de serveur de disque (Synology03 et Synology04) ayant chacun 2 alimentations. Donc:

  • synology03-1 -> OFF
  • synology03-2 -> OFF
  • synology04-1 -> OFF
  • synology04-2 -> OFF
  • glslogin1 -> OFF

 

En temps "normal", mais c'est une feature qui a disparue (! TBC) en rallumant (par IP-Power) un des 2 PC Windows, on pourrait lancer un WakeOnLine sur le Synology Cluster afin de le redémarrer et apres cela démarre glslogin1 et finalement le reste des machines. Actuellement la seule manière de redémarrer le SynologyCluster est d'appuyer sur le bouton "ON".

 

Procédure ESO ( ou actions locales )

 

En cas d'un arrêt complet de la station il faut obtenir une aide de l'ESO (ou du dernier observateur) pour les points suivants:

  • Refrigérateur: le mettre sur OFF, récupérer ou jeter son contenu, maintenir les portes ouvertes (blocage mécanique)
  • Ferrmer la vanne de l'alimentation TP-60 vers Coralie
  • Lampe Off du Fabry-Perot
  • Mettre tout les radiateurs sur ON avec une consigne à 18 degrés
  • Mis sur OFF des disjoncteurs du TEUPS-L105 suivants (TBD) pour que l'UPS garde sa charge
  • Arrêt des 2 climatiseurs du centre de calcul
  • Arrêt de la climatisation primaire de Coralie (bodega), normalement par le commutateur rotatif de l'armoire de contrôle. Malheureusement l'actionneur n'est pas solidaire du commutateur, ainsi il faut ouvrir l'armoire et manuellement tourner le commutateur!

 

 

Luc Weber 19/3/2020, 17/01/2022