Protocole d'installation à La Silla

Préambule

Ce document sert de journal de mission, les opérations réalisées dans le paragraphe déroulement sont precedees d'un OK:

L'idee serait de nommer le rseau euler.ls.eso.org en changement de glsnet

Dans un premier temps, on garde le nom glsnet

Attention ceci influence

• /etc/dhcp/dhcpd.conf (/opt/import/etcNuc/dhcp/dhcpd.conf)
• /opt/import/bin/install.sh
• /opt/import/dns/createCompleteZoneSettingsForDNS.pl
• /etc/mailname (/opt/import/etcNuc/mailname)
• /etc/postfix/generic (/opt/import/etcNuc/postfix/generic)
• /etc/postfix/main.cf (/opt/import/etcNuc/postfix/main.cf)
• DNS Server Zone sur NAS

Prérequis

• Avoir la clé USB Ubuntu 16.04.1
• Avoir la clé USB InstallationEuler

• Cables RJ 45 selon besoin classe 6

Rem: Le Nom du serveur de mail a La Silla (smtphost.hq.eso.org)

Attention

Principe

Le but de la mission est de passer au nouveau système en laissant argos1 tourner le plus longtemps possible en lui retirant petit à petit ses fonctionnalités de serveur de disques, NIS, DHCP, DNS, server d'installation, etc ..

Ces fonctions sont reparties sur le NAS (serveur disques, LDAP en remplacement de NIS), DNS, serveur d'installation et sur un NUC (serveur DHCP).

Toutes les installations et test se font et se valident sur glsnuc05, la machine de spare. Une fois l'installation validee, les autres NUC seront installe. Durant cette periode les procedures d'installation et de test sont finalisees.

Rapidement on doit arriver à un état dans lequel:

• Aucun LCU ne monte les disques exportable de argos1 (data ou home)
• plus de serveur DHCP, NIS, DNS sur argos1
• argos1 n'est plus un serveur (il utilise les services du NAS et du NUC).
• Le soft d'observation et la réduction tournent sur un NUC

Buts des missions en quelques mots:

Debut janvier: Vincent

• Réceptionner le matériel
• Installation du NAS (physique et soft)
• Sauvetage de argos1 (synchronisation /gls et /home sur le NAS).

Mission préparatoire 18 janvier-23janvier: Luc+Vincent

• Installation de la machine spare glsnuc05
• Installation du DNS et LDAP sur le NAS
• Installation serveur secondaire DHCP sur glsnuc05

• Utilisation disques, DNS, LDAP, DHCP  depuis glsnuc05 + 2 LCU: glstspa et glspisco

• Test logiciel d'observation sans modification des LCU

Mission technique 30 janvier - 6 février Sergi+Luc+Vincent

(C'est en fait une mission d'observation qui sert à la mise en place du nouveau système)

• Update de tous les LCUs dans le nouveau système
• Observation depuis un NUC
• Reduction sur un NUC
• Gérer le rapatriement des données (raw + services)

• SBC: Validation manuel et mise à jour si besoin

Mission technique 13 février - 17 février: Luc + Vincent

• Correction selon le debriefing de la mission Sergi
• travaux en parallele (voir ci-dessous dans le paragraphe déroulement)

Mission technique 23 février - 27 février: Luc + Vincent

• Correction selon le debriefing de la mission Vivien
• travaux en parallele (voir ci-dessous dans le paragraphe déroulement)

Remarques:

• Les SunRay disparaissent définitivement. Les écrans 19" peuvent être récupérés comme écrans de contrôle, ils ne sont pas utilisable par les NUC qui n'ont que HDMI ou DVI.
• Les switch SunRay seront inutilisés et on récupère le réseau cablé jaune (RG45) pour les NUC car les stations NUC sont au même emplacement.
• Rapatriement des SunRay 2 écrans.
• Rapatriement des données PIsco sur les disques récupérés de Argos1
• rapatrier les catalogues sur cle USB (TBC)

Déroulement

Avant la mission

• OK -- Copier la DOC d'installation (avec référence sous réseau 10.10.133.0) du Plone Euler sur le Plone astronome (luc) en partie..... mais ok...

• OK -- Creation de 2 clés bootables avec distribution Xubuntu (voir ce document)
• OK -- Création de la clé de sauvetage de devellopement pour cette mission (voir ce document)(Luc)
• OK -- Diminution du volume des données sur $TDATA afin qu'elles fit l'espace a disposition sur le NAS (Luc)
• OK -- Installation du NAS sur le rack  (quick installation guide) (Vincent)
• OK -- Attribuer les IPs des NAS, NUCS et PDUs sur le serveur DHCP (sur argos1) (voir ce document) (Vincent)
• OK -- Installer NAS en Raid5 et HighAvaibility (voir ce document) (Vincent)
• OK -- Installer NFS sur le NAS (voir ce document) (Vincent)
• OK -- Archiver argos1 sur le NAS (/gls et /home) (Luc ou Vincent) (voir ce document)
• OK -- Retirer le poste de travail de droite (1SunRay, 2 écrans) (Vincent)
• OK -- Repérer au moins 4 câbles réseau SunRay pour les passer au moment voulu sur le switch instrument (Vincent)
• OK -- Installer le deuxième écran 4k sur le poste de travail de droite avec le glsnuc05. Utiliser l'ancien cable réseau du Sunray et le mettre sur le switch instrument (Vincent+Observateur)
• OK -- Installer glsnuc05 avec la clé de boot (installation basique, update + installation de quelques package comme test de faisabilité) (voir le début de ce document) (Vincent+Luc)

Durant la mission préparatoire

Mettre en fonction le plus rapidement possible le NAS, et utilisation de glstspa puis glspisco comme LCUs de test. Argos1 doit rester actif en fin de mission pour la mission chilienne.

Tester le logiciel d'observation sur glsnuc05 et le faire fonctionner comme serveur DHCP. D'après les tests ici, il semble n'y avoir aucun problème à avoir 2 serveurs DHCP sur le même réseau (TBC). SBC: Il peut avoir s'ils ne sont pas configuré pour travailler ensemble, pour le test on peut désactiver temporairement le service DHCP d'argos1/2.

Tant que le fonctionnement de argos1 est maintenu, certains objectifs de la mission suivante peuvent etre réalisés durant cette mission préparatoire.

• OK -- Terminer ce qui n'a pas ete fait avant la mission (voir ci-dessus)
• OK -- Archiver argos1 sur le NAS (voir ce document)
• OK -- Synchroniser argos1:/opt/t4 sur NAS (pour etre sur d'avoir les exe 2.6)
• OK -- Installer glsnuc05 complètement, le mettre comme serveur de mail (voir ce document) et comme serveur DHCP secondaire (le primaire est argos1 et plus tard ce sera glsnuc03). Laisser le DHCP inactif
• OK -- Donner un IP fixe 10.10.132.39 (manual) pour glsnuc05
• Test du mail (voir ce document)
• OK -- Synchroniser certains éléments de la clé InstallEuler voir ce document
  
• OK -- Sous /opt/t4/beta/src/ verifier les propriétaires et mode d'accès.
• OK -- Sous /PXE_install/, changer le owner a root

• OK -- Sous /PXE_install/ modifier toutes les reference à 10.10.133 pour les mettre à 10.10.132 (find /PXE_install -type f -exec grep -l 10.10.133 {} \; -prune -a -exec sed -i 's/10.10.133/10.10.132/g' {} \;)

• OK -- Installer LDAP sur le NAS (voir ce document)

• OK -- configurer users et groups sur le NAS selon l'etat actuel sur argos1 (lw: import/ldap est à jour le 9/1/17)(voir ce document)

• OK -- Mettre tout les utilisateurs (sauf chile) dans le group "docker" (voir "Ajout de tout les utilisateurs dans le groupe docker" dans ce document)
• OK -- Vérification du home lors du login sur le Nuc

• OK -- Vérification du home lors du login sur le LCU

• OK -- Installer le serveur DNS sur le NAS (voir ce document)
• OK -- Ajouter manuellement les alias (CNAME) sur le NAS dans DNS server pour glsnuc03=glsmail, glsnuc02=glsdrs et glsnuc01=glsmonit
• OK -- démarrer le serveur DHCP sur glsnuc05 (systemctl enable isc-dhcp-server) et tester le bon comportement avec deux serveurs sur argos1 et glsnuc05, par exemple: reboot d'un LCU, connexion d'un mac connu (Luc ou Vincent) et vérification des IP.

• OK -- Modifier glstspa puis glspisco pour acces LDAP (on peut perdre pisco) (voir ce document)
• OK -- Tester l'envoi de mail depuis glstspa et glspisco au travers du relai glsmail (voir ce document)
• OK -- Installer NTP sur le NUC (DOC A COMPLETER) (voir ce document)
• OK -- Installer NTP sur glstspa et glspisco (voir ce document)
• OK -- Installer glsnuc04 (voir ce document)
• OK -- Tester le soft d'observation.
• OK -- Installer glsnuc04 temporairement avec le serveur PostgreSQL (voir ce document)
• OK -- installer glsnuc03 (DHCP primaire mais disable)(voir ce document)
• OK -- installer glsnuc02 (futur machine de reduction)(voir ce document)
• OK -- vérifier l'automount des LCU ( ex:/net/glsserv) et lien des services sur glsnuc05

Durant la mission technique (mission Sergi)

Premier jour (dernière nuit chilienne), priorité

• OK -- Remettre disque original sur glsecam (selon tests pour Gilles, no news)

• OK -- Faire fonctionner le sendmail
• OK -- Installer LDAP sur glspisco et glsecam (voir ce document)

• OK -- Installer NFS sur glspisco et glsecam (voir ce document)

Jours suivants

• OK -- Finir reduction reduction chilienne (Vincent)
• OK -- Synchronisation argos1
• OK -- Modifier YUM sur tout les LCU (voir ce document)
• OK -- Installer LDAP sur tout les LCU, argos1 et les castor (voir ce document)

• OK -- Installer NFS sur tout les LCU, argos1 et les castor (voir ce document)
• OK -- Attendre fin de réduction chilienne

• OK -- Désactiver le serveur DHCP sur argos1:
• Temporairement:
• service dhcpd stop
• service dhcpd start
• Definitivement:
• chkconfig dhcpd off
• chkconfig dhcpd on --level 5
• OK -- Arrêt de argos1
• OK -- Changer les nom des Nuc
• OK -- glsnuc01 -> glsmonitor
• OK -- glsnuc02 -> glsdrs
• OK -- glsnuc03 -> glslogin1
• OK -- glsnuc04 -> glsaux
• OK -- glsnuc05 -> glslogin2
• OK -- Démarrer (enable) le serveur primaire DHCP sur le glsnuc03 (systemctl enable isc-dhcp-server). Laisser le serveur secondaire DHCP sur glsnuc05

• OK -- Reboot de tout les LCU et vérification de la porte oposée ( directory sur synology et rien sur argos)
• OK -- Tester les login (home sur le bon FileSystem)
• OK -- Vérifier le comportement des services
• OK -- Dernier étape de configuration de la machine virtuelle de réduction
• OK -- Exécution automatique au démarrage de la machine virtuelle de réduction
• OK -- Regler les problème d'installation de mail non résolus durant la mission préparatoire

• OK -- Finalisation du passage des services sur NAS (voir ce document)

• OK -- Configurer NTP sans argos1 sur les Nuc les LCU, faire le update du serveur d'installation et mettre a jour la clé de distribution (PXE_install) ainsi que la partie pour le Nuc (import/ntp) déjà partiellement  faite (le fichier courant ntp.conf y est), modifier le script d'installation. Tester une installation de Nuc
• OK -- Test du logiciel d'observation

• OK -- Assurer le rapatriement des raw vers geneve
• OK -- installation du serveur postgres sur glsnuc01 qui est devenu inutile (voir ce document)

• OK -- Test du serveur d'installation
• OK -- modification sur script argos1:/etc/yp/adduser pour travailler en local avec ldap

En parallèle sur ces missions

• OK -- update de Meulcheck (ancienne config pour FP_pression)

• OK -- Installation IP-power (PDU)

• OK -- Configuration IP-power (PDU)

• OK -- Documentation réseau (plan du réseau)

• OK -- Test de clonage de disque LCU

• OK -- Demontage des Argos et Castor

• ~OK -- (Investigation sans résultats, plus de log dans uif.pl) Debug crash expo tungstene du 23/02/2017
• ~OK --(Investigation sans résultats, plus de log dans uif.pl) Debug crash 17/02/2017 switch to ECAM
• OK -- Menu Favorites pour les acces catalogue edp
• OK -- Menu Calibration drift pour coralie (cf Maxime)
• OK -- Clés ssh root pour les ssh (T*)

• OK -- Mise à jour du management de l'UPS centralisé sur glsserv

• OK -- mettre une raquette pour tout les LCUs et mettre cette raquette sur un IP power

• OK -- équilibrage des phase UPS
• OK -- label des prises UPS

• ~OK (seulement alpha weber) --Recompiler l'ensemble du soft d'observation (voir ce document)

• ~OK (seulement weber) -- Récupération de la version beta vers les alpha des développeurs

• OK -- Archiver les catalogues sur disque et sur la clé USB Star Catalogs (plusieurs dizaines de GB)

• OK -- rapatriement des données PISCO sur disque USB 2TB

• OK -- nouveau type de calibration pour edp: coralie_drift (contacter Maxime)

Actions à faire

• Avec Vincent: liste des taches de maintenance + modif en cours (frigos...) + update de la check-list

• meilleurs log (ouverture/fermeture des volets) en faire un service afin de permettre la corrélation entre la température coupole et les mouvement volets

• Documentation système (OK--ajout utilisateur, machine, etc..)
• Mise en place de serveur WEB sur le NAS
• Debugging serveur Coralie (spectro_srv): il semble que c'est la première pose après un changement d'instrument puis focus (TBC).
• Installation du rack Jumo Coralie dans le rack serveur (demande de cable à Geneve pour rallonge)
• utiliser un switch standard + un switch fibre optique et remplacer le switch instrument existant
• deplacer glstspa dans l'armoire service (avec glstser)
• recuperation de port libres dans le switch rack serveur, nécessite un recablage de glstserv et glscspa
• Mise en place d'un système d'archivage (snapshot) journalier, hebdomadaire , ...
• Centraliser et mise a jour de la documentation concernant les services.
• Clonage de l'ensemble des disques LCU (achat quelques disques 500GB à 62chf/piece (Chili))

Actions simples:

• mettre les commandes de démarrage des services dans MeulReport

• Update EcamOps avec le serveur WEB Euler

• simplifier arrêt rack coralie (qui n'existe plus) et lampe off dans uif (attention au mode simulation, ne pas éteindre si on simule sur une autre machine)

Actions concernant les procédures (cela ne peut etre fait qu'à La Silla)

• Allegement des procedures (retirer les actes inutiles: La Palma, C2, transputer, code inutile)
• Stabiliser $THOME/prc (actuellement un link sur prc2 avec un sauvegarde maintenant inutile)

• nettoyage des procedures et keyword obsolètes (plus de 500 keywords inutilisés; voir donc dans src/perl/prcallkw.pl et~/PRC_listes_pour_le_menage/)

• meilleurs log (debut/fin de nuit)

• meilleurs log (changement d'instrument)

Actions pouvant etre faites à Geneve

• Mise a jour documentation Plone (enlever les reference inutiles, retrait des doc inutiles de l'ancien système)