ProgressMeeting20163010
Progress Meeting 30/10/2016
===========================
===========================
Ce document est en partie le résultat de la réunion Brainstorm de 28/10/2016
Présent: Sophie, Bruno, Charles, Michel C, Nico, Gilles, Luc, Olivier
Préambule
=========
- La mise en place de la partie System du "Euler Remote Observing" sera le
prototype de ce qui sera installé à La Silla.
- Toutes les fonctionnalités de argos1 seront reproduite dans la coupole vaudoise
avant une quelconque mission d'installation a La Silla.
- Toutes les installations et opérations seront documentées avec l'idée de refaire
un système complet à partir de scratch.
- Une solution VPN est acceptée coté ESO.
- Une connexion VPN donne un accès facilité (voir simplement possible) aux différents
éléments connecté sur le réseau local (KVM, PDU (IP-Power), Beckhoff, Moxa, Adam, ...)
Architecture
============
Pour le dévellopement et les premiers tests
- création d'un sous réseau "indépendant" de l'observatoire nommé "Labo" au fond
du couloir de l'électronique
Depuis le switch coupole (sw-obs-coupolevd) on part (voir schéma):
- sur une connexion directe (réseau Observatoire) pour usage usuel:
- météo
- utilitaires astro
- Web
- etc...
- sur 3 sous réseaux (indépendants (TBC)):
- Euler (remote oberving + développement) (En VPN sur La Silla:Euler TBC)
- Remote Observing (TBD)
- Local (local observing) (TBD)
Chaque sous réseau commence par un Routeur VPN (TBC) puis un switch (TBC) pour
permettre toutes les connexions additionnelle à ce sous réseau.
Architecture Labo
-----------------
- 1 "Server" NUC avec écran Ultra-HD (4k)
- 2 NAS (Network Attached Storage ou Serveur de Stockage en Réseau). Un est le replicat de l'autre.
Ils gèrent:
- espace disque
- serveur LDAP (Lightweight Directory Access Protocol, ou Protocole d'accès aux
annuaires léger) en remplacement des NIS de argos1
- serveur d'installation
- serveur WEB
- 1 Beckhoff modèle C6240-0010 du type utilisé dans le groupe télescope (glst*) pour test
d'installation et développement
- 1 Beckhoff modèle C6240-0040 du type utilisé dans le groupe instrument (glsecam, glscora ...)
pour test d'installation et développement
- 1 NUC (uniquement pour test) pour test faisabilité de serveur BDD Posgresql
- ? N'importe quel device pour les développements futur (pulse counter, caméra, etc ...)
Architecture Euler Network
--------------------------
- 1 "Server" NUC avec écran Ultra-HD (4k)
Architecture Remote Network
---------------------------
- 1 "Server" NUC avec écran Ultra-HD (4k)
- 1 Raspberry (pourquoi pas) avec écran, webcam, micro, haut parleur pour la
communication par Skype avec l'opérateur local
Architecture Coupole Network
----------------------------
- 1 PC sous Windows avec écran et toute sa connectique USB (HUB USB) vers le telescope
- 1 WebCam (infrarouge?) pour surveillance télescope
- 1 station pour connexion WEB et utilitaires
Concepts
========
Prototype Système La Silla (Dans le labo electronique)
------------------------------------------------------
Il faut prendre en considération que nous n'avons pas d'expérience avec le nouveau matériel.
- Logiciel d'observation: l'usage d'un NUC pour faire tourner le logiciel d'observation
sera un test primordial pour décider si on continue sur cette voie.
TBD: définir la distribution
Cela implique l'installation de:
- compilateur Fortran
- compilateur C
- librairies
- perl
- java (utilitaires)
- Logiciel de réduction: la distribution SL511 est la plus récente permettant de faire tourner
la réduction. Il faut tester si un NUC peut remplacer le castor2 de La Silla.
Cela implique l'installation de:
- TBD
- Serveur Postgresql: le remplacement de castor1 (à La Silla) qui a le serveur Postgresql
(pour les services) par un NUC doit être testé: est-ce qu'un NUC permet un
accès acceptable à une base PostgreSql?
Pour info il faut savoir qu'un mini-PC sert actuellement à l'affichage temps réel
des services (sondes) sur un écran 25 pouces. Ainsi un seul NUC pourrait remplacer
argos1 et glsmini01.
- Serveur de mail: sur le NUC? TBD
- Serveur NIS: utiliser LDAP sur NAS
- Serveur disque: c'est par nature le NAS
- Serveur de SunRay: devient inutile vu l'utilisation des écrans ultra HD.
Il faudra toutefois prévoir un remplacement au poste "Réduction" (NUC ? voir plus
haut) et au poste "Météo et Services" (NUC, Raspberry : TBD)
- Serveur d'installation: utiliser le NAS qui implémente PXE, donc on récupère ce qui
existe sur argos1. Les installation nécessaires sont:
- CentOS 72 (NUC) (TBC)
- SL67 64 bits (glscora, glserv)
- SL55 64 bits (glsecam, glspc20, glspisco) (en attente de passage à SL67)
- SL55 32 bits (glst*)
- SL511 (castor2 (reduction))
- Serveur WEB: NUC ou NAS? TBD
Nécessaire pour
- flag coupole ouverte (colaboration avec certaines coupoles robotiques de La Silla)
- carte stellaire (EcamOps + Gsc)
- Backup: Stratégie à redéfinir selon notre expérience (snapshots)
- Monitoring: Nagios ou autre: TBD
- Puppet: TBD
- Serveur de shutdown: confier ce service à glsserv
Remote observing La Silla
-------------------------
Dans la salle de contrôle du rez-de-chaussée
2 possibilités (TBC):
- Entièrement NX
Cette solution ne demande aucune modification du logiciel
- Le logiciel d'observation tourne en local et le quick look des RAW sur NX
Cette solution demande:
- VPN sur Euler
- modification du serveur CCD Coralie pour qu'il sauve les images brutes
directement sur le disque de données (La Silla)
- modification des procédure de sauvegarde des images brutes
- modification de lancement du trigger d'image (couplé avec RTD) sous NX
- un écran + PC dédié à cela pourrait être nécessaire
Dans tout les cas (à La Silla) il faudra prévoir un contrôle de connexion avec
une stratégie en cas de perte de connexion (watch dog)
Remote observing
----------------
Dans la salle de contrôle du rez-de-chaussée.
Entièrement à définir.
Basiquement un écran 4k sera dédié à cela ainsi qu'une station Skype pour la
communication avec l'opérateur distant.
Observation Locale
------------------
Au premier étage.
On s'oriente vers un système clés en main, ainsi au minimum une station sous Windows.
Toute la connectique sera USB (TBC). Ainsi un HUB USB (pro) proche du télescope est
à prévoir.
Une station supplémentaire Linux (météo, web, etc) ... pourrait être prévue comme
celle du rez-de-chaussée.
Etapes
======
(l'ordre est TBC)
- récuperer un espace de travail dans le local du fond du couloir de l'électronique
- définir un espace de sauvegarde sur un FileSystem de l'observatoire (voir ci-dessous)
- définir l'emplacement Plone
- déballage dans le local du fond du couloir de l'électronique
- installation routeur - switch
- création d'un réseau local en 10
- test accès WWW
- installation NUC
- installation du NAS
- installation de LDAP
- création des utilisateurs
- installation + test NX
- installation de LDAP (NIS équivalent)
- installation + test du logiciel d'observation
- installation + test serveur postgreSql
- installation VPN
- test remote observation ECAM (basique) avec logiciel d'observation en local
pour définir si ce mode doit être mis au point plus profondément.
- installation du serveur d'installation
- installation + test des différentes installation (2 types de Beckhoff + NUC)
- installation du serveur mail
- mise en place du Backup
- installation serveur WEB
- installation des catalogues
- test application java sur serveur WEB
- installation Nagios ou équivalent si nécessaire
- installation Puppet si nécessaire
- test rapatriement données brutes
- installation + test de la réduction sur NUC
Mode de travail
===============
- Les premières étapes exigent une réponse efficace de l'équipe d'installation.
L'idée n'est pas seulement que quelque chose fonctionne, mais que les étapes
de l'installation soit documentées et faisables à nouveau par autre un membre
de l'équipe.
De mon point de vue un démarrage avec Sergi à 20% (1 jour par semaine) est à revoir
pour le début du projet. J'ai le sentiment qu'une collaboration à 100% durant les
premiers jours est plus que nécessaire.
De même, le travail avec le groupe IT local (Gilles, Olivier, Nico, Charles) doit
être agendé au cas par cas et fiable pour chaque étape lorsque ce groupe est nécessaire.
Sinon
- Si possible que du travail en équipe
- Chaque nouvelle option doit être discutée en équipe
- Chaque étape doit être documentée sous forme de mode d'emploi (Plone)
- Chaque étape doit pouvoir être recréée depuis scratch à partir du mode d'emploi
- On fait une sauvegarde (observatoire) des fichiers de config, des "Packages" utilisés
ou lien vers ces "Packages" qui sont décrits dans les modes d'emploi
- Toute avancée "en solitaire" doit donc pouvoir être effacée et reinstallée par un
membre de l'équipe
Annexe
======
- le système informatique coté Worksation/Serveur à La Silla doit être renouvelé du aux faits
suivants:
- panne serveur
- fin des SunRay
- distribution Linux obsolète
- Le renouvellement permet de mettre en place de nouvelles technologie
- écran 4K
- serveur NAS
- Dans l'approche de l'automatisation de la coupole il serait bien de faciliter l'acces
aux matériels de contrôle à distance actuellement complexifié voir impossible par les
firewall ESO:
- KVM
- PDU (IP-Power)
- maintenance de tout ce qui est et sera connecté à Internet:
- Beckhoff
- caméra de guidage
- Station meteo
- Adam
- ....
- L'idée et créer dans la coupole vaudoise l'installation d'un système qui sera répliqué tel
quel à La Silla.
- Ceci permet la mise en place du nouveau simulateur et permet le test de nouveaux hardware
(PC, device, ...) distribution (nouveau linux, etc)
- On doit donc pouvoir installer ici se que l'on installe ou que l'on devra installer là bas.