Reconstruction des services Reduction

Procédure pour reconstruire les fichiers rdb de loco*, blaze*, ccf_th*, wave* et la mise à jour des BDD euler (postgresql)

La BDD existe à La Silla et à Genève, ainsi certaines opérations sont à faire des deux cotés.

A noter que tout se fait sous le nom de weber (c'est la vie)

Connection sous weber@glsmonitor et sous trmgr@obstr

Avec 2 terminaux

Connection sur les BDD avec pgAdmin3

glsmonitor:

Faire un tunnel ssh dans un terminal:

ssh -L 54321:10.10.132.35:5432 weber@argos1.ls.eso.org -N

configurer pgAdmin3 sur le serveur avec host=127.0.0.1 et port=54321

obstr:

configurer pgAdmin3 sur le serveur avec host=129.194.67.70 (obstr) et port=5432 (défaut)

Arrêt des crons

Editer les crontabs (crontab -e (avant au cas où: setenv EDITOR vi)) et mettre en commentaire:

glsmonitor: last_reduction + Meulup.jar

obstr: rsync ( contient le Meulup.jar)

Suppression des services (rdb)

Exemple de suppression des données 2017:

sur glsmonitor:

cd $TDATA/services
rm blaze_*/*_2017*.rdb
rm ccf_th_*/*_2017*.rdb
rm loco_*/*_2017*.rdb
rm wave_*/*_2017*.rdb

Suppression des services (postgresql)

Sur les BDD (La Silla et Genève avec pgAdmin3) on supprime les tables entièrement (plus simple)

DROP TABLE public.blaze_a,public.blaze_b,public.ccf_th_a,public.ccf_th_b,public.loco_a,public.loco_b,public.wave_a,public.wave_tha2_b,public.wave_thfp_b;

Reconstruction des services (rdb)

Uniquement sur glsmonitor (exemple pour 2017):

Création des tables rdb:

foreach i ( $TDATA/DRS-3.8/reduced/2017-??-?? )
  echo $i
  /gls/data/services/reduction2service.pl $i
end

Suppression des doublons

foreach i ( blaze_*/* loco*/* ccf_th_*/* wave_*/* )
  echo $i
  sorttable -u < $i > qq ; mv qq $i 
end

Check des tables

foreach i ( blaze_*/* loco*/* ccf_th_*/* wave_*/* )
  check < $i || echo $i
end

Reconstruction des BDD (postgres)

On reconstruit les tables depuis leur origine (1997)

sur glsmonitor:

java -Xms2048m -Xmx2048m -jar /home/weber/Meulup.jar - loco_a 19970101
java -Xms2048m -Xmx2048m -jar /home/weber/Meulup.jar - loco_b 19970101
java -Xms2048m -Xmx2048m -jar /home/weber/Meulup.jar - blaze_a 19970101
java -Xms2048m -Xmx2048m -jar /home/weber/Meulup.jar - blaze_b 19970101
java -Xms2048m -Xmx2048m -jar /home/weber/Meulup.jar - ccf_th_a 19970101
java -Xms2048m -Xmx2048m -jar /home/weber/Meulup.jar - ccf_th_b 19970101
java -Xms2048m -Xmx2048m -jar /home/weber/Meulup.jar - wave_a 19970101
java -Xms2048m -Xmx2048m -jar /home/weber/Meulup.jar - wave_tha2_b 19970101
java -Xms2048m -Xmx2048m -jar /home/weber/Meulup.jar - wave_thfp_b 19970101

sur obstr:

java -Xms2048m -Xmx2048m -jar /home/trmgr/MONEULER/Meulup.jar - loco_a 19970101
java -Xms2048m -Xmx2048m -jar /home/trmgr/MONEULER/Meulup.jar - loco_b 19970101
java -Xms2048m -Xmx2048m -jar /home/trmgr/MONEULER/Meulup.jar - blaze_a 19970101
java -Xms2048m -Xmx2048m -jar /home/trmgr/MONEULER/Meulup.jar - blaze_b 19970101
java -Xms2048m -Xmx2048m -jar /home/trmgr/MONEULER/Meulup.jar - ccf_th_a 19970101
java -Xms2048m -Xmx2048m -jar /home/trmgr/MONEULER/Meulup.jar - ccf_th_b 19970101
java -Xms2048m -Xmx2048m -jar /home/trmgr/MONEULER/Meulup.jar - wave_a 19970101
java -Xms2048m -Xmx2048m -jar /home/trmgr/MONEULER/Meulup.jar - wave_tha2_b 19970101
java -Xms2048m -Xmx2048m -jar /home/trmgr/MONEULER/Meulup.jar - wave_thfp_b 19970101

Test

Un simple test pour vérifier que les cron fonctionneront bien. Attention, plutôt que copier les lignes suivantes, il est nettement préférable de reprendre les lignes du crontab.

sur glsmonitor:

java -Xms2048m -Xmx2048m -jar /home/weber/Meulup.jar

sur obstr:

rsync -avzHlL --exclude=AbsoluteTracking --exclude=MAINTENANCE --exclude=CURRENT --exclude=SERVICES_LOW_RESOLUTION --exclude=DATA --exclude=accelerometre weber@argos1.ls.eso.org:/gls/data/services/ /data/obstr/monitoring_euler/services/

java -Xms2048m -Xmx2048m -jar /home/trmgr/MONEULER/Meulup.jar

Redémarrage des crons

Manipulation inverse de celle faite en début de procédure (crontab -e, enlever les commentaires)

That's all folks