Analyse et Modélisation en Haute Résolution Angulaire

Réunions AMHRA

Réunion technique AMHRA 11 juin 2019

Participants : Armando, Guillaume, Laurent, Gilles, Christophe et Thierry.

Odj:

• SAMP HTTPS
• OIFitsModeler et versions ASPRO
• Avancées sur modèles de profils stellaires (CLV)
• Page web AMHRA (News, Acknowledgment)

Discussion:

• Implementation HTTPS demarrée côté OCA. A suivre
  • [] mettre à jour JSAMP dans les applis
  • Problème du hub pour le broadcast
  • à voir comment garder la persistance + construction dynamique du menu
  • [] signaler à Mark Taylor que nous mettrons un service en prod avec le profile HTTPS

• OIFitsModeler:
  • indiquer la version d'Aspro dans les news et si possible au niveaux des codes
  • nouvelle option d'apodisation : rajouter une option comme rotate/scale. Mentionner qu'il utilise les données de l'OIFits. Possibilité de passer un diamètre de télescope si non fournit dans OI_ARRAY (parfois valeur nulle)
  • [] LB peut fournir un exemple avec l'utilisation d'apodisation
  • Mettre à jour l'acknowledgment général: "This research has made use of the Jean-Marie Mariotti Center (JMMC) - MOIO AMHRA service."
• Assombrissement centre-bord(CLV)
  • mise en ligne en cours avec possibilité de récupérer les résultats (image en Haute résolution (2000x2000 ?) en plus de la courbe 1D (intensité vs rayon angulaire)
  • Pour l'instant nous travaillons avec l'information angulaire. Pour utiliser le rayon linéaire il faudra préciser ce qu'est le rayon... (voir info de GD qui a l'info sur le bon tableau) rayon angulaire vs rayon solaire
• Implementation transformée de Hankel:
  • Nécessaire pour utiliser des modèles du type CLV 1D cités ci-dessus
  • [] Armando va fournir un exemple en python
  • demander au Lyonnais (Ferreol) s'ils ont une implementation
• News AMHRA: mettre à jour régulièrement avec les versions, changements, nouveautés
• Infos
  • Christian Hummel a intéragit avec AMHRA pour les modèles sgB[e]
  • Un article (doctorant OCA) a été soumis à A&A avec un remerciement JMMC/MOIO/AMHRA
• Modifications site web MOIO/AMHRA
  
  • voir pour éditer au moins https://jmmc-latest.osug.fr/english/the-jmmc/moio/amhra.html avec un lien vers amhra.oca.eu
  • vérifier si nous avons tous les accès et comment éditer la page avec Thierry
• Faire un ticket pour la DSI demandant l'accès aux codes AMHRA par le SVN pour Laurent, Guillaume, Gilles
• Prévoir de la pub à travers une publication type SPIE ou ADASS

Réunion technique AMHRA 12 mars 2019

Participants : Armando, Guillaume, Laurent, Gilles, Christophe et Thierry.

Odj:

• Nouvelle la page web
• Feedback report
• SAMP HTTPS
• Liens avec autres outils du JMMC

Discussion:

• Regarder les interfaces d'utilisation Web du service (page web, ASPRO)

• Quid de la maintenant de TAPlib/UWSLib par Gregory Mantelet ?
  • pose souci à certains utilisateurs
  • est qd même largement utilisé dans la 'petite' communauté IVOA:
    • l'ESO s'appuie dessus pour son archive
    • et plusieurs autres datacentres dont le CDS pour VizieR et Simbad TAP

• Liens page ADS (formats HTTP vs HTTPS)
  • passer sur les serveurs Harvard qui ont un certificat HTTPS valide : par ex. de http://cdsads.u-strasbg.fr/abs/2012ApJ...757..112B vers https://adsabs.harvard.edu/abs/2012ApJ...757..112B
• Feedback report:
  • Utiliser comme method du formulaire POST et comme action : https://apps.jmmc.fr/feedback/feedback.php
  • rajouter un champ caché AMHRA
  • optionnel pour plus d'infos/trace en complement du ticket trac : les champs systemConfig, applicationVersion, applicationLog, applicationSpecificInformation
  • Les tickets seront affectés par defaut à Armando avec notification à MyriamBenisty,ArmandoDomiciano,GillesDuvert,GuillaumeMella,LaurentBourges
  • Faut-il rajouter des personnes en CC du ticket ?

• Serveur SAMP sur HTTPS
  • sera discuté à la prochaine réunion réunion ASOV (moyens technique): 3-5/avril
  • Intéressant de participer à la conférence qui donne un beau panorama national des différents services

• Quelle utilisation de docker à l'OCA ? le JMMC a des instances et est satisfait sur les serveurs de Grenoble

• long job (type modèle Andrea) : fournir l'adresse email pour récupérer le résultat une fois le traitement effectué
• la mise en cache est à voir au cas par cas mais à priori pas nécessaire pour l'instant

• Lancer directement la création de modèles AMHRA à partir des services JMMC
  • Utilisation de routines LITPro pour faire l'ajustement de modèles AMHRA
  • Réfléchir aux interfaces utilisateurs dans Aspro
    • ok pour une interroger un service type REST équivalent aux interfaces web
    • envisager d'exploser directement les services UWS (actuellement cachés derrière un service web associé à un controlleur pour le lien avec UWS)
    • ( un schéma d'archi serait pas mal pour plus de détail ) ou accès au code ?
• Lancer localement sur les serveurs AMHRA LITPro pour chercher le meilleur modèle (cela évite de transférer trop de données sur le réseau)
• Une autre option à mettre en place aussi est calculer les chi2 (avec LITPro, OIFITSModeler ou autres routines) sur un domaine pré-défini de l'espace de paramètres pour avoir des cartes de chi2 (utiles pour chercher des minima locaux et minimum global, pour préparer un ajustement plus poussée par la suite)

• Mettre une page de release notes pour suivre les modifications
• Mettre en place une déclinaison de test (beta) pour tester en amont le déploiement des services en version publique
• Mettre en place des guides pour l'utilisation de modèles

• Réfléchir au planning avec les priorités suivantes à mettre
  • en place si possible d'ici la rentrée 2019
  • avec Transfert par SAMP HTTPS
  • TF de Hankel dans ASPRO (profil 1D par SAMP)
  • nouveau modèle choc de vents + spirales & modèles assombrissement centre bord

• Prochaine réunion:
  • Retour dans 1 mois après AG JMMC
  • remplir evento participation ou pas : https://evento.renater.fr/survey/participation-a-l-ag-jmmc-du-9-avril-2452teyx

du 19 octobre 2018

Participants : Armando, Christophe, Thierry

Nouvelle page web et préparation pour ouverture du site pour bêta-tests (fin novembre début décembre)

Design et structure de la nouvelle page

• utiliser des informations de http://www.jmmc.fr/index.htm mais en donnant un design plus moderne.
• Page d'accueil Home : Description du service, Contacts
• Menu : Home - Models - Analysis - Documentation -FAQ - Feedback
• possibilité d'inclure un icône pour chaque modèle, affichage avec titre de la page + dans le menu
• séparer les pages web avec Models (codes, grilles de modèles, cube d'images) et "Analysis" (avec OIFitsModeler et autres dans le futur)
• rattacher de manière plus directe la description des services (modèles par exemple) à la page du modèle correspondant (guides utilisateurs, tutoriels, exemples, informations sur les remerciements)
• rajouter des informations simplifiées sur chaque paramètre physique (pop-up's ?) dans le formulaire du modèle correspondant.
• rajouter une page de feedback report pour les tickets AMHRA (Une solution similaire a oidb pourrait probablement convenir : http://oidb.jmmc.fr/feedback.html )
• Inclure contacts (chercheurs, développement informatique, etc)
• donner la possibilité de mettre à jour les pages web en utilisant les scripts et le guide de Christophe (utilisation de SVN et compilation de fichier WAR dans la machine de dev)
• Pouvoir afficher les statistiques de visites (pour le moment il semble que ce ne soit pas possible avec le service statistique utilisé : Matomo ex Piwick, à creuser qd même).

Formulaire de Feedback

• A inclure pour l'ouverture de la page et avoir le retour de bêta-testeurs et des utilisateurs dans le futur
• Possibilité de s'inspirer du Formulaire de contact JMMC OIDB (cf notes de la réunion du 8 octobre 2018)

du 8 octobre 2018

Participants : Guillaume, Laurent, Gilles, Christophe, Armando

Précisions sur les points techniques qui sont en train de se mettre en place à l'OCA

Serveurs installations système

• • 2 machines oca : dev + prod
  • ouverture récente du serveur de prod. (https://amhra.oca.eu)
  • Déploiements WAR déployé par tomcat sous SPRING
  • Architecture Frontend / Backend
    • lancement des codes pour génération de données en mode Synchrone (qlq secondes)
    • fich. de propriété + code en sortie production fichier fits
  • Grilles de modèles en // lors de traitements long
• Question du SAMP HTTPS bloqué
  • [] (LB) relancer discussion VO
  • [] (CO&GM) tester le Work-arround
• question du dépôt de fichiers fits dans un espace utilisateur protégé
  • OK mais moins prioritaire

• Utilisation / suivi /maintenance:
  • pas encore de logs de consultation
• Release Notes:
  • TODO :
    • Bug en cours de résolution (modèles Andrea)
    • Rajout modèles de base /transformé de Hankel profiles 1D (limb-darkening)
    • Séparer les pages web avec modèles (cube d'images) de celle pour "OIFitsModeler"

Gestion des codes sources:

Plusieurs dépôts:

• JMMC :
  • pour les demande d'accès : https://apps.jmmc.fr/account/dev
• OCA:
  • https://forge.oca.eu/codes/AMHRA/trunk/
  • un groupe amhra devrait être ouvert avec accès pour les grenoblois ce qui permet de laisser les codes AMHRA côté forge OCA.

Points de contacts:

• [] (CO) mettre en place un composant pour les tickets amhra
  • Une solution similaire a oidb pourrait probablement convenir : http://oidb.jmmc.fr/feedback.html

Conclusions

• Lancement d'une phase de beta-testes dès que les modèles actuels et la page web seront complètement opérationnels:
  • quasi-ok annonce courant octobre/novembre sur jmmc-all pour commencer dès que le formulaire de feedback est en place
• travail futur sur le question de rescaling/regrigin d'image non destructif en lien avec relation dimension/résolution via a vis de l'instrument/interféromètre
• travail futur sur l'utilisation d'un mode asynchrone (e.g. pou calcul de chi^2 sur plusieurs modèles)

du 16 octobre 2017

Participants : Guillaume, Laurent, Isa, Charleen, Férreol, Armando

Avancement de travail sur la création d'un outil permettant de générer un fichier OIFits à partir d'un modèle utilisateur et d'un plan UV donnés

Infos complémentaires sur l'outil ASPRO2 de simulation des observables à partir d'observation (1 OIFITS) et d'un modèle (FITS image ou cube): http://www.jmmc.fr/twiki/bin/view/Jmmc/Software/JmmcAsproUvPlanFiller

• Résultats des comparaisons entre les observables interférométriques obtenus par des routines différentes (ASPRO, IDL):
  • Très bon accord (V2, T3PHI). Quelques différences (pas seulement numériques) restent sur les V2 et T3PHI pour le modèle image_disco_amhra.fits
  • Aspro2 gère le supersampling (9 samples par canal) et utilise des routines maths rapides (librairie jafama FastMath) donc cela explique certainement ces différences
  • ACTION: ajouter des arguments (CLI) pour les régler: --supersampling=[1..25] et fastmath=[true|false]

• Question sur l'interpolation en longueur d'onde (utiliser l'image la plus proche, et/ou interpoler):
  • Informer l'utilisateur de la procédure choisie
  • Comment avoir un cube d'image fits avec un pas irrégulier en longueur d'onde de façon à avoir exactement les mêmes valeurs que dans un fichier OIFits (par exemple 1.590, 1.678, 1.768 microns pour des observations PIONIER à 3 canaux) ?
    • LBO: il est possible d'utiliser des incréments en fréquence (Hz) pour être non-linéaire en longueur d'onde dans ASPRO2
  • Cela ne semble pas simple de définir un modèle FITS avec un pas irrégulier en lambda. D'après la discussion, on va donc utiliser l'image à la longueur d'onde la plus proche
  • ACTION: Fournir un rapport (log de sortie) décrivant quelle image du modèle a été utilisée pour calculer les observables à chaque longueur d'onde de l'OIFits, c'est à dire expliquer le mapping entre canal spectral et images utilisées
    • Supersampling ? ASPRO2 peut utiliser plusieurs images par canal ?

• Étapes suivantes:
  • ACTION: calcul d'un chi^2 (en ignorant les mauvaises données "flagged") et inclure l'information du chi^2 dans le OIFits (problématique semblable en reconstruction d'images ie data model utilisé par OImaging)
  • ACTION: étudier la possibilité de faire une rotation (angle de position) et d'appliquer un facteur d'échelle (ajuster la distance/échelle spatiale)

• Comment cet outil sera utilisé dans le futur ?
  • Dans ASPRO2 et/ou comme un outil indépendant où on pourrait par exemple rentrer plusieurs modèles et OIFits à la fois ?
  • L'important est de ne pas transférer les cubes d'images par le réseau
    • il faudrait proposer un service web (AMHRA) pour traiter des observations (OIFITS) sur un serveur (Nice ?) comme OImaging et retourner des cartes de chi2 en testant plein de modèles physiques (grilles de modèles)
    • s'inspirer du VO Théorie (simulations numériques) pour explorer les modèles disponibles (catégorisés, parametres, codes) et exposer un service VO de traitement (async UWS) de données (OIFITS?) (comme implémenté pour OImaging: BSMEM et WISARD tournent sous cette architecture)

• Intégration avec les modèles astrophysiques dans AMHRA ?
  • On pourrait avoir un outil indépendant qui tourne là où il y a les modèles et aussi une option de charger un cube d'image dans ASPRO2 pour la préparation des observations.

Modèles astrophysiques

• Rappel des modèles disponibles:
  • voir portail web: http://azurvo3.oca.eu:8080/AMHRA/index.htm

• Modèles à venir:
  • RSG/AGB, CLV 1D, BeAtlas (HDUST)

• Possibilité dans le futur de donner une fourchette de valeurs dans les modèles temps réel pour calculer une série de modèles

• Inclure une description plus détaillée des paramètres = description VO avec lien vers un 'Thesaurus' [skos]

• Adopter dès que possible le standard VO pour la mise à disposition de code numériques (temps-réel et grille pré-calculée),

• • Voir portail ISM: https://ism.obspm.fr/
  • Voir présentation SF2A-2017 de Franck Le Petit: http://sf2a.eu/semaine-sf2a/2017/presentations/S00/Asov/SF2A_2017_ISMDB.pdf