Réseau métier rdatadev: gestion de données & développement logiciel¶
Séminaires¶
5 mars 2024 : Construction d’un graphe de connaissance pour l’étude des réseaux écologiques du sol - Nicolas Le Guillarme (LECA)
Le sol est un écosystème complexe. La modélisation de sa biodiversité nécessite de prendre en compte les interactions entre une grande diversité d’organismes. Au cours des dernières années, l’accumulation d’informations sur les habitudes alimentaires des organismes du sol s’est accélérée. Néanmoins, le manque de standardisation entraîne une dispersion de ces informations au sein de multiples bases de données au format et à la structure hétérogènes, ce qui les rend difficilement exploitables pour la reconstruction de réseaux trophiques. Dans cette exposé, je présenterai notre expérience en matière d’intégration sémantique de données et de construction semi-automatique d’un graphe de connaissances sur l’écologie trophique des organismes du sol.
30 janvier 2024 : 3 présentations rapides autour de l’évaluation de l’empreinte carbone dans nos activités (+ Galette :)
Evaluation de l’unité UAR-OSUG par Ana Tempass (slides)
Evaluation du service Résif-DC par Jonathan Schaeffer (slides)
Retours d’un TP Green Coding dispensé à l’école ENVOL 2023 par Laurent Bourgès (slides, GIT du TP)
17 octobre 2023 : Impact environnemental de l’IA - Danilo Carastan-Santos, Mathilde Jay (Laboratoire d’Informatique de Grenoble)
Savez-vous derrière quelles utilisations quotidiennes du numérique se cachent des technologies d’intelligence artificielle (IA) ? Dans une première partie, nous allons détailler quelques exemples et vous faire découvrir le cycle de développement de ces technologies. Il existe de nombreuses étapes avant que ces services arrivent dans vos mains : collecte de données, entraînement, utilisation. Nous allons présenter l’impact énergétique et carbone de ces phases successives pour les exemples présentés. Mais d’où vient cette consommation énergétique ? Nous allons vous faire découvrir les infrastructures qui sont invisibles au grand public et comment l’IA les utilise et les affecte. Nous donnerons enfin quelques astuces que tous peuvent mettre en place pour avoir une utilisation plus raisonnable et sobre des technologies du numérique.
8 juin 2023 : Présentation d’eObs - Victor Kbidi (OSU-Réunion)
L’application web eObs est développée par l’équipe informatique de l’UAR de l’OSU-Réunion depuis 2019 dans le but de faciliter la gestion des parcs instrumentaux des données d’observations pour les équipes techniques. L’outil vise à simplifier les échanges entre les opérateurs et les chercheurs grâce à la création d’événements sur les sites ou les instruments, ainsi que de fiches d’opération lors de leurs interventions. En outre, il vise à centraliser toutes les métadonnées d’observations pour les diffuser vers d’autres plateformes telles que Geonetwork. Cette présentation examinera de plus près la composition de l’outil et ses différentes fonctionnalités.
21 février 2023 : Réunion de démarrage 2023
Rappel des sujets potentiels
Préparation d’un sondage et discussion bilan fonctionnement
2 février 2023 : Présentation de l’IR pôle national de données de biodiversité (PNDB)
Présentation par Yvan Le Bras (Responsable scientifique et technique, MNHN-PatriNat)
Atelier Fair Implementation Profile par Olivier Norvez (Chargé d’animation, FRB & MNHN PatriNat)
3 Mai 2022 : Présentation AMI (ATLAS Metadata Interface) - ecosystème logiciel d’accès aux données d’expérience de physique des particules - Fabian Lambert, Jérôme Fulachier et Jérôme Odier (LPSC)
L’écosystème fournit :
Des applications Web clef en main, entièrement configurables, pour la sélection de données par critères de métadonnées, ainsi que pour la visualisation du résultat de sélection.
Un ensemble de “commandes” de base pour la manipulation des métadonnées pouvant être facilement étendues pour des besoins spécifiques.
Un langage de requête simple et orienté métadonnées, le “Metadata Querying Langage” ou MQL, pouvant être utilisé facilement par des non-experts en base de données.
Des clients légers dans différents langages (Python, Java, JavaScript, C++) pour l’accès aux métadonnées.
Un serveur de tâches souple et agnostique pour l’acquisition et l’aggrégation de métadonnées.
Utilisé depuis 20 ans dans l’experience ATLAS au CERN, AMI est aujourd’hui proposé à d’autres collaborations. L’écosystème s’adapte facilement à n’importe quelles bases de données relationnelles existantes (Oracle, MariaDb, MySQL, PosgreSQL…). Le support de base de données noSQL, par exemple MongoDB, est envisagé à moyen terme et nous serions évidemment très heureux d’intégrer de nouveaux collaborateurs au projet.
Slides par Fabian Lambert, Jérôme Fulachier et Jérôme Odier
31 Mars 2022 : Déploiement continue / GitOps avec ArgoCD - Rémi Cailletaud (OSUG)
Les outils pour accompagner le déploiement des services sont de plus en plus nombreux. Nous avions fait en juillet 2019 un tour de table des différents usages autour de GitLab et montré quelques premiers éléments de l’intégration continue. En juin 2021 une session tests logiciels montrait l’intérêt en amont de la mise en service. Cette fois-ci Rémi Cailletaud nous donnera un aperçu de l’automatisation de la phase finale à travers l’outil ArgoCD ( évoqué lors de la présentation d’EMAA en février dernier).
ArgoCD est un outil de livraison continue (GitOps CD) pour Kubernetes.
Slides par Rémi Cailletaud.
3 février 2022 : Présentation de la base de données EMAA - Raphaël Jacquot, Aurore Bacmann (OSUG)
EMAA est une nouvelle base de données pour l’interprétation des spectres astrophysiques dans les domaines radio et infrarouge, mettant à disposition des données de collision et spectroscopiques dans un format adapté aux calculs de transfert de rayonnement.
La présentation abordera:
le contexte scientifique
le concept et les fonctionnalités globales d’EMAA
la solution technique suivie d’une démonstration
Slides partie scientifique par Aurore Bacmann et partie technique par Raphaël Jacquot.
14 décembre 2021 : Visualisation de données dispersées avec Grafana - Damien Albert, Jonathan Schaeffer (OSUG)
Cette session de présentation montrera plusieurs retours d’expérience autour de la collecte de données et de leur visualisation avec Grafana. En particulier :
23 septembre 2021 : dat@UBFC – Gestion et ouverture des données de la recherche d’UBFC - Sylvie Damy et l’équipe dat@UBFC (UBFC)
L’Université de Bourgogne Franche-Comté a décidé de se doter d’un service de gestion et de valorisation des données de la recherche en s’appuyant sur le projet dat@OSU. Depuis 2019 l’équipe “données de la recherche” de l’OSU THETA a donc lancé ce nouveau projet avec le renfort de 3 personnes (en CDD de 18 mois). Ce projet a pour objectifs de proposer :
un portail d’exposition des données pour l’ensemble de la communauté UBFC,
un accompagnement individuel (DMP, description des données, etc.),
des actions de formation et de sensibilisation à la gestion de données,
un service d’hébergement des données.
La mise en place de ce service est un enjeu majeur. Il s’inscrit ainsi dans la stratégie Science Ouverte UBFC comme une action prioritaire du schéma directeur du numérique. Il est soutenu par la DSI, le service de communication, le service recherche et projets structurants.
Sylvie Damy et l’équipe dat@UBFC présenteront un état des lieux du projet.
30 juin 2021 : Tests logiciels ( Visio BBB )
En développement logicielle, les tests sont présentés comme une pratique indispensable à la qualité et à la maintenabilité du code. Cet échange sera consacré au thème des tests logiciels, mais pas uniquement des tests unitaires, qui sont déjà souvent bien connus.
Les tests fonctionnels, les tests d’intégration, les tests de comportement ou les tests d’acceptations ont aussi un rôle important à jouer dans le cycle de vie du logiciel.
Nous présenterons 3 retours d’expérience pour illustrer ces aspects, et nous aurons ensuite un temps de discussion et d’échange sur cette thématique.
Les présentateurs ont un prénom en Franck et/ou un nom de famille finissant en “ard” ou aucune de ces 2 conditions.
Jonathan Schaeffer Intro “Tester, tester, tester”
Philippe Bollard Test fonctionnels à Résif-DC
Franck Thollar NSBAS - gtilab-ci et HPC
Franck Pérignon Tests, retour d’expérience dans le logiciel Siconos
3 juin 2021 : The misuse of colour in science communication - Jean-Baptiste Barré (IGE)
La visualisation de données scientifiques s’appuie largement sur l’usage des couleurs. Leur impact sur notre compréhension des données est significatif et le choix de la palette colorimétrique est loin d’être anodin. Par exemple, l’interprétation des couleurs peut être très variable d’une personne à une autre. Notre cerveau ne donne pas le même “poids” à chaque couleur du spectre visible. Ainsi, communiquer les résultats scientifiques de manière équitable (au sens ou on n’oublie pas sa/son collègue daltonien) et rigoureuse nécessite un choix des couleurs avisé. Or, par habitude ou ignorance, de mauvais choix persistent malgré l’existence d’une multitude de solutions accessibles. Je vous propose d’en discuter en se basant sur le récent article de Crameri, F., Shephard, G.E. & Heron, P.J. The misuse of colour in science communication. Nat Commun 11, 5444 (2020). https://doi.org/10.1038/s41467-020-19160-7
30 mars 2021 : Utilisation de logiciels libres et publication des codes sources dans l’administration et l’enseignement supérieur et la recherche - Bastien Guerry (ETALAB) ( Visio BBB )
Bastien Guerry est référent logiciels libres à la Direction interministérielle du numérique. Il évoquera ses deux missions principales :
accompagner l’administration dans l’utilisation de logiciels libres
et aider les organismes publics à publier leurs codes sources.
Il fera un focus rapide sur les enjeux liés aux pratiques de publication des codes sources dans l’enseignement supérieur et la recherche, dans la continuité des réflexions publiées par Etalab sur ce sujet.
28 janvier 2021 : Rex utilisation de DOI pour AMMA-CATCH - Sylvie Galle (IGE)
Suivi à long terme du cycle hydrologique en interaction avec la végétation sur un transect eco-climatique en Afrique de l’Ouest. Slides
10 décembre 2020 : Rex utilisation de GraphQL à la place d’une API REST - Caroline Bligny (LJK) (Visio BBB + Surprise postale :)
Utilisation de GraphQL avec une base mongoDB et le framework web python flask dans le cadre du développement d’un site web labo. Slides
Discussions, échanges
28 janvier 2020 : Retour actions nationales (+ Galette :)
15 novembre 2019 (+ Pizzas :) : Plateforme de distribution de données de Mars: MarsSI – Martian surface data processing application - Matthieu Volat (OSUL)
Contexte scientifique
Architecture et fonctionnement du SI
7 novembre 2019 : Architecture portail de données OZCAR-Theia, démarche DevOps - Véronique Chaffard (IGE), Charly Coussot, Rémi Cailletaud (OSUG)
4 juillet 2019 Rex GitLab (+ BBQ :) : tour de table des differents usages
intégration / déploiement continu
gitlab pages
workflow Gitflow
board issues
GITLFS
registry docker
17 octobre 2019 : Retour ANF EcoInfo - Laurent Bourgès (OSUG)
Impact Environnemental du Numérique : Comprendre et Agir
29 mars 2019 - Retour d’expérience des possibilités d’une base graphe : arangodb - Christophe Cancé (GRICAD)
organisation de données complexes
exploration interactive de données massives
intégration avec d’autres outils de traitement (type Python, Elasticsearch)
13 décembre 2018 : Le logiciel libre (+ Buffet + Papillotes :)
27 septembre 2018 : retour d’expérience sur l’utilisation d’ElasticSearch dans le cadre du projet SSHADE, Philippe Bollard (IPAG)
Problématique
Indexer et rechercher efficacement
29 juin 2017 : outil de gestion de code décentralisé GIT - Damien Albert, Philippe Bollard, Laurent Bourgès (IPAG)
13 juin 2017 : Licences pour les données - Véronique Chaffard (IGE)
Mouvement Open data / Open science
Choix de licences gratuites pour les données
26 janvier 2017 : Discussion autour d’un outil de gestion de base de données de télémétrie Radar - Yves Roger, Melodie Roudaud (IPAG)
Présentation des besoins utilisateurs et spécifications fonctionnelles
Discussion de ces spécifications
Quels choix techniques ?
Echanges / retours d’expériences
16 décembre 2016 : Restitution des journées ISS 2016 Informations Spatialisées Sémantisées - Véronique Chaffard (IGE)
Le web sémantique appliquée à des données à référence spatiale
18 octobre 2016 : Restitution des journées SIST 2016 Séries Interopérables et Systèmes de Traitement - Véronique Chaffard (IGE), Guillaume Mella (IPAG)
Standards d’intéropérabilité de l’OGC (Open Geospatial Consortium) pour la découverte et l’échange de données à référence spatiale et les traitements associés
Plateformes de données scientifiques
DOI
Archivage de données
Interopérabilité
23 septembre 2016 : AppLauncher - faciliter l’intéropérabilité entre services et logiciels - Guillaume Mella (IPAG)
7 juin 2016 : Présentations et retours d’expérience de Frameworks python pour le développement d’applications web.
13 octobre 2015 : Restitution de quelques thématiques des journées JDEV2015 (Slides)
T2 : Modélisation et ingénierie
Modélisation (UML + ) / méthode SCRUM - Guillaume Mella (IPAG)
T3 : Données massives scientifiques (Big data), recherche par les données
Bases NoSQL (atelier Oracle + 1 mot sur les autres) / atelier mapreduce (ex hadoop ; spark) – Caroline Bligny (LJK)
Atelier Prise en main Elastic Search et de Kibana - Véronique Chaffard (LTHE)
Atelier python+scikit-learn (modélisation prédictive) / Groupe de travail : python&optimisation - Yves Rogez (IPAG)
Julia - Laure Tavard (LGGE)
T5 : Infrastructures et interopérabilité : Le cloud et les architectures orientées service (SOA)
Infrastructures de données spatiales – Eric Maldonado (IRSTEA)
T6 : Les usines logicielles, le DevOps et la virtualisation
Conteneurs et outils de production de code / Groupe de travail : Comment favoriser l’approche Devops - lien entre les développeurs et les ASRs - Guillaume Mella (IPAG)
Docker - Eric Maldonado (IRSTEA)
T7 : Javascript (paradigmes et éco-systèmes)
Atelier Bootstrap - Véronique Chaffard (LTHE)
Groupe de travail : sécurité et bonnes pratiques - Caroline Bligny (LJK)
T8 : Logiciels scientifiques et simulations : nouveaux modèles et enjeux
Présentation thème, Atelier structuration données - Laure Tavard (LGGE)
Atelier GPU / Groupe de travail : validation - Yves Rogez (IPAG)
4 juin 2015 : Présentation du centre CIMENT (Françoise Roch, OSUG) (Slides)
CIMENT (Calcul Intensif / Modélisation / Expérimentation Numérique et Technologique) est le centre de calcul haute performance des universités grenobloises , encore appelé mésocentre de calcul de Grenoble. Il fournit des ressources de calcul aux étudiants et chercheurs grenoblois pour le développement de leurs codes, avant le passage sur les centres nationaux.
l’organisation pyramidale du calcul en france et la place de CIMENT dans cette organisation
la structure du projet CIMENT
l’architecture du mésocentre (les clusters, la grille de calcul, la grille de stockage)
son environnement logiciel (l’espace personnel des utilisateurs : Perseus, le gestionnaire de job OAR, l’interface grille CiGri, l’environnement de développement)
les formations CIMENT
10 avril 2015 : Exploitation de grands ensembles de données avec ParaView / VTK / HDF5 sur le projet SimSERT (Yves Rogez, IPAG) (Slides)
Contexte : CONSERT / ROSETTA - SimSERT
ParaView :
Fonctionnalités, notion de pipeline VTK
Traitement et visualisation sur cluster (utilisation avec CIMENT)
Retour d’expérience
Structures de données : VTK et HDF5
5 février 2015 : Maven, outil pour la gestion et l’automatisation de production des projets logiciels (Laurent Bourgès, IPAG) (Slides)
Présentation générale : objectifs, principales caractéristiques
Configuration pom.xml
Architecture standard des répertoires d’un projet Maven
Démonstration sur le projet JMMC
Plugins
24 novembre 2014 : Retour d’expérience sur le projet OIDB : diffusion de données depuis une base XML (Patrick Bernaud, IPAG) (Slides)
Présentation du projet OiDB : base de metadonnées observationnelles en interférométrie optique pour l’astronomie et portail Web de consultation et d’indexation depuis des sources variées
Présentation de la BD XML native, eXist-db permettant notamment de réaliser des services Web RESTful en XQuery
Mise en oeuvre dans le portail OiDB et son intégration avec l’existant
Retour d’expérience sur l’architecture et les choix techniques faits. Choix d’un système de stockage hybride XML + SQL et l’intégration du service avec les protocoles et standards de l’Observatoire Virtuel
Mots clefs : NoSQL, XML, XQuery, jQuery, Bootstrap, VO, TAP, metadata
9 octobre 2014 : doi pour les jeux de données (Slides)
Présentation par Catherine Pequegnat (ISTERRE) des décisions prises en terme de doi sur le projet Resif
finalisation des démarches de réflexion/questionnement.
4 juillet 2014 : doi pour les jeux de données
Visio-conférence avec l’INIST : quelle granularité pour le découpage en jeux de données ?, contenu métadonnées dataCite
3 avril 2014 : doi pour les jeux de données (Slides)
Visio-conférence avec l’INIST pour clarifier un certain nombres de points autour de l’attribution de doi dans le cadre d’une démarche collective OSUG.
27 février 2014 : présentation des outils de gestion de code (Laurent Torlay, OSUG et Pierre Volcke, ISTerre) (Slides)
description des services accessibles à l’OSUG (forge.osug.fr) et sur RENATER (sourcesup)
démo utilisation SVN + trac
échanges, questions…
Mise à jour: Mar 14, 2024 – Philippe Bollard, Bernard Boutherin, Véronique Chaffard, Guillaume Mella