Rapport annuel des services de Résif-DC
Table des matièresClose
Ce document est à usage interne du centre de données Résif-DC1. Cependant les informations et figures ne sont pas confidentielles et peuvent être réutilisées sous les termes de la licence Creative Commons Attribution 4.0.
1 Résumé
L'année 2023 confirme un accroissement linaire de la quantité de données hébergées. Si le nombre de requêtes aux webservices est en augmentation, la quantité de données livrées quant à elle est plutôt à la baisse. Malgré deux incidents importants au cours de l'année, la disponibilité de nos services est satisfaisante.
1.1 Note concernant la complétude des indicateurs
Certaines métriques sont incomplètes suite à un incident technique dans la collecte des indicateurs. Ces trous concernent les mesures du nombre de requêtes à nos webservices, à l'exception des services dataselect pour lequel les métriques sont analysées par un système indépendant. Nous avons choisi de compléter les trous dans les indicateurs par des valeurs moyennes raisonnables.
2 Disponibilité des services
2.1 Indicateurs
Disponibilité des services d'accès aux données/métadonnées.
Le taux de disponibilité est mesuré par un service externe (uptime robot) et montre une excellente disponibilité globale des services.
| service | disponibilité | commentaire |
|---|---|---|
| fdsnws - availability | 99.981 | |
| fdsnws - dataselect | 99.986 | |
| fdsnws - event | 99.984 | |
| fdsnws - station | 99.78 | |
| rtserve.resif.fr | 99.997 |
- 0.05% équivaut environ à 4h d'arrêt
- 1% équivaut à 3.5 jours d'arrêt
3 Hébergement des données
La quantité de données hébergées pour chaque année. On fait apparaître les réseaux temporaires et permanents ainsi que la donnée brute et validée.
En janvier 2024, le centre de données:
- héberge 102.3 téraoctets.
- distribue les données pour 13 réseaux permanents, 88 réseaux temporaires.
- référence 4711 stations et 24661 canaux.
| year | raw (GB) | valid. perm. (GB) | valid. temp. (GB) | perm. network | temp. network |
|---|---|---|---|---|---|
| 2004 | 0 | 77 | 148 | 3 | 5 |
| 2005 | 0 | 126 | 74 | 3 | 3 |
| 2006 | 0 | 153 | 48 | 4 | 2 |
| 2007 | 0 | 180 | 603 | 4 | 6 |
| 2008 | 0 | 192 | 1417 | 5 | 10 |
| 2009 | 0 | 406 | 531 | 5 | 11 |
| 2010 | 0 | 871 | 883 | 6 | 9 |
| 2011 | 0 | 2060 | 1437 | 9 | 10 |
| 2012 | 14 | 2601 | 2006 | 11 | 8 |
| 2013 | 10 | 3730 | 2257 | 11 | 6 |
| 2014 | 218 | 4569 | 2041 | 11 | 10 |
| 2015 | 223 | 4985 | 1137 | 11 | 12 |
| 2016 | 182 | 5436 | 1432 | 11 | 12 |
| 2017 | 90 | 5966 | 2145 | 11 | 11 |
| 2018 | 563 | 5696 | 6132 | 11 | 17 |
| 2019 | 734 | 6046 | 2363 | 11 | 19 |
| 2020 | 694 | 5769 | 1497 | 11 | 16 |
| 2021 | 1375 | 5460 | 1913 | 11 | 17 |
| 2022 | 1127 | 5670 | 1764 | 13 | 19 |
| 2023 | 1701 | 5475 | 1764 | 13 | 15 |
Figure 1 : Hébergement des données regroupées par année. Représentation graphique du tableau 2
| year | cumulated raw (GB) | validated permanent (GB) | validated temporary (GB) |
|---|---|---|---|
| 2004 | 0 | 418 | 583 |
| 2005 | 0 | 544 | 657 |
| 2006 | 0 | 698 | 705 |
| 2007 | 0 | 878 | 1308 |
| 2008 | 0 | 1070 | 2725 |
| 2009 | 0 | 1476 | 3256 |
| 2010 | 0 | 2347 | 4140 |
| 2011 | 0 | 4407 | 5577 |
| 2012 | 14 | 7008 | 7583 |
| 2013 | 25 | 10738 | 9840 |
| 2014 | 243 | 15307 | 11881 |
| 2015 | 465 | 20291 | 13018 |
| 2016 | 647 | 25727 | 14449 |
| 2017 | 737 | 31693 | 16594 |
| 2018 | 1300 | 37390 | 22727 |
| 2019 | 2034 | 43436 | 25090 |
| 2020 | 2727 | 49205 | 26586 |
| 2021 | 4102 | 54666 | 28499 |
| 2022 | 5230 | 60335 | 30263 |
| 2023 | 6931 | 65811 | 32026 |
Figure 2 : Volumétrie cumulée par année de toutes les données hébergées, en fonction de la date de la donnée. Graphique du tableau 3
4 Services de distribution de données
En 2024, le centre de données:
- a distribué 68.2TO de données
- a traité environ 64.73 millions de requêtes valides sur la donnée
- a traité environ 60.4 millions de requêtes valides sur la métadonnée
- a servi 19736 adresses IP distinctes.
- a émis l'équivalent de 16.0 tonnes de CO2
4.1 Obtenir le flux des données temps réel seedlink
Le service temps réel permet de récupérer un flux de données au format miniSEED. Documentation utilisateur : https://seismology.resif.fr/real-time-seedlink/
Indicateurs
| year | unique clients | volume (TB) |
|---|---|---|
| 2013 | 50 | 4.7 |
| 2014 | 175 | 23.8 |
| 2015 | 279 | 35.6 |
| 2016 | 340 | 40.3 |
| 2017 | 367 | 40.5 |
| 2018 | 479 | 36.3 |
| 2019 | 1591 | 27.4 |
| 2020 | 1234 | 30.7 |
| 2021 | 867 | 27.8 |
| 2022 | 634 | 38.0 |
| 2023 | 1668 | 30.5 |
Figure 3 : Nombre de clients unique et volume de données livrées par année. Graphique du tableau 4
4.2 Obtenir des données fdsnws-dataselect
Le webservice FDSN dataselect permet d'obtenir les données de manière standard, au format miniSEED. Documentation utilisateur: http://ws.resif.fr/fdsnws/dataselect/1
Indicateurs
| year | total req | ok req | no data | bad req | internal errors |
|---|---|---|---|---|---|
| 2019 | 28.98 | 15.44 | 8.70 | 4.74 | 0.10 |
| 2020 | 80.70 | 47.05 | 17.06 | 16.49 | 0.10 |
| 2021 | 78.58 | 38.68 | 22.19 | 16.68 | 1.02 |
| 2022 | 78.35 | 39.13 | 28.46 | 10.36 | 0.39 |
| 2023 | 89.88 | 54.84 | 20.89 | 14.02 | 0.13 |
Figure 4 : Graphique du tableau 5.
| year | requests (millions) | unique IP | volume (TB) |
|---|---|---|---|
| 2013 | 0.00 | 6 | 0.0 |
| 2014 | 0.86 | 533 | 8.5 |
| 2015 | 3.01 | 603 | 7.7 |
| 2016 | 4.42 | 322 | 5.4 |
| 2017 | 8.93 | 638 | 14.2 |
| 2018 | 21.33 | 1238 | 50.1 |
| 2019 | 12.90 | 1595 | 26.0 |
| 2020 | 33.72 | 2645 | 51.3 |
| 2021 | 26.25 | 1448 | 85.5 |
| 2022 | 33.46 | 3887 | 114.4 |
| 2023 | 64.73 | 7881 | 68.2 |
Figure 5 : Nombre de clients uniques et volume de données livrées par dataselect. Graphique du tableau 6.
Figure 6 : Nombre de clients uniques et nombre de requêtes. Graphique du tableau 6.
Figure 7 : Volume de données distribuées dans chaque pays pour l'année 2024
Figure 8 : Origine des requêtes par pays pour l'année 2024
Figure 9 : Répartition de la quantité de données livrées en 2024 par pays
Figure 10 : Répartition des requêtes dataselect en 2024 par pays
Dans la figure 10, les nombreuses requêtes issues de Nouvelle Zélande proviennent de 3 adresses IP distinctes, avec une prédominance de client Swarm, utilisé pour récupérer de la donnée quasi temps réel sur les réseaux ND et PF. Cette activité a duré tout au long de l'année, mais semble s'être arrêtée fin décembre. On peut imaginer qu'il s'agit d'un système de surveillance. Une des IP appartient à l'université de Wellington, mais l'IP réalisant 80% des requêtes ne porte pas d'information sur son propriétaire (IP d'opérateur télécom).
Figure 11 : Répartition des clients dataselect en 2024 par pays
La figure 11 montre un nombre très important de clients venant de Singapour. Une exploration des données de l'activité montre que l'on reçoit des requêtes issues de l'université de NanYang tout au long de l'année, avec parfois un pic d'activité. 3 ou 4 adresses IP sont largement prédominantes (75% des requêtes issues de 6 adresses IP). On observe qu'un très faible nombre de requêtes sont issues de nombreuses adresses IP. Il est difficile de proposer un scénario expliquant cette activité, mais cela pourrait venir d'un cluster privé par exemple.
4.3 Obtenir des métadonnées fdsnws-station
Le webservice station permet aux usagers de consulter les métadonnées.
Documentation : http://ws.resif.fr/fdsnws/station/1
Indicateurs
| year | all requests (millions) | ok requests | unique IP | volume (GO) |
|---|---|---|---|---|
| 2019 | 11.2 | 9.0 | 2619 | 1222.4 |
| 2020 | 21.9 | 16.0 | 5502 | 600.0 |
| 2021 | 43.2 | 36.0 | 7888 | 1161.1 |
| 2022 | 89.2 | 81.0 | 10605 | 2880.6 |
| 2023 | 60.4 | 39.0 | 14823 | 5788.4 |
Figure 12 : Représentation graphique du tableau 7
4.4 Récupérer des jeux de données par rsync
Données récupérées par le portail rsync concernant des réseaux.
Indicateurs
| year | Sent (GB) | requests | clients |
|---|---|---|---|
| 2015 | 0 | 1 | 1 |
| 2016 | 200 | 12 | 2 |
| 2017 | 368 | 47585 | 14 |
| 2018 | 3736 | 166562 | 23 |
| 2019 | 5684 | 175245 | 49 |
| 2020 | 1383 | 19034 | 19 |
| 2021 | 8 | 1987 | 4 |
| 2022 | 3328 | 5745 | 14 |
| 2023 | 2461 | 6141 | 10 |
Figure 13 : Volumes envoyés. Représentation de la première colonne du tableau 8
Figure 14 : Nombre de clients et de requêtes. Représentation du tableau 8
4.5 Connaître la disponibilité fdsnws-availability
Webservice permettant de consulter la disponibilité des données. Documentation: http://ws.resif.fr/fdsnws/availability/1
Indicateurs
| year | requests | unique IP |
|---|---|---|
| 2019 | 2057 | 125 |
| 2020 | 8832 | 291 |
| 2021 | 44133 | 1288 |
| 2022 | 69846 | 2267 |
| 2023 | 694978 | 3235 |
Figure 15 : Représentation du tableau 9
4.6 Métriques qualité EIDA eidaws-wfcatalog
Indicateurs
| year | requests | unique IP |
|---|---|---|
| 2019 | 60351 | 82 |
| 2020 | 213785 | 379 |
| 2021 | 487573 | 520 |
| 2022 | 170726 | 2060 |
| 2023 | 5155180 | 2124 |
Figure 16 : Représentation du tableau 10
4.7 Consulter des séries temporelles prétraitées timeseries et timeseriesplot
Ce service permet de consulter les séries temporelles sous différents formats, en particulier sous forme graphique. Documentation : https://ws.resif.fr/resifws/timeseries/ et http://ws.resif.fr/resifws/timeseriesplot
Indicateurs
| Year | Requests | unique IP |
|---|---|---|
| 2019 | 24681 | 929 |
| 2020 | 42936 | 901 |
| 2021 | 8052413 | 1314 |
| 2022 | 11127434 | 1497 |
| 2023 | 8208799 | 2249 |
Figure 17 : Représentation du tableau 11
4.8 Consulter la qualité des données avec des PSD
Ce service a été ouvert aux utilisateurs en octobre 2022: https://ws.resif.fr/resifws/seedpsd/1/
indicateurs
| Year | Requests | unique IP |
|---|---|---|
| 2022 | 288 | 56 |
| 2023 | 13075 | 1269 |
Figure 18 : Représentation graphique du tableau 12
4.9 Obtenir des données d'événement pré-assemblés assembleddata
Permet d'obtenir des donnés d'événements pré-assemblés à partir des données du RAP. Documentation: http://ws.resif.fr/resifsi/assembleddata/1
Indicateurs
| Année | Requêtes | unique IP | volume (GO) |
|---|---|---|---|
| 2019 | 56 | 26 | 0.3 |
| 2020 | 331 | 120 | 0.1 |
| 2021 | 66 | 18 | 0.1 |
| 2022 | 1496 | 19 | 1.2 |
| 2023 | 1276 | 238 | 0.0 |
Figure 19 : Représentation du tableau 13
4.10 Obtenir des données Large-N au format miniSEED ph5-dataselect
Ce service permet de distribuer en miniSEED la donnée stockée au format PH5. Documentation: http://ws-ph5.resif.fr/fdsnws/ph5-dataselect/1
Note:les service est déclaré dans obspy depuis sa version 1.3.0 en mars 2022.
Indicateurs
| Année | requêtes | unique IP | volume (GO) |
|---|---|---|---|
| 2020 | 6 | 5 | 0.0 |
| 2021 | 17807 | 412 | 48.1 |
| 2022 | 2525270 | 1794 | 37.6 |
| 2023 | 1299693 | 3880 | 4.5 |
4.11 Consulter la disponibilité des données Large-N ph5-availability
Documentation: https://ws.resif.fr/resifws/ph5-availability/1/
Indicateurs
| Année | requêtes | unique IP |
|---|---|---|
| 2020 | 9 | 7 |
| 2021 | 1082 | 298 |
| 2022 | 6356 | 546 |
| 2023 | 2223 | 434 |
Figure 21 : Graphique du tableau 14
4.12 Autres webservices
- resp : http://ws.resif.fr/resifws/resp/1
- sacpz : http://ws.resif.fr/resifws/sacpz/1
- evalresp : http://ws/resif.fr/resifws/evalresp/1
Indicateurs
| Année | requêtes | unique IP |
|---|---|---|
| 2020 | 69103 | 30 |
| 2021 | 14625 | 409 |
| 2022 | 23536 | 605 |
| 2023 | 26210 | 557 |
| Année | requêtes | unique IP |
|---|---|---|
| 2020 | 3 | 3 |
| 2021 | 1738 | 384 |
| 2022 | 5972 | 546 |
| 2023 | 15858 | 489 |
| Année | requêtes | unique IP |
|---|---|---|
| 2020 | 3 | 3 |
| 2021 | 2423 | 460 |
| 2022 | 4749 | 744 |
| 2023 | 3213 | 686 |
5 Services d'intégration et de gestion des données
5.1 Création de nouveaux réseaux temporaires
Nombre de nouveaux réseaux temporaires ajoutés au centre de données chaque année.
Indicateurs
Le tableau 18 montre la répartition des réseaux temporaire par date de début déclaré à la FDSN. La répartition par année n'est pas exacte car elle ne correspond pas à sa date de création au centre de données.
| year | count |
|---|---|
| 1998 | 1 |
| 1999 | 1 |
| 2000 | 1 |
| 2001 | 3 |
| 2003 | 4 |
| 2004 | 2 |
| 2007 | 5 |
| 2008 | 5 |
| 2009 | 5 |
| 2010 | 4 |
| 2011 | 2 |
| 2012 | 1 |
| 2013 | 1 |
| 2014 | 5 |
| 2015 | 6 |
| 2016 | 4 |
| 2017 | 3 |
| 2018 | 12 |
| 2019 | 8 |
| 2020 | 6 |
| 2021 | 6 |
| 2022 | 5 |
| 2023 | 3 |
5.2 Soumettre de la donnée et de la métadonnée validées ResifDataTransfer
Ce service permet aux producteurs de donnée et de métadonnée de soumettre leurs produits au centre de données. Documentation : https://gitlab.com/resif/resif-data-transfer/-/blob/master/MANUAL_fr.md
Indicateurs
Les tableaux 19, 20, 21 montrent les historiques d'indicateurs pour ce service.
Les figures 22, 23 et 24 reprennent les chiffres sous forme de graphiques.
| Année | transactions mSEED | volume (GO) |
|---|---|---|
| 2014 | 700 | 11638 |
| 2015 | 1592 | 11168 |
| 2016 | 2186 | 13969 |
| 2017 | 2601 | 12955 |
| 2018 | 1467 | 17001 |
| 2019 | 1966 | 17951 |
| 2020 | 1333 | 7730 |
| 2021 | 1976 | 10264 |
| 2022 | 3146 | 14680 |
| 2023 | 3609 | 14662 |
Figure 22 : Transactions miniSEED, selon le tableau 19
| Année | transactions PH5 | volume (GO) |
|---|---|---|
| 2020 | 10 | 3549 |
| 2021 | 2 | 424 |
| 2022 | 3 | 507 |
| 2023 | 1 | 279 |
Figure 23 : Transactions PH5, selon le tableau 20
| Année | transactions métadonnée |
|---|---|
| 2015 | 975 |
| 2016 | 1550 |
| 2017 | 918 |
| 2018 | 2161 |
| 2019 | 2698 |
| 2020 | 2824 |
| 2021 | 1067 |
| 2022 | 1058 |
| 2023 | 1344 |
Figure 24 : Transactions de métadonnées, selon le tableau 21
5.3 Connaître l'état d'une transaction d'intégration (ws transaction)
L'état d'une transaction peut être consulté :
- par requête sur le module rsync
TRANSACTION_XML - par requête au webservice transaction.
Indicateurs
| Year | requests | clients |
|---|---|---|
| 2022 | 19318 | 6 |
| 2023 | 11002 | 6 |
| Année | requêtes | unique IP |
|---|---|---|
| 2019 | 88 | 11 |
| 2020 | 695 | 70 |
| 2021 | 1070 | 219 |
| 2022 | 768 | 192 |
| 2023 | 731 | 195 |
5.4 Lister les fichiers orphelins (ws orphanfile)
Les fichiers orphelins ne sont décrits par aucune métadonnée. En conséquence de quoi, ils ne peuvent être distribués par le centre de données. Ce service permet aux producteurs de données et de métadonnées d'obtenir une liste des fichiers orphelins.
Documentation: http://ws.resif.fr/resifsi/orphanfile/1
Indicateurs
| Année | requêtes | unique IP |
|---|---|---|
| 2019 | 30 | 7 |
| 2020 | 157 | 22 |
6 Autres services
6.1 Gestion des DOI
Résif-DC assure un service d'enregistrement et de maintenance des DOI pour les réseaux sismologiques.
Documentation: Pour enregistrer un DOI, il faut en faire la demande par ticket mailto:sismo-help@resif.fr
Indicateurs
| year | DOIs |
| 2023 | 5 |
| 2022 | 6 |
| 2021 | 10 |
| 2020 | 5 |
| 2019 | 4 |
| 2018 | 26 |
| 2017 | 2 |
| 2016 | 5 |
| 2015 | 8 |
| 2014 | 7 |
6.2 Assistance aux utilisateurs
Plusieurs interfaces d'assistance existent en fonction du périmètres et du statut de l'utilisateur
- Usersupport EIDA
- Helpdesk Résif-DC (par mail mailto:sismo-help@resif.fr). Ce helpdesk a migré en juin 2021 vers la plateforme https://gitlab.com/resif/sismo-help
Les 164 demandes se répartissent en : 102 pour GLPI et 62 pour gitlab
Indicateurs
Le tableau 26 reprend l'historique des demandes soumises au helpdesk.
| Year | Tickets |
|---|---|
| 2021 | 164 |
| 2020 | 138 |
| 2019 | 139 |
| 2018 | 140 |
Le tableau 27 reprend l'historique des demandes soumises au nouveau servicedesk :
| Year | Tickets |
|---|---|
| 2022 | 89 |
| 2023 | 34 |
6.3 Portail web de RESIF-DC seismology.resif.fr
Le portail web permet d'accéder à de la documentation, des informations riches et des produits dérivés calculés au centre de données. https://seismology.resif.fr
Indicateurs
Consultations annuelles du site web
6.4 Sauvegarde de données scientifiques
Certaines données, en particulier issues du RENAG sont sauvegardées au centre de données.
Indicateur
Volumétrie sauvegardée : 15To
6.5 Consulter les statistiques sur les données hébergées
Le webservice statistiques permet d'exposer aux utilisateurs des chiffres concernant les volumes de données et le nombre de requêtes. Documentation: http://ws.resif.fr/resifws/statistics/1
Indicateurs
| Year | Requests | unique IP |
|---|---|---|
| 2020 | 1456 | 39 |
| 2021 | 54767 | 719 |
| 2022 | 23875 | 770 |
| 2023 | 35379 | 1031 |
Figure 26 : Représentation du tableau 28
7 Impact environnemental
Répartition globale :
| Année | Serveurs ϕ | Serveurs Virt. | Stockage | Distrib. données | Déplacements | Postes de travail | Total |
|---|---|---|---|---|---|---|---|
| 2021 | 2001.4376 | 302.4 | 11370. | 162 | 2764 | 900 | 17499.838 |
| 2022 | 1179.6416 | 420. | 14136.7 | 219 | 2013 | 900 | 18868.342 |
| 2023 | 1200.8096 | 386.4 | 11370. | 141 | 1944 | 900 | 15942.210 |
Figure 27 : CO2 emissions per year.
Figure 28 : CO2 emissions for last year
7.1 Infrastructure
Espaces de stockage
Le stockage SUMMER est évalué à 37,9g de CO2 équivalent par GigaOctet (selon l'étude EcoInfo/Gricad 20212).
Nous réservons actuellement 200TB pour la partie "Centre de Données" et 100TB pour les nœuds A RAP et SISMOB.
| Année | Volume total (Go) | CO2 eq (kg) | Consommation (kWh) |
|---|---|---|---|
| 2021 | 300000 | 11370. | 105.27778 |
| 2022 | 373000 | 14136.7 | 130.89537 |
| 2023 | 300000 | 11370. | 105.27778 |
Serveurs physiques
La consommation électrique moyenne des serveurs physiques est calculée à partir des mesures sur leurs interfaces de contrôle. Cette mesure est fournie par le serveur en grandeur cumulée depuis une date de départ et doit donc être moyennée sur une année.
Nous appliquons un PUE de 1.4 correspondant à la valeur estimée dans l'étude EcoInfo/Gricad.
L'outil ecodiag (https://ecoinfo.cnrs.fr/ecodiag-calcul/) évalue l'impact de la production + transport pour nos serveurs.
| Année | kWh | CO2e consommation | CO2e production | Total CO2e |
|---|---|---|---|---|
| 2021 | 8323 | 1258.4376 | 743 | 2001.4376 |
| 2022 | 4118 | 622.6416 | 557 | 1179.6416 |
| 2023 | 4258 | 643.8096 | 557 | 1200.8096 |
Serveurs virtuels
WINTER est composé d'un ensemble de serveurs physiques hébergés dans plusieurs data centres au PUE moyen de 1.4. La part de consommation imputée à Résif-DC est évaluée par la proportion de facturation.
| Année | Nombre de VM | eq CO2 (kg) |
|---|---|---|
| 2021 | 18 | 302.4 |
| 2022 | 25 | 420. |
| 2023 | 23 | 386.4 |
7.2 Transfert de données
C'est à dire, 1.4g eqCO2 pour 1Go de données transférées.
| year | Volume (GB) | kg CO2e |
|---|---|---|
| 2021 | 116029.0 | 162 |
| 2022 | 156074.3 | 219 |
| 2023 | 101044.4 | 141 |
7.3 Déplacements
L'équipe des ingénieurs Résif se déplace occasionnellement pour des réunions nationales, européennes ou pour des conférences.
La politique locale est de prendre le moins possible l'avion.
Dans ce calcul, nous essayons de tenir compte des déplacements domicile/travail.
| year | Transports for work | Transports for meetings | Total |
|---|---|---|---|
| 2021 | 2644 | 120 | 2764 |
| 2022 | 2000 | 13 | 2013 |
| 2023 | 1843 | 101 | 1944 |
Notes de bas de page:
Résif Seismological Data Portal; editing status 2023-02-22; re3data.org - Registry of Research Data Repositories. http://doi.org/10.17616/R37Q06
Guillaume Charret, Alexis Arnaud, Francoise Berthoud, Bruno Bzeznik, Anthony Defize, et al.. Estimation de l'empreinte carbone du stockage de données. [Rapport de recherche] CNRS - GRICAD. 2020. ⟨hal-03573790⟩ https://cnrs.hal.science/hal-03573790