Recent Changes - Search:

Structure des répertoires des fichiers collectés et des données «précompilées»

L'exploitation d'un service netMET utilise deux collecteurs.

Le collecteur «stats» place les fichiers qu'il collecte dans le répertoire dont le nom figure dans le fichier de configuration (paramètre NETMET_DATA_PATH, /home/netmet/netMET_de_test/DATA dans l'exemple). Ce répertoire contient un sous-répertoire pour chaque mois écoulé ou en cours.

 /home/netmet/netMET_de_test/DATA
├── 2018-02
├── ...
.
.
.
└── 2018-11

Chaque répertoire mensuel contient un répertoire par jour.

Chaque répertoire quotidien contient un répertoire nommé STATS_nom_du_réseau_fédérateur (concaténation de STATS_ avec le paramètre NETMET_FEDERATE_NET_NAME du fichier de configuration, STAT_RENATER dans l'exemple).
C'est dans ce répertoire que sont placés les fichiers de collecte par tranches de cinq minutes. Ces fichiers se nomment zzaccounting.dmp-hh-mmhh-mm est l'heure de début de collecte des données correspondantes.
Ce répertoire contient un fichier dureesDump.csv généré par le collecteur et complété lors de chaque sauvegarde de collecte par la date de la sauvegarde (Unix Time), la durée de la sauvegarde (en millisecondes) et la taille du fichier de sauvegarde en nombre d'octets.
Une fois la journée écoulée la copie du fichier descriptif des organismes utilisé est placé dans le répertoire de cette journée.

 /home/netmet/netMET_de_test/DATA/2018-11
├── 2018-11-01
│   ├── organism.def
│ └── STATS_RENATER
│ ├── dureesDump.csv
│ ├── zzaccounting.dmp-00-00
│ ├── ...
│ └── zzaccounting.dmp-23-55
├── 2018-11-02
│   ...

└── ...

Le collecteur «secure» place les fichiers qu'il collecte dans le répertoire dont le nom figure dans le fichier de configuration (paramètre NETMET_SECURE_PATH, /home/netmet/netMET_de_test/SECURE dans l'exemple). Comme dans le cas précédent, les répertoires quotidiens sont placés dans des répertoires mensuels. Ils contiennent les fichiers de collecte par tranche de dix minutes et le fichier des mesures de durées.

 /home/netmet/netMET_de_test/SECURE
├── 2018-10
│ ├── 2018-10-29
│ │ │── dureesDump.csv
│ │ ├── zzaccounting.dmp-00-00
│ │ ├── zzaccounting.dmp-00-10
│ │ ├── ...
│ │ └── zzaccounting.dmp-23-50
│ ├── 2018-10-30
│ │ ├── ...
│ ├── 2018-10-31
│ │ ├── ...
└── 2018-11
├── 2018-11-01
│ ├── ...
├── ...

Les fichiers contenant les données «précompilées» sont placées dans le répertoire dont le nom est le paramètre NETMET_COMPUTED_DATA_PATH du fichier de configuration (/home/netmet/netMET_de_test/COMPUTED_DATA dans l'exemple). Ce répertoire contient un sous-répertoire pour chaque mois écoulé ou en cours et un répertoire pour chaque semaine écoulée ou en cours.

 /home/netmet/netMET_de_test/COMPUTED_DATA
├── 2018-02
├── ...
├── 2018-11
├── 2018-Week#05
├── 2018-Week#06
├── ...
└── 2018-Week#46

Chaque répertoire mensuel contient un répertoire par jour, un répertoire Month et facultativement des fichiers .csv générés par les scripts processTodoList.pl, SECURE4Json_cron4dump.pl, STATS4Json_cron4dump.pl et STATS4JsonLAST_TOP.pl contenant les dates et durées d'exécution de ces scripts au cours du mois (les instructions effectuant ces mesures et les conservant dans ces fichiers sont en commentaires dans ces scripts, le script decommenterMesures.sh de la distribution permet de les décommenter).

Chaque répertoire quotidien contient :
* un fichier nom_du_service\_store.obj contenant la table de hachage résultant de l'analyse des fichiers de collecte de la journée,
* un répertoire nommé STATS_nom_du_réseau_fédérateur (STAT_RENATER dans l'exemple) dans lequel se trouvent les fichiers nom_d_organisme.data contenant l'évolution du volume de trafic entrant et sortant de l'organisme concerné durant la journée correspondante.

Le répertoire Month contenant les mêmes informations pour le mois entier.

 /home/netmet/netMET_de_test/COMPUTED_DATA/2018-11
├── 2018-11-01
│ ├── netMetTest_store.obj
│ └── STATS_RENATER
│ ├── aaa.data
│ ├── ...
│ └── zzz.data
├── 2018-11-02
│ ├── netMetTest_store.obj
│ └── STATS_RENATER
│ ├── aaa.data
│ ├── ...
│ └── zzz.data
├── ...
├── 2018-11-...
│ ├── netMetTest_store.obj
│ └── STATS_RENATER
│ ├── aaa.data
│ ├── ...
│ └── zzz.data
├── Month
│ ├── netMetTest_store.obj
│ └── STATS_RENATER
│ ├── aaa.data
│ ├── ...
│ └── zzz.data
├── processTodoList.pl.csv
├── SECURE4Json_cron4dump.pl.csv
├── STATS4Json_cron4dump.pl.csv
└── STATS4JsonLAST_TOP.pl.csv

Enfin un répertoire hebdomadaire recense ces même informations sur une semaine complète.

 /home/netmet/netMET_de_test/COMPUTED_DATA/2018-Week#45
├── netMetTest_store.obj
└── STATS_RENATER
├── aaa.data
├── ...
└──zzz.data

<< Composition de la table du gestionnaire de tâches («crontab») | Documentation | Structure du répertoire html >>

Print - Recent Changes - Search
Page last modified on 2018/11/19 13:31:31