wiki:GestionDesDonnees
close Warning: Can't synchronize with repository "(default)" (/SVN/atlas does not appear to be a Subversion repository.). Look in the Trac log for more information.

Version 9 (modified by /C=FR/O=CNRS/OU=UMR5821/CN=Sabine Crepe-Renaudin/emailAddress=crepe@…, 7 years ago) (diff)

--

Gestion des données sur IN2P3-LPSC_LOCALGROUPDISK

IN2P3-LPSC_LOCALGROUPDISK est le space token qui est ouvert aux membres du groupe ATLAS du LPSC sur le Tier3 du LPSC pour stocker leurs données sur la grille.
Il y a 8 To disponible sur cet espace. Ceci n'est pas figé, nous pouvons augmenter l'espace disponible si nécessaire.
Cependant, pour une bonne gestion de cette espace partagé, il est nécessaire que chacun soit responsable des données qu'il a rapatrié sur cet espace et donc :

  1. que chacun vérifie AVANT de rapatrier des données qu'il y a suffisamment d'espace disponible
  2. que chacun s'assure que les datasets stockés sur cet espace sont correctement déclarés
  3. que chacun supprime régulièrement les datasets qui ne lui sont plus utiles

Pour vérifier l'espace disponible

Voir http://bourricot.cern.ch/dq2/accounting/site_view/IN2P3-LPSC_LOCALGROUPDISK/30/

Attention ! prenez suffisamment de marge : vous pouvez être plusieurs à transférer des données simultanément et l'utilisation du disque n'est pas mise à jour immédiatement (délai de 1h pour srm et 12h pour dq2).

La différence entre le niveau des courbes dq2 et srm correspond à des datasets fantômes (dark data) qui n'ont pas été enregistrés dans le catalogue. Cette différence doit rester minimale si vos datasets sont correctement enregistrés (elle peut être due au décalage entre la mise à jour srm et dq2, ou à un problème technique lors du transfert).

Pour rapatrier des datasets sur un spacetoken

https://twiki.cern.ch/twiki/bin/view/Atlas/DQ2ClientsHowTo#AfterCreatingDataset

Pour gérer vos données dans IN2P3-LPSC_LOCALGROUPDISK (english version below)

Pour lister les datasets sur notre IN2P3-LPSC_LOCALGROUPDISK :

dq2-list-dataset-site IN2P3-LPSC_LOCALGROUPDISK > & lpsclocal.txt &

Pour connaitre le possesseur d'une réplique d'un dataset :

dq2-get-replica-metadata nomdudataset

Pour lister les datasets qui vous appartiennent :

dq2-list-dataset-site2 -e -o "/O=GRID-FR/C=FR/O=CNRS/OU=LPSC/CN=XXXXXXXX" IN2P3-LPSC_LOCALGROUPDISK > mesdatasets.txt

et en connaitre la taille

awk -F"," -v a=0,b=0 '{print $6; a=a+$6; print "total = " a; b=a/1000000000; print "total en Giga = " b}' mesdatasets.txt

Pour effacer vos datasets :

dq2-delete-replicas nomdudatasets IN2P3-LPSC_LOCALGROUPDISK

Data management in IN2P3-LPSC_LOCALGROUPDISK

To list the datasets in IN2P3-LPSC_LOCALGROUPDISK:

dq2-list-dataset-site IN2P3-LPSC_LOCALGROUPDISK > & lpsclocal.txt &

To know the owner of a dataset replica:

dq2-get-replica-metadata nomdudataset

To list your datasets replicas:

dq2-list-dataset-site2 -e -o "/O=GRID-FR/C=FR/O=CNRS/OU=LPSC/CN=XXXXXXXX" IN2P3-LPSC_LOCALGROUPDISK > mesdatasets.txt

To list their size:

awk -F"," -v a=0,b=0 '{print $6; a=a+$6; print "total = " a; b=a/1000000000; print "total en Giga = " b}' mesdatasets.txt

To remove your datasets replicas:

dq2-delete-replicas nomdudatasets IN2P3-LPSC_LOCALGROUPDISK