wiki:GestionDesDonnees
close Warning: Can't synchronize with repository "(default)" (/SVN/atlas does not appear to be a Subversion repository.). Look in the Trac log for more information.

Version 5 (modified by /C=FR/O=CNRS/OU=UMR5821/CN=Sabine Crepe-Renaudin/emailAddress=crepe@…, 10 years ago) (diff)

--

Gestion des données sur IN2P3-LPSC_LOCALGROUPDISK

IN2P3-LPSC_LOCALGROUPDISK est le space token qui est ouvert aux membres du groupe ATLAS du LPSC sur le Tier3 du LPSC pour stocker leurs données sur la grille.
Il y a 8 To disponible sur cet espace. Ceci n'est pas figé, nous pouvons augmenter l'espace disponible si nécessaire.
Cependant, pour une bonne gestion de cette espace partagé, il est nécessaire que chacun soit responsable des données qu'il a rapatrié sur cet espace et donc :

  1. que chacun vérifie AVANT de rapatrier des données qu'il y a suffisamment d'espace disponible
  2. que chacun s'assure que les datasets stockés sur cet espace sont correctement déclarés
  3. que chacun supprime régulièrement les datasets qui ne lui sont plus utiles

Pour vérifier l'espace disponible

Voir http://bourricot.cern.ch/dq2/accounting/site_view/IN2P3-LPSC_LOCALGROUPDISK/30/ Attention ! prenez suffisamment de marge : vous pouvez être plusieurs à transférer des données simultanément et l'utilisation du disque n'est pas mise à jour immédiatement (délai de 1h pour srm et 12h pour dq2).

La différence entre le niveau des courbes dq2 et srm correspond à des datasets fantômes (dark data) qui n'ont pas été enregistrés dans le catalogue. Cette différence doit rester minimale si vos datasets sont correctement enregistrés (elle peut être due au décalage entre la mise à jour srm et dq2, ou à un problème technique lors du transfert).

Pour rapatrier des datasets sur un spacetoken

https://twiki.cern.ch/twiki/bin/view/Atlas/DQ2ClientsHowTo#AfterCreatingDataset

Pour supprimer ses datasets

J'ai demandé à Fabian de nous faire un petit outil pour lister les datasets sur IN2P3-LPSC_LOCALGROUPDISK, ce qu'il a fait rapidement :
voir https://ami.in2p3.fr/AMI/servlet/net.hep.atlas.Database.Bookkeeping.AMI.Servlet.Command?linkId=1030
Vous pouvez sélectionner les datasets en fonction de morceau du nom ...

puis vous pouvez supprimer vos datasets :
dq2-delete-replicas nomdudatasets IN2P3-LPSC_LOCALGROUPDISK