Exemple de job d'analyse utilisant athena et DQ2

Ce tutoriel décrit comment executer un job d'analyse en utilisant:

• Le software d'ATLAS athena
• Un package d'analyse à compiler (Merci à Bertrand Brelier).
• Des fichiers de dataset obtenus avec DQ2.

Pour lancer un job, vous avez besoin de quatre fichiers

• Le fichier JDL (Job Description Langage)Le fichier job.jdl est le fichier qui décrit votre job.
  Dans ce fichier vous trouverez une ligne de commentaire (#...) qui décrit chaque nouvelle instruction du fichier JDL.
• L'executable. Le fichier job.sh est le script qui va être exécuter sur la machine distante (le WN)
• L'archive du package package.tar.gz contenant le package d'analyse à compiler.
  Le package fourni exécute une analyse sur des fichier EVGN. Une fois compilé, un exemple de job se trouve dans le répertoire run : il faut fournir un evgen en entrée dans le fichier python.
• Le fichier jobOption.py fourni en entrée d'athena.
  Ce fichier à été écrit en se basant sur l'exemple donné dans le package d'analyse.

Analyse détaillée du script job.sh

Initialisation de l'environnement du software athena

source $VO_ATLAS_SW_DIR/software/14.0.0/setup.sh -tag=14.0.0,setup
source $SITEROOT/AtlasOffline/14.0.0/AtlasOfflineRunTime/cmt/setup.sh

Le package tourne sous athena 14.0.x. ATLAS installe les versions de son soft sous $VO_ATLAS_SW_DIR.Sont initialisés ici le software athena et l'environnement d'exécution AtlasOfflineRunTime.

Initialisation de l'environnement LFC

export LFC_HOST=lfc-prod.in2p3.fr
export LFC_HOME=/grid/atlas/users/user.FabianLambert

Le catalogue LFC utilisé ici pour enregistré les lfn des fichiers que produit le job.

Initialisation de l'environnement CMT

export CMTPATH=`pwd`:${CMTPATH}

CMT est l'outil de configuration qui sert à compiler les packages de ATLAS en résolvant leur dépendances.
Il peut aussi éventuellement servir à rapatrier les sources d'un package depuis un repository CVS. Dans notre cas le package est fourni dans l'archive package.tar.gz.

Initialisation de l'environnement DQ2

source $VO_ATLAS_SW_DIR/ddm/latest/setup.sh

DQ2 est l'outil ATLAS qui permet de récupérer des données sur la grille.

Décompression de l'archive

tar -xvzf ${1}

L'archive est décompressé sur le WN. Le nom de l'archive est le paramètre ${1} passé au job.

Compilation du package

cd  MyValidation/cmt
cmt config
source setup.sh
gmake

Le package fourni est configuré avec CMT puis compilé.

Récupération des fichiers avec DQ2

cd ../..
dq2-get -D  -L IN2P3-LPSC_LOCALGROUPDISK -f ${4} ${3}
mv ${4} jobInput.root

Le fichier ${4} du dataset ${3} est récupéré sur le WN. Ce fichier d'entrée est renommé en un nom générique utilisé par le package d'analyse.

Execution d'athena

athena.py ${2}

Athena est exécuté avec le fichier de job options passé en paramètre.

Récupération du résultat sur le SE

mv jobOutput.root user.flambert.${4}
lcg-cr --vo atlas -l user.flambert.${4} -d srm://lpsc-se-dpm-server.in2p3.fr/dpm/in2p3.fr/home/atlas/flambert/user.flambert.${4} file://`pwd`/user.flambert.${4}
rm user.flambert.${4}

Le job produit un fichier avec un nom générique, ce fichier est renommé en fonction du nom d'une fichier en entrée.
Il est ensuite enregistré sur le SE et dans le LFC en utilisant les commandes de grille habituelle. Le fichier de sortie sur le WN est ensuite effacé.

Soumission du job et résultat ==

Le job est soumis avec la commande edg-job-submit (LCG2) ou avec glite-wms-job-submit(GLITE).
Le résultat peut être regardé en utilisant ROOT.

Dans l'exemple, l'analyse porte sur un boson de higgs.

up ;