Soumission d'une collection de jobs

Ce tutoriel décrit comment soumettre une collection de jobs en référençant plusieurs fichiers JDL à partir d'un fichier de description JDL unique.

Pour lancer la collection de jobs, vous avez besoin de plusieurs fichiers

• Les fichier JDL (Job Description Langage) Le fichier job.jdl décrit la collection de jobs, les fichiers job1.jdl,job2.jdl et job3.jdl décrivent chacun un job.
• L'executable Le fichier job.sh est le script qui va être exécuter sur la machine distante (le WN). Dans notre cas il est commun aux trois jobs de la collection.

Soumission de la collection == La collection est soumise de la même manière qu'un job normal avec glite-wms-job-submit -a <JDL file>.

[lambert@lpsc-ui gliteWMS-Collection3]$ glite-wms-job-submit -a job.jdl

Connecting to the service https://wms105.cern.ch:7443/glite_wms_wmproxy_server


====================== glite-wms-job-submit Success ======================

The job has been successfully submitted to the WMProxy
Your job identifier is:

https://lb106.cern.ch:9000/SBw8z7J3XuphHpxayuhaOQ

==========================================================================

Statut des jobs de la collection == Comme pour une soumission de job simple, il faut utiliser glite-wms-job-status <collectionId>. Le statut de chaque job de la collection est affiché ainsi que son jobId.

[lambert@lpsc-ui gliteWMS-Collection3]$ glite-wms-job-status https://lb106.cern.ch:9000/SBw8z7J3XuphHpxayuhaOQ


*************************************************************
BOOKKEEPING INFORMATION:

Status info for the Job : https://lb106.cern.ch:9000/SBw8z7J3XuphHpxayuhaOQ
Current Status:     Done (Success)
Exit code:          0
Submitted:          Tue Aug 12 14:13:49 2008 CEST
*************************************************************

- Nodes information for: 
    Status info for the Job : https://lb106.cern.ch:9000/4cVkeLv18EG3S0pQY1auew
    Current Status:     Done (Success)
    Logged Reason(s):
        - 
        - Job terminated successfully
    Exit code:          0
    Status Reason:      Job terminated successfully
    Destination:        ce0003.m45.ihep.su:2119/jobmanager-lcgpbs-atlas
    Submitted:          Tue Aug 12 14:13:49 2008 CEST
*************************************************************
    
    Status info for the Job : https://lb106.cern.ch:9000/T679nHHe1anGV3F9lxsutA
    Current Status:     Done (Success)
    Exit code:          0
    Status Reason:      Job terminated successfully
    Destination:        ce002.ipp.acad.bg:2119/jobmanager-lcgpbs-atlas
    Submitted:          Tue Aug 12 14:13:49 2008 CEST
*************************************************************
    
    Status info for the Job : https://lb106.cern.ch:9000/rh9u9rMbCDlkROPGX8tR6g
    Current Status:     Done (Success)
    Logged Reason(s):
        - 
        - Job terminated successfully
    Exit code:          0
    Status Reason:      Job terminated successfully
    Destination:        ce06-lcg.cr.cnaf.infn.it:2119/jobmanager-lcglsf-atlas
    Submitted:          Tue Aug 12 14:13:49 2008 CEST
*************************************************************

Récupération des outputs == Comme pour un job simple, il faut utiliser glite-wms-job-get-output <collectionId>. Les output de chaque jobs sont stockés par défaut dans un répertoire et les erreurs eventuelles sont signalées.

[lambert@lpsc-ui gliteWMS-Collection3]$ glite-wms-job-output  https://lb106.cern.ch:9000/SBw8z7J3XuphHpxayuhaOQ

Connecting to the service https://wms105.cern.ch:7443/glite_wms_wmproxy_server


================================================================================

                        JOB GET OUTPUT OUTCOME

Output sandbox files for the DAG/Collection :
https://lb106.cern.ch:9000/SBw8z7J3XuphHpxayuhaOQ
have been successfully retrieved and stored in the directory:
/tmp/lambert_SBw8z7J3XuphHpxayuhaOQ

================================================================================



[lambert@lpsc-ui gliteWMS-Collection3]$ ls /tmp/lambert_SBw8z7J3XuphHpxayuhaOQ
chien  girafe  ids_nodes.map  souris

-->Exercice: étudiez le fichier JDL. Par quoi est déterminer le répertoire où sont stockés les résultats de vos jobs ?

Résultat des jobs == Vous devez trouver un résultat similaire à celui ci :

[lambert@lpsc-ui gliteWMS-Collection2]$ cat /tmp/lambert_SBw8z7J3XuphHpxayuhaOQ/chien/std1.out 
Comment t'appelles tu chien ?
Je m'appelle paf !
[lambert@lpsc-ui gliteWMS-Collection2]$ cat /tmp/lambert_SBw8z7J3XuphHpxayuhaOQ/girafe/std2.out
Comment t'appelles tu girafe ?
Je m'appelle flipflap !
[lambert@lpsc-ui gliteWMS-Collection2]$ cat /tmp/lambert_SBw8z7J3XuphHpxayuhaOQ/souris/std3.out
Comment t'appelles tu souris ?
Je m'appelle sproutch !

up