Soumission d'une collection de jobs

Ce tutoriel décrit comment soumettre une collection de jobs, chacun étant décrit par un fichier jdl.

Pour lancer la collection de jobs, vous avez besoin de plusieurs fichiers

• Les fichier JDL (Job Description Langage) Les fichiers job1.jdl,job2.jdl,job3.jdl sont les fichiers décrivant chacun de vos jobs. Ces fichiers sont à placer sous un répertoire 'jdl'.
• L'executable Le fichier job.sh est le script qui va être exécuter sur la machine distante (le WN) . Dans notre cas il est commun aux trois jobs de la collection.

Soumission de la collection == L'argument --collection est à utiliser pour indiquer l'endroit où se trouvent les JDL.

[lambert@lpsc-ui gliteWMS-Collection1]$ ls
jdl  job.sh
[lambert@lpsc-ui gliteWMS-Collection1]$ glite-wms-job-submit -a --collection jdl

Connecting to the service https://wms111.cern.ch:7443/glite_wms_wmproxy_server


====================== glite-wms-job-submit Success ======================

The job has been successfully submitted to the WMProxy
Your job identifier is:

https://lb106.cern.ch:9000/PZHyuPiZNlaUyeSKbNs-lg

==========================================================================

Statut des jobs de la collection == Comme pour une soumission de job simple, il faut utiliser glite-wms-job-status <collectionId>. Le statut de chaque job de la collection est affiché ainsi que son jobId.

[lambert@lpsc-ui gliteWMS-Collection1]$ glite-wms-job-status https://lb106.cern.ch:9000/PZHyuPiZNlaUyeSKbNs-lg


*************************************************************
BOOKKEEPING INFORMATION:

Status info for the Job : https://lb106.cern.ch:9000/PZHyuPiZNlaUyeSKbNs-lg
Current Status:     Aborted 
Submitted:          Mon Aug 11 14:03:36 2008 CEST
*************************************************************

- Nodes information for: 
    Status info for the Job : https://lb106.cern.ch:9000/Bo6r95--3DDgvNTtvr7xRg
    Current Status:     Done (Success)
    Logged Reason(s):
        - 
        - Job terminated successfully
    Exit code:          0
    Status Reason:      Job terminated successfully
    Destination:        ce-2-fzk.gridka.de:2119/jobmanager-pbspro-atlasXL
    Submitted:          Mon Aug 11 14:03:36 2008 CEST
*************************************************************
    
    Status info for the Job : https://lb106.cern.ch:9000/D5eVTNp6Ee790RoUK8iRug
    Current Status:     Done (Success)
    Exit code:          0
    Status Reason:      Job terminated successfully
    Destination:        ce115.cern.ch:2119/jobmanager-lcglsf-grid_2nh_atlas
    Submitted:          Mon Aug 11 14:03:36 2008 CEST
*************************************************************
    
    Status info for the Job : https://lb106.cern.ch:9000/O6XU4SSZI23vw_0_5nwrww
    Current Status:     Aborted 
    Logged Reason(s):
        - Job got an error while in the CondorG queue.
    Status Reason:      hit job shallow retry count (0)
    Destination:        alice19.spbu.ru:2119/jobmanager-lcgpbs-atlas
    Submitted:          Mon Aug 11 14:03:36 2008 CEST
*************************************************************

-->Exercice: Dans cet exemple, un des jobs a échoué, lequel ?

Récupération des outputs == Comme pour un job simple, il faut utiliser glite-wms-job-get-output <collectionId>. Les output de chaque jobs sont stockés par défaut dans un répertoire et les erreurs eventuelles sont signalées.

[lambert@lpsc-ui gliteWMS-Collection1]$ glite-wms-job-output  https://lb106.cern.ch:9000/PZHyuPiZNlaUyeSKbNs-lg

Connecting to the service https://wms111.cern.ch:7443/glite_wms_wmproxy_server


Warning - https://lb106.cern.ch:9000/O6XU4SSZI23vw_0_5nwrww: the status for this child node is ABORTED

Warning - JobPurging not allowed
 (The Operation is not allowed: Job current status doesn't allow purge operation)


================================================================================

                        JOB GET OUTPUT OUTCOME

Output sandbox files for the DAG/Collection :
https://lb106.cern.ch:9000/PZHyuPiZNlaUyeSKbNs-lg
have been successfully retrieved and stored in the directory:
/tmp/lambert_PZHyuPiZNlaUyeSKbNs-lg

================================================================================

[lambert@lpsc-ui gliteWMS-Collection1]$ ls /tmp/lambert_PZHyuPiZNlaUyeSKbNs-lg
ids_nodes.map  Node_job1_jdl  Node_job2_jdl

Résultat des jobs == Vous devez trouver un résultat similaire à celui ci :

[lambert@lpsc-ui gliteWMS-Collection1]$ cat /tmp/lambert_PZHyuPiZNlaUyeSKbNs-lg/Node_job1_jdl/std.out 
Comment t'appelles tu chien ?
Je m'appelle paf !

[lambert@lpsc-ui gliteWMS-Collection1]$ cat /tmp/lambert_PZHyuPiZNlaUyeSKbNs-lg/Node_job2_jdl/std.out
Comment t'appelles tu girafe ?
Je m'appelle flipflap !

-->Exercice: Soumettez votre collection, que trouvez-vous pour le 3ème job ?

up