Quoi Utiliser ?

Si vous êtes sur cette documentation, c'est que vous vous demander quel service de la plateforme serait le plus adapté à votre problème.

Introduction

En terme de calcul, la plateforme dispose de machines GPU, de machine que nous nommons bigmems, d'un cluster de calcul destiné au personnel ISE-M, d'un cluster MBB dont le périmètre est plus large (personnel des laboratoires du LabEx CeMEB) et d'une machine serveur pour le logiciel rstudio. Le périmètre par défaut de nos services est le LabEx CeMEB. Dans tous les cas, le préalable est de faire une demande de compte MBB pour accéder à nos services.

Je ne vais pas décrire ici tous nos services, mais uniquement me concentrer sur l'aspect calcul. Sachez juste que notre plateforme propose également de l'aide au développement logiciel, un appui en bioinformatique * et une forge gitlab (+ du stockage et de l'hébergement Web pour l'ISE-M).

* Note : cet appui se concrétise par un appui à la mise en place et au développement de workflows et par une puissance de calcul auxiliaire avec des machines dédiées (autrefois : service galaxy...)

Description des services

Serveur Rstudio

Le serveur rstudio, bien que relativement puissant, n'a pas vocation a accueillir tous vos calculs sous R, bien au contraire. Le but est justement d'ajuster et tester vos scripts R, avant de les soumettre sur un environnement plus large.

Machines GPU

Les machines GPU sont très performantes et peuvent accomplir des tâches que les clusters ou machines bigmems ne pourraient que difficilement réaliser. Cependant, cela nécessite que la problématique soit adaptée et que le code utilisé soit compatible (cuda...). Nous utilisons nvidia-docker sur ces machines et elles sont accessibles après réservation sur notre plateforme de réservation GRR (merci de faire un ticket pour y accéder la 1ère fois).

Cluster ISE-M

Le cluster de calcul de l'ISE-M est réservé au personnel de l'ISE-M. Sa création précède l'existence du LabEx. Ce dernier dispose de plusieurs queues dont certaines sont privées. Les files d'attente (queues) sont :

qconf -sql
> bionic.q
> intron_dyn
> long.q
> mem.q
> migraine
> small.q

migraine et intron_dyn sont 2 queues privées. Les autres sont disponibles soit directement, soit après demande en faisant un ticket ici (voir cet article pour voir à quoi vous avez accès).

La queue bionic.q est une queue expérimentale sous Ubuntu 18.04 avec dans l'idée, une éventuelle migration du reste du cluster sous ce système. Les machines dans la queue mem.q disposent de plus de mémoire, mais sont accessibles qu'après en avoir fait la demande. La queue small.q est limitée, pour l'exécution des jobs, à une durée de 10 heures.

La queue long.q sera donc certainement votre queue par défaut sur ce cluster.

Vous pouvez lister l'appartenance des machines et leurs caractéristiques par queue avec :

qhost -q

Si jamais la queue mem.q ne suffit pas à faire tourner vos travaux, vous avez alors la possibilité de réserver une machine bigmems.

Cluster MBB

Le cluster de calcul MBB est accessible à toute personne faisant partie du LabEx CeMEB.

Ce dernier peut être accéder soit directement par SSH, soit au travers du site Web https://mbb.univ-montp2.fr A ce sujet, voir cet article. Le site Web donne accès à des programmes et des ressources limitées. Pour profiter au mieux du cluster, nous vous conseillons donc l'utilisation classique en ligne de commande par SSH.

Une queue mbb.q est dédiée à l'utilisation par le site Web. Toutes les autres queues sont disponibles par SSH soit directement, soit après demande (voir cet article pour voir à quoi vous avez accès).

qcong -sql
> cemeb.q
> cemeb20.q
> mbb.q
> mem.q

La queue cemeb.q est la file d'attente standard pour vos jobs. Si vous avez besoin de machines qui ont un peu plus de ressources, il faudra vous tourner vers cemeb20.q (plus de cœurs), voir mem.q qui dispose de machines ayant plus de mémoire, mais nécessite un ticket pour y avoir accès.

Vous pouvez lister l'appartenance des machines et leurs caractéristiques par queue avec :

qhost -q

Si jamais les deux dernières queues ne suffisent pas à faire tourner vos travaux, vous avez alors la possibilité de réserver une machine bigmems.

Machines Bigmems

MBB possède 3 machines 64 coeurs et 512Go de RAM accessibles après demande de réservation (plateforme de réservation GRR; merci de faire un ticket pour y accéder la 1ère fois). Les machines ne sont pas connectées au cluster vous permettant d'avoir :

  1. un accès complet et total sur la machine le temps de la réservation,
  2. de pouvoir lancer directement vos jobs sur la machine sans passer par un Job Scheduler comme SGE.

Ces machines sont installées par défaut sous Ubuntu 18.04. Les machines sont réinstallées entre chaque réservation, il vous faut donc prévoir le temps de transfert de vos données dans la durée totale de la réservation. La durée maximum de réservation est de 3 semaines consécutives par projet, renouvelable 1 fois par période glissante de 1 trimestre.

Ces machines disposent d'un stockage interne de 3 à 6To et nous pouvons éventuellement connecter/monter des espaces tierces sur demande.

Si ces machines ne suffisent pas alors nous vous conseillons de vous tourner vers le mésocentre local (meso@lr).

Contraintes d'accès et politique de la plateforme

La plateforme n'assure aucune sécurité ou sauvegarde sur vos données (sauf pour le service stockage de l'ISE-M). Nos services sont soumis aux chartes de nos tutelles que sont notre organisme d'accueil, l'UM, le CNRS et pour le réseau, Renater.

  1. https://www.umontpellier.fr/wp-content/uploads/2014/07/CHARTE-USAGE-SI-UMontpellier.pdf
  2. https://intranet.cnrs.fr/delegations/dr19/labos/si/Documents/charte_ssi_version_anglaise.pdf
  3. https://www.renater.fr/IMG/pdf/Charte-indivi-vf2012.pdf

Pour tout travail utilisant les service de la plateforme calcul et bioinformatique de Montpellier Bioinformatics Biodiversity, merci d'inclure cette formule dans vos publications:

[Replace_with_your_project_name] benefited from the Montpellier Bioinformatics Biodiversity platform supported by the LabEx CeMEB, an ANR "Investissements d'avenir" program (ANR-10-LABX-04-01).