Commit 009997b8 authored by remy's avatar remy

soucis de tranfert

parent a0a6e591
......@@ -186,7 +186,7 @@ Pour rappel, cette option permet de définir le temps maximum pendant lequel vot
Vous permettra d'avoir un job qui durera, au maximum, 19h.
## Fonctionnement du scratch et du home sur nos clusters
# Fonctionnement du scratch et du home sur nos clusters
Le **scratch** sur nos clusters fonctionne souvent différemment que sur les autres clusters. En effet, ce dernier est local à chaque nœud. Si vous voulez l'utiliser, il faut donc prévoir une copie des données dans votre job vers le dossier `/export/scratch` puis les récupérer à la fin de votre job. Par conséquent, il est impossible d'utiliser un scratch avec un job de type MPI. La raison principale de ce choix est que la plupart des calculs ne sont pas du type MPI. Par conséquent, l'infrastructure est de type *[HTC](https://en.wikipedia.org/wiki/High-throughput_computing)*, et non *[HPC](https://en.wikipedia.org/wiki/Supercomputer)*, c'est à dire, sans réseau à faible latence. En l'absence d'un réseau de ce type, un filesystem parallélisé est impossible à mettre en place (à cause de performances très dégradées). En revanche pour des jobs simples, vous bénéficierai d'un accès particulièrement rapide vers ce scratch, puisque ce dernier est local à la machine.
......@@ -212,7 +212,28 @@ cp -rp $scratch /home/$USER
rm -rf $scratch
```
## Utiliser R avec SGE
# Transferts de donnees
## Comment transférer des données sur le cluster
Voir [cet article](tutombb.md#au-travers-d-un-accès-au-cluster-en-ssh). Pour les gros besoins/transferts, merci de [nous consulter](http://kimura.univ-montp2.fr/calcul/helpdesk_NewTicket.html). En effet, le noeud maître ou noeud de login ne doivent pas être monopolisés par des transferts qui seraient bloquants pour les autres utilisateurs.
## J'ai transfere des donnees texte editees sous Windows
Il faudra les transformer avec l'outil `dos2unix`. Vous pouvez vérifier que votre fichier ne contient pas de caratères spéciaux avec `cat` :
```bash
cat -vt mon_fichier.txt
# si vous voyez des caratères tels que "^M" en fin de ligne, il faudra convertir le fichier.
```
> Pour **MacOS**, vous avez également le programme `mac2unix` contenu dans la package `dos2unix` qui fera la même chose !
## Soucis FileZilla et Fail2ban
Nos serveurs sont équipés du logiciel `Fail2ban` pour éviter des tentatives de piratage depuis l'extérieur. Cela peut poser des problèmes au logiciel `FileZilla` qui tente de muliplier le nombre de connexion et de threads et sera vu comme une tentative d'attaque [DDoS](https://fr.wikipedia.org/wiki/Attaque_par_d%C3%A9ni_de_service) par nos serveurs. Afin de contourner le problème, vous pouvez soit réduire le [nombre de threads simultanés à 2 dans FileZilla](https://portal.obtrix.net/knowledgebase.php?action=displayarticle&id=121), soit nous faire un ticket pour mettre [votre adresse IP publique](https://www.whatismyip.com) en liste blanche.
# Utiliser R avec SGE
Exemple de code R (somme.R):
......@@ -247,28 +268,15 @@ Lancer avec SGE pour faire la somme des entiers de 1 à 10 :
qsub submit_somme.sge 1 10
```
## Connaître son quota
# Connaitre son quota
Il vous est possible de connaître votre quota LDAP avec le script `get_myquota.sh`. La valeur retournée n'est pas forcément celle présente sur le système. Contactez votre administrateur système en cas de doute.
## Utiliser module
# Utiliser module
Voir ici : [utiliser module](cluster.md#utiliser-module)
## Comment transférer des données sur le cluster
Voir [cet article](tutombb.md#au-travers-d-un-accès-au-cluster-en-ssh). Pour les gros besoins/transferts, merci de [nous consulter](http://kimura.univ-montp2.fr/calcul/helpdesk_NewTicket.html). En effet, le noeud maître ou noeud de login ne doivent pas être monopolisés par des transferts qui seraient bloquants pour les autres utilisateurs.
## J'ai transféré des données texte éditées sous Windows
Il faudra les transformer avec l'outil `dos2unix`. Vous pouvez vérifier que votre fichier ne contient pas de caratères spéciaux avec `cat` :
```bash
cat -vt mon_fichier.txt
# si vous voyez des caratères tels que "^M" en fin de ligne, il faudra convertir le fichier.
```
## Comment lancer un job en réservant de la mémoire pour son job
# Comment lancer un job en réservant de la mémoire pour son job
```bash
# pour réserver 15Go de RAM par ex.
......
Markdown is supported
0%
or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment