snakemake_rapidrun_swarm issueshttps://gitlab.mbb.univ-montp2.fr/edna/snakemake_rapidrun_swarm/-/issues2022-10-05T14:19:34Zhttps://gitlab.mbb.univ-montp2.fr/edna/snakemake_rapidrun_swarm/-/issues/37prepare_spygen enhancements ideas2022-10-05T14:19:34Zvmarquesprepare_spygen enhancements ideasUne idée pour améliorer le script de prepare_spygen pour préparer les métadonnées:
- Supprimer la gestion des noms de projets comme déjà évoqué sur une autre issue
- Ajouter le renommage des échantillons assignés aux projets "Other" e...Une idée pour améliorer le script de prepare_spygen pour préparer les métadonnées:
- Supprimer la gestion des noms de projets comme déjà évoqué sur une autre issue
- Ajouter le renommage des échantillons assignés aux projets "Other" et aux contrôles PCR
Ce changement permettrait de facilement combiner des sources de données sans se soucier de renommer les samples Other, car il ne doit pas y avoir de duplicata de noms d'échantillons.
On pourrait nommer les noms d'échantillons Other par la combinaison des positions de plaque et du run.
Ex: Other_123 deviendrait Other_P1A1_AIMI-288
De cette façon, les noms d'échantillons Other seraient toujours uniques et on en amont, on ne se préoccupe pas du fait que ce soit unique ou non
Les contrôles PCR sont liés au projet analysés, mais leur nom est souvent similaires entre librairies. On pourrait les renommer de la même façon.
Ex: CPCR_12 deviendrait CPCR_P1A2_AIMI-250https://gitlab.mbb.univ-montp2.fr/edna/snakemake_rapidrun_swarm/-/issues/34simplify workflow to have less steps and less heavy intermediate results2021-06-04T11:44:48Zvmarquessimplify workflow to have less steps and less heavy intermediate results- [x] remove "quality" steps
- [x] update schema
- [ ] update doc
- [ ] other ???- [x] remove "quality" steps
- [x] update schema
- [ ] update doc
- [ ] other ???https://gitlab.mbb.univ-montp2.fr/edna/snakemake_rapidrun_swarm/-/issues/33Add multicore option for demultiplexing2021-06-04T14:43:01ZvmarquesAdd multicore option for demultiplexingpeguerinpierre-edouard.guerin@cefe.cnrs.frpeguerinpierre-edouard.guerin@cefe.cnrs.frhttps://gitlab.mbb.univ-montp2.fr/edna/snakemake_rapidrun_swarm/-/issues/32prepare spygen file - ameliorations2021-04-22T14:09:51Zvmarquesprepare spygen file - ameliorations* [x] parametres alice file, dat file, le nom du projet
* [x] documentation
* [x] check mamm a disparu pour antarctique
* [x] factoriser liste des mots pour le projet other
* [x] factoriser liste des mots pour le projet notreprojet
* [ ...* [x] parametres alice file, dat file, le nom du projet
* [x] documentation
* [x] check mamm a disparu pour antarctique
* [x] factoriser liste des mots pour le projet other
* [x] factoriser liste des mots pour le projet notreprojet
* [ ] verifier que les dat ont des plaques-tags uniques
* [x] Other = OTHER
* [x] chercher la correspondance plaques-tags sur le dat du markerr qui correspond dans le fichier alice
* [x] les noms des marqueurs doivent pouvoir etre majuscule ou pas (y compris les noms des fichiers dat)https://gitlab.mbb.univ-montp2.fr/edna/snakemake_rapidrun_swarm/-/issues/27fastqc step2021-02-23T16:09:31Zpeguerinpierre-edouard.guerin@cefe.cnrs.frfastqc stepajouter une eetape fastqc en amontajouter une eetape fastqc en amonthttps://gitlab.mbb.univ-montp2.fr/edna/snakemake_rapidrun_swarm/-/issues/23run snakemake on cluster Sun Grid Engine MBB2021-01-19T16:42:58Zpeguerinpierre-edouard.guerin@cefe.cnrs.frrun snakemake on cluster Sun Grid Engine MBBVoir pour lancer des jobs sur le cluster MBB avec snakemake
https://snakemake.readthedocs.io/en/v3.13.2/executable.html#cluster-executionVoir pour lancer des jobs sur le cluster MBB avec snakemake
https://snakemake.readthedocs.io/en/v3.13.2/executable.html#cluster-executionhttps://gitlab.mbb.univ-montp2.fr/edna/snakemake_rapidrun_swarm/-/issues/22deploy the workflow on ELIXIR cloud VM2021-01-19T16:41:35Zpeguerinpierre-edouard.guerin@cefe.cnrs.frdeploy the workflow on ELIXIR cloud VMSe renseigner sur les machines virtuelles et comment les utiliser sur https://elixir-europe.org/Se renseigner sur les machines virtuelles et comment les utiliser sur https://elixir-europe.org/https://gitlab.mbb.univ-montp2.fr/edna/snakemake_rapidrun_swarm/-/issues/15subworkflow2021-01-19T16:35:22Zpeguerinpierre-edouard.guerin@cefe.cnrs.frsubworkflowavoir un seul fichier snakemake qui execute tous les workflows en tant que subworkflowavoir un seul fichier snakemake qui execute tous les workflows en tant que subworkflowpeguerinpierre-edouard.guerin@cefe.cnrs.frpeguerinpierre-edouard.guerin@cefe.cnrs.frhttps://gitlab.mbb.univ-montp2.fr/edna/snakemake_rapidrun_swarm/-/issues/14add test unit2021-01-19T10:56:41Zpeguerinpierre-edouard.guerin@cefe.cnrs.fradd test unithttps://snakemake.readthedocs.io/en/stable/snakefiles/testing.htmlhttps://snakemake.readthedocs.io/en/stable/snakefiles/testing.htmlpeguerinpierre-edouard.guerin@cefe.cnrs.frpeguerinpierre-edouard.guerin@cefe.cnrs.frhttps://gitlab.mbb.univ-montp2.fr/edna/snakemake_rapidrun_swarm/-/issues/13add benchmarks2021-01-12T15:32:49Zpeguerinpierre-edouard.guerin@cefe.cnrs.fradd benchmarkshttps://snakemake.readthedocs.io/en/stable/tutorial/additional_features.htmlhttps://snakemake.readthedocs.io/en/stable/tutorial/additional_features.htmlpeguerinpierre-edouard.guerin@cefe.cnrs.frpeguerinpierre-edouard.guerin@cefe.cnrs.frhttps://gitlab.mbb.univ-montp2.fr/edna/snakemake_rapidrun_swarm/-/issues/12Simplify data export2021-01-20T14:48:32ZvmarquesSimplify data exportPour l'instant, l'export des données est compliquée car se trouvent dans deux dossiers distincts: results/06_assignement/04_table/* ainsi que 05_clustering/02_otu_table/* avec des noms identiques pour tous les projets
Pour simplifier l...Pour l'instant, l'export des données est compliquée car se trouvent dans deux dossiers distincts: results/06_assignement/04_table/* ainsi que 05_clustering/02_otu_table/* avec des noms identiques pour tous les projets
Pour simplifier l'export des données du pipeline, il faudrait modifier deux éléments:
- mettre à jour le script rename.sh pour renommer les fichiers à exporter et les identifier correctement
- peut être rajouter une ligne de code pour bouger les fichiers d'intéret dans un dossier "final" pour faciliter leur téléchargement et limiter le risque d'erreurpeguerinpierre-edouard.guerin@cefe.cnrs.frpeguerinpierre-edouard.guerin@cefe.cnrs.frhttps://gitlab.mbb.univ-montp2.fr/edna/snakemake_rapidrun_swarm/-/issues/9Ease the data download2021-01-19T10:51:45ZvmarquesEase the data downloadUne idée d'amélioration du pipeline:
Rajouter une ligne dans le fichier main.sh pour faciliter le téléchargement des deux fichiers qui sont l'output utile du pipeline.
Ils sont dans 04_clustering et 06_assignement et dans des dossier...Une idée d'amélioration du pipeline:
Rajouter une ligne dans le fichier main.sh pour faciliter le téléchargement des deux fichiers qui sont l'output utile du pipeline.
Ils sont dans 04_clustering et 06_assignement et dans des dossiers différents, c'est pénible à extraire.
Il faudrait juste une ligne et trouver comment mieux stocker ce groupe de outputs pour faciliter le téléchargementhttps://gitlab.mbb.univ-montp2.fr/edna/snakemake_rapidrun_swarm/-/issues/5Change name files in 06_ folder2021-01-20T14:46:19ZvmarquesChange name files in 06_ folderSalut,
Je pense qu'un changement (mineur) qui se serait bien de faire serait de changer le nom des fichiers dans le folder 06_.
Car pour le moment ils sont rangés dans des dossiers distincts (ce qui est bien) mais ce serait encore mi...Salut,
Je pense qu'un changement (mineur) qui se serait bien de faire serait de changer le nom des fichiers dans le folder 06_.
Car pour le moment ils sont rangés dans des dossiers distincts (ce qui est bien) mais ce serait encore mieux si on pouvait nommer différemment chaque fichier, ça éviterait des erreurs futures quand on regroupe les données.
Par ex, si on se place la:
```
/media/superdisk/edna/working/santamarta_providencia/snakemake_rapidrun_swarm/06_assignment/01_ecotag
tree
```
On voit qu'on à ça:
```
├── Providencia
│ ├── chond
│ │ └── otu.tag.genbank.fasta
│ ├── teleo
│ │ └── otu.tag.genbank.fasta
│ └── vert
│ └── otu.tag.genbank.fasta
└── SantaMarta
├── chond
│ └── otu.tag.genbank.fasta
├── teleo
│ └── otu.tag.genbank.fasta
└── vert
└── otu.tag.genbank.fasta
```
Idéalement, dans Providencia_chond, son nom de fichier devrait être Providencia_chond_otu_tag_genbank.fasta
C'est valable pour tout le dossier 06_.
Je ne sais pas si c'est compliqué à changer car ces fichiers sont ré-utilisés à la suite de la pipeline.
Merci :)peguerinpierre-edouard.guerin@cefe.cnrs.frpeguerinpierre-edouard.guerin@cefe.cnrs.frhttps://gitlab.mbb.univ-montp2.fr/edna/snakemake_rapidrun_swarm/-/issues/4Ajouter base de ref custom2021-06-04T08:13:52ZvmarquesAjouter base de ref customAmélioration à prévoir: une option pour assigner les séquences des MOTUs à une base de référérence custom, en plus de NCBI genbankAmélioration à prévoir: une option pour assigner les séquences des MOTUs à une base de référérence custom, en plus de NCBI genbankhttps://gitlab.mbb.univ-montp2.fr/edna/snakemake_rapidrun_swarm/-/issues/1remove run or projet or sample using a file2020-02-06T13:36:00Zpeguerinpierre-edouard.guerin@cefe.cnrs.frremove run or projet or sample using a fileEn ce moment, pour le cas "malpelo fakarava" une ligne est écrite en dur dans le script pour enlever les run de guadeloupe de l'analyse.
Il faudrait que les run/projet/sample ou elements à enlever d'une analyse soit indiquer (type et va...En ce moment, pour le cas "malpelo fakarava" une ligne est écrite en dur dans le script pour enlever les run de guadeloupe de l'analyse.
Il faudrait que les run/projet/sample ou elements à enlever d'une analyse soit indiquer (type et valeur) dans un fichier à part et lu par le fichier au début de l'analyse.peguerinpierre-edouard.guerin@cefe.cnrs.frpeguerinpierre-edouard.guerin@cefe.cnrs.fr