Inhaltsverzeichnis
Reproduzierbare Workflows leicht gemacht
In Task Area 4 von FAIRagro werden die zentralen Infrastruktur-Services für das Konsortium entwickelt und bereitgestellt. Einer der vier Aufgabenbereiche von TA 4 ist Measure 4.4: Scientific Workflow Infrastructure (SciWIn). Ein wesentlicher Teil dieses Arbeitspakets ist die Konzeption und Entwicklung des SciWIn-Toolkits. Um was es sich dabei handelt, erklären wir auf dieser Seite.
Besser, leichter, schöner arbeiten … welche/r gestresste Forscher*in möchte das nicht?
SciWIn (Scientific Workflow Infrastructure) ist ein leichtgewichtiges Toolkit, das im Rahmen des FAIRagro-Projekts entwickelt wurde, um Forschende bei der Erstellung, Ausführung, Dokumentation und Weitergabe computergestützter Workflows in ihrem täglichen Arbeitsalltag zu helfen. Ziel ist es, Forschende dabei zu unterstützen, von Sammlungen von Skripten, die „auf meinem Rechner funktionieren“, zu reproduzierbaren Workflows zu gelangen, die lokal ausgeführt, mit Kollegen geteilt oder auf HPC-Umgebungen skaliert werden können, ohne dass dafür Fachwissen in Workflow-Sprachen wie CWL, Nextflow oder Snakemake erforderlich ist.
SciWIn-Client (s4n)
Für Forschende, die in der Kommandozeile arbeiten
Der SciWIn-Client ist ein Kommandozeilen-Tool (s4n), das die Erstellung, Aufzeichnung, Annotation und Ausführung computergestützter Workflows vereinfacht. Workflows werden direkt aus bestehenden Skripten oder Toolaufrufen generiert.
Nutzer können ihren gewohnten Befehlen ein s4n create voranstellen, um automatisch ein CWL CommandLineTool zu erstellen. Im Hintergrund nutzt der SciWIn-Client Git, um zu verfolgen, welche Ausgaben erzeugt werden, und die Workflow Entstehung (Provenance) zu dokumentieren.
Der SciWIn-Client ist ideal geeignet für:
- Forschende, die mit Skripten und Shell-Befehlen arbeiten und CWL CommandLineTools erstellen möchten.
- Forschende, die ihre Arbeit dokumentieren und versionieren wollen.
- Jede Person, die Reproduzierbarkeit über verschiedene Maschinen oder Teams hinweg erreichen möchte.
SciWIn-Studio
Für Forschende, die eine grafische Oberfläche bevorzugen
SciWIn-Studio bietet eine einfache grafische Benutzeroberfläche, mit der Nutzer Workflows visuell erstellen können, indem sie einzelne Schritte miteinander verbinden und existierende Tools installieren. Dadurch eignet es sich besonders gut für weniger technisch versierte Anwender, da keine Programmierkenntnisse erforderlich sind. Gleichzeitig können Nutzer auch mit SciWIn-Studio neue Workflow-Schritte (CWL CommandLineTools) aus vorhandenen Skripten generieren und diese direkt ausführen.
Features des SciWIn-Studios:
- Drag-and-Drop-Oberfläche zum Verbinden von Workflow-Schritten
- Visuelle Darstellung der Workflow-Schritte und Anzeige des Datenflusses
- Ausführung von Workflows lokal oder remote
- Ideal für Nutzer, die nicht in der Kommandozeile arbeiten
Beteiligen Sie sich gerne: Schauen Sie in die Dokumentation, führen Sie sich die Aufzeichnung des dazugehörigen FAIRagro-Talks zu Gemüte (siehe auch unten) und lassen Sie uns wissen, ob Sie SciWIn als FAIRagro-Service bereits ausprobiert haben (Download von GitHub) oder teilen Sie uns Ihre Ideen und Ihr Feedback in Form eines GitHub-Issues mit.
Wenn Sie mehr wissen möchten, wenden Sie sich gerne an Harald von Waldow.
FAIRagro Talk: SciWIn – making your workflows work for you
Besser, leichter, schöner arbeiten … welche/r gestresste Forscher*in möchte das nicht?
In Task Area 4 von FAIRagro werden die zentralen Infrastruktur-Services für das Konsortium entwickelt und bereitgestellt – unter anderem die Scientific Workflow Infrastructure (SciWIn). Um was es sich dabei handelt und welche Vorteile das mit sich bringt, hat uns Jens Krumsieck (Thünen-Institut) in der November-Ausgabe des FAIRagro Talks erklärt.
Alle Publikationen zu SciWIn auf zenodo
News zu SciWIn
-
FAIRagro & DataPLANT Joint Workflow Hackathon: Zwei produktive Tage in Darmstadt
Beim gemeinsamen Hackathon von FAIRagro und DataPLANT am 4. und 5. Mai am KTBL in Darmstadt ging es um die bessere Verzahnung vom ARC-Ökosystem (ARC = Annotated Research Context) und SciWIn. In mehreren Teams wurden sowohl allgemeine als auch sehr spezifische Probleme angegangen, wie etwa die automatische Validierung von CWL-basierten Workflows: Nutzer*innen sollen künftig auf…
-
FAIR, schnell und reibungslos: Die SciWIn Tools zur Erstellung von Workflows
Reproduzierbarkeit in der computergestützten Forschung ist für eine effektive Zusammenarbeit, die Überprüfung von Ergebnissen und die Wahrung der Transparenz unerlässlich. Aufgrund komplexer Workflows, uneinheitlicher Datenmanagementpraktiken und Abhängigkeiten von bestimmten Softwareumgebungen bleibt dies jedoch für viele Forschende eine echte Herausforderung. Die Common Workflow Language (CWL) bietet zwar einen portablen, maschinen- und menschenlesbaren Standard, doch ihre manuelle…
-
SciWIn – was ist das eigentlich?
Besser, leichter, schöner arbeiten … welche/r gestresste Forscher*in möchte das nicht? In Task Area 4 von FAIRagro werden die zentralen Infrastruktur-Services für das Konsortium entwickelt und bereitgestellt. Einer der vier Aufgabenbereiche von TA 4 ist Measure 4.4: Scientific Workflow Infrastructure (SciWIn). Ein wesentlicher Teil dieses Arbeitspakets ist die Konzeption und Entwicklung des SciWIn-Client. Um was…