{"id":50011945,"date":"2022-09-02T16:07:11","date_gmt":"2022-09-02T20:07:11","guid":{"rendered":"https:\/\/gp2stg.wpenginepowered.com\/einfuehrung-in-die-nutzung-von-workspaces-und-gp2-daten\/"},"modified":"2024-11-13T22:34:35","modified_gmt":"2024-11-14T03:34:35","slug":"einfuehrung-in-die-nutzung-von-workspaces-und-gp2-daten","status":"publish","type":"post","link":"https:\/\/gp2.org\/de\/einfuehrung-in-die-nutzung-von-workspaces-und-gp2-daten\/","title":{"rendered":"Einf\u00fchrung in die Nutzung von Workspaces und GP2-Daten"},"content":{"rendered":"

Die Daten, die im Rahmen des Global Parkinson’s Genetics Program (GP2) sowie der Accelerating Medicines Partnership in Parkinson\u2019s Disease (AMP\u00ae<\/sup> PD) generiert werden, werden auf Terra<\/strong><\/a> gehostet, einer Cloud-Plattform f\u00fcr Bioinformatik, die das Broad Institute gemeinsam mit Microsoft und Verily entwickelt hat. Mit Terra lassen sich Analysen direkt in der Cloud durchf\u00fchren, so dass man keine Daten mehr auf den eigenen Computer herunterladen muss. So k\u00f6nnen wir die hohen Anforderungen an Datenschutz und Vertraulichkeit erf\u00fcllen und mittels strukturiertem, gemeinsam nutzbarem Code und Ergebnisbestand eine offene Wissenschaft und Reproduzierbarkeit erm\u00f6glichen.<\/p>\n

Terra unterst\u00fctzt zwei Arten von Analysen: Jupyter Notebooks und WDL Workflows. Notebooks sind in Zellen unterteilte Dokumente, die Codeschnipsel enthalten, mit denen man sequenzielle Analysen durchf\u00fchren kann. Notebooks unterst\u00fctzen verschiedene Sprachen, darunter Python. Sie eignen sich f\u00fcr eine Reihe von Analysen und bieten hervorragende M\u00f6glichkeiten zur Visualisierung und Dokumentation. Eventuell stellen Sie jedoch irgendwann fest, dass Sie mehr Rechenleistung oder eine l\u00e4ngere Laufzeit f\u00fcr Ihre Analysen ben\u00f6tigen, als ein Notebook erm\u00f6glicht. In diesem Fall k\u00f6nnen Sie alternativ einen Terra-Workflow nutzen. Diese Workflows werden in der Sprache WDL (ausgesprochen \u201ewiddle\u201c) erstellt und genau wie Batch-Auftr\u00e4ge an einen beliebigen Cloud-Server \u00fcbermittelt. Sie sind n\u00fctzlich f\u00fcr rechenintensive Analysen wie Alignments oder GWAS mit umfangreichen Stichproben.<\/p>\n

Beispiel einer Notebook-Struktur<\/h3>\n

\"\"<\/p>\n

Beispiel einer WDL-Struktur<\/h3>\n

\"\"<\/p>\n

Wenn Sie Zugriff auf GP2-Daten erhalten, erhalten Sie auch Zugriff auf die offiziellen GP2 Terra-Arbeitsbereiche. In beiden Workspaces \u2013 Tier\u00a01 und\u00a0Tier 2 \u2013 findet sich die README-Datei zur jeweils aktuellsten GP2-Datenversion (Release). Es empfiehlt sich sehr, diese zu lesen, da sie Erl\u00e4uterungen zu allen Dateien aus der jeweiligen Version enth\u00e4lt. Schauen Sie regelm\u00e4\u00dfig in diese Workspaces, denn dort werden nach und nach neue entwickelte Code-Ressourcen, Notebooks und Workflows zu GP2-Daten eingestellt.<\/p>\n

\"\"<\/p>\n

Um zu beginnen, m\u00fcssen Sie eine Projektidee zur Pr\u00fcfung an GP2 senden. Wird diese genehmigt, so erstellt Ihr Institut ein Abrechnungsprojekt und einen Workspace. Alternativ erledigt GP2 das in Ihrem Namen. Wenn der Workspace einmal eingerichtet ist, k\u00f6nnen Sie beginnen und ein neues Notebook f\u00fcr Ihre Analyse anlegen. Um ein Notebook auszuf\u00fchren, m\u00fcssen Sie eine Cloud-Umgebung einrichten. Diese Cloud-Umgebung k\u00f6nnen Sie nach Ihren Bed\u00fcrfnissen anpassen. Wenn Sie jedoch planen, alle derzeit verf\u00fcgbaren imputierten GP2-Daten zu komplexen Krankheiten zu verwenden, sollten Sie mindestens 100 GB\u00a0persistente Speicherkapazit\u00e4t anfordern, damit Sie \u00fcber gen\u00fcgend Platz verf\u00fcgen, um mit den 82\u00a0GB Daten (ab Release\u00a02.0) zu arbeiten. Man kann immer ein wenig mit den Optionen spielen, um zu sehen, was am besten funktioniert. Bedenken Sie aber bitte, dass mehr Ressourcen auch mit h\u00f6heren Kosten verbunden sind.<\/p>\n

Beispiel einer Cloud-Umgebung<\/h3>\n

\"\"<\/p>\n

Sobald Ihre Cloud-Umgebung l\u00e4uft und ein neues Notebook eingerichtet ist, k\u00f6nnen Sie mit der Analyse beginnen. F\u00fcr die Einrichtung Ihres Notebooks finden Sie weiter unten bzw. in den offiziellen GP2-Workspaces einige praktische Pakete und Variablen, die Sie nutzen k\u00f6nnen.<\/p>\n

N\u00fctzliche Pakete<\/h3>\n

\"\"<\/h3>\n

Einrichtung der Cloud-Umgebung\"\"<\/h3>\n

Verf\u00fcgbare Daten anzeigen und Daten aus der Cloud in Ihren Arbeitsbereich \u00fcbertragen k\u00f6nnen Sie mit dem Toolset gsutil. Um beispielsweise die im Bucket gp2tier2 verf\u00fcgbaren Daten aufzulisten, k\u00f6nnen Sie einen Befehl wie diesen verwenden<\/p>\n

\"\"<\/p>\n

Hier werden alle verf\u00fcgbaren Dateien im Release 2-Ordner aufgelistet.<\/p>\n

\"\"<\/p>\n

Sie k\u00f6nnen die Pfade \u00e4ndern, um in jedes Verzeichnis zu schauen. Wenn Sie beispielsweise den Pfad zu diesem \u00e4ndern,<\/p>\n

\"\"<\/p>\n

Es listet die Ordner f\u00fcr die imputierten Genotypdaten auf, getrennt nach der vorhergesagten Abstammung<\/p>\n

\"\"<\/p>\n

Wenn Sie sich f\u00fcr die ben\u00f6tigten Dateien entschieden haben, k\u00f6nnen Sie diese wie folgt in Ihren Arbeitsbereich kopieren:<\/p>\n

Erstellen Sie zun\u00e4chst ein Verzeichnis, in das Sie die Dateien kopieren m\u00f6chten.<\/p>\n

\"\"<\/p>\n

Kopieren Sie sie dann in Ihr neues Verzeichnis. In diesem Beispiel kopieren wir PD-Zusammenfassungsstatistiken von Nalls et al. 2019 ohne 23andMe-Daten.<\/p>\n

\"\"<\/p>\n

\u00dcberpr\u00fcfen Sie anhand der Datei, ob alles richtig kopiert wurde:<\/p>\n

\"\"\"\"<\/p>\n

Jetzt sind Ihre Daten zur Analyse bereit!<\/p>\n

\n

Dies war nur ein kurzes Beispiel f\u00fcr das Arbeiten in Workspaces und Notebooks mit GP2-Daten. Ein ausf\u00fchrlicheres Terra-Tutorial finden Sie im GP2 Learning Management System<\/strong><\/a>. Dort k\u00f6nnen Sie Kurs\u00a01 absolvieren: Einsatz von Terra f\u00fcr Datenzugriff und Durchf\u00fchrung von Analysen<\/p>\n","protected":false},"excerpt":{"rendered":"

Mit der Terra-Cloud-Plattform lassen sich Analysen direkt in der Cloud durchf\u00fchren, so dass man die GP2-Daten nicht mehr direkt auf den eigenen Computer herunterladen muss. Dieser Blogbeitrag bietet eine Einf\u00fchrung in die Analyse von GP2-Daten auf dieser Plattform mithilfe von Workspaces und Notebooks.<\/p>\n","protected":false},"author":6,"featured_media":50008485,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":"","_links_to":"","_links_to_target":""},"class_list":["post-50011945","post","type-post","status-publish","format-standard","hentry","post-type-blog-de","topic-forschungsaktivitaten-de","topic-forschungszusammenarbeit-de","topic-genetik-komplexer-krankheit-de"],"acf":[],"_links":{"self":[{"href":"https:\/\/gp2.org\/de\/wp-json\/wp\/v2\/posts\/50011945","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/gp2.org\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/gp2.org\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/gp2.org\/de\/wp-json\/wp\/v2\/users\/6"}],"replies":[{"embeddable":true,"href":"https:\/\/gp2.org\/de\/wp-json\/wp\/v2\/comments?post=50011945"}],"version-history":[{"count":0,"href":"https:\/\/gp2.org\/de\/wp-json\/wp\/v2\/posts\/50011945\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/gp2.org\/de\/wp-json\/wp\/v2\/media\/50008485"}],"wp:attachment":[{"href":"https:\/\/gp2.org\/de\/wp-json\/wp\/v2\/media?parent=50011945"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}