SLURM
Der SLURM Workload Manager (kurz: SLURM) ist ein Scheduling Tool, das auf den CIP-Rechnern verfügbar ist. Leider ist die Dokumentation von SLURM eher dürftig, sodass wir dir hier ein paar Infos an die Hand geben wollen, die für den alltäglichen Gebrauch von SLURM hilfreich sind.
Zunächst ist es hilfreich, ein Skript zu verwenden, in dem du SLURM mitteilst, mit welchen Optionen die aktuelle Aufgabe durchgeführt werden soll. Lege dir hierzu eine Datei mit bpsw. dem Namen script.sh an, die folgendes enthalten muss:
#!/bin/bash
#
#SBATCH --job-name=[Kurzname eures Jobs, zum Beispiel --job-name=cheept-train]
#SBATCH --comment=[Kurze Beschreibung des Jobs, etwa --comment="Training eines NNs"]
#SBATCH --mail-type=ALL
#SBATCH --mail-user=[E-Mail-Adresse, an welche Notifications gehen sollen, etwa wenn der Job beendet, gestartet, oder abgebrochen wurde, zum Beispiel --mail-user=cheept@campus.lmu.de]
#SBATCH --chdir=[Pfad zum Ordner eurer auszuführenden Datei, etwa --chdir=/home/c/cheept/Desktop/mein_projekt]
#SBATCH --output=[Wie --chdir, aber mit dem Zusatz slurm.%j.%N.out - auf diese Weise werden die Outputs sauber archiviert. Beispiel: --output=/home/c/cheept/Desktop/mein_projekt/slurm.%j.%N.out]
#SBATCH --ntasks=1
python3 -u mein_programm.py param1 param2
Bitte beachte, dass du für Python-Programme (und andere Programme mit Ausgaben auf den Bildschirm) die Flag -u setzt. Dieses sorgt dafür, dass deine Ausgaben in eine Datei weitergeleitet werden und nicht verloren gehen (weil sie ja normalerweise direkt auf dem Bildschirm angezeigt werden). Natürlich kannst du auch andere Arten von Tools mit SLURM ausführen (etwa wget zum Crawling usw.).
Hast du die Datei script.sh in dieselbe Directory gelegt, in dem sich dein Programm befindet, kannst du folgendermaßen SLURM starten.
sbatch --partition=NvidiaAll script.sh
Der Befehl sbatch startet dein Programm mithilfe des zuvor angelegten Skripts. Bestätigt wird dies mit einer E-Mail. Interessant ist der Parameter --partition. Hiermit gibst du die benötigte Art von Computer an. Das ist wichtig, fallsu du GPUs benötigst. Folgende Partitionen stehen zur Verfügung:
All- alle Rechner ohne besondere Vorgaben zur Hardware/GPUNvidiaAll- für Jobs, die NVIDIA CUDA als Umgebung brauchen.Nvidia2060Nvidia1050AMD
Mittels der Anweisung squeue kannst du eine Liste mit allen aktuell laufenden Jobs anzeigen. Darunter befindet sich auch dein Programm. Mit scancel <YOUR JOB NUMBER> kannst du deinen Job auch vorzeitig beenden. Deine Jobnummer findest du mit dem Befehl squeue.
Weitere Informationen finden sich auf den Seiten der Rechnerbetriebsgruppe.
Spezielle Hinweise für Python-Projekte
Python-Skripte, die externe Bibliotheken benötigen (z.B. numpy, torch, pandas, etc.), müssen in einem Virtual Environment laufen!
Verbinde dich mit den CIP-Computern und navigiere mit cd in den Ordner von deinem Python-Projekt
cd mein_projekt
Hier kannst du nun ein Virtual Environment erstellen:
python3 -m venv .venv # erstellt ein Virtual Environment in dem Unterordner .venv
Jetzt kannst du das Virtual Environment aktivieren, um die entsprechenden Bibliotheken zu installieren. Am einfachsten hast du alle nötigen Bibliotheken schon in einer requirements.txt-Datei gespeichert:
source /home/c/cheept/mein_projekt/.venv/bin/activate # aktiviere das Virtual Environment im aktuellen Terminal
# Variante 1: entweder mit requirements-Datei installieren:
pip install -r /home/c/cheept/mein_projekt/requirements.txt # installiere alle Bibiliotheken, die in requirements.txt gelistet sind
# Variante 2: oder direkt im Terminal installieren:
pip install torch pandas numpy # Bibliotheken direkt installieren
deactivate # das Virtual Environment wieder deaktivieren, wenn du fertig bist
Dein Virtual Environment ist jetzt fertig und kann benutzt werden. Hierzu musst du den activate-Befehl auch im SLURM-Skript ausführen, bevor du dein Python-Skript ausführen lässt:
#!/bin/bash
#
#SBATCH --job-name=[Kurzname eures Jobs, zum Beispiel --job-name=cheept-train]
#SBATCH --comment=[Kurze Beschreibung des Jobs, etwa --comment="Training eines NNs"]
#SBATCH --mail-type=ALL
#SBATCH --mail-user=[E-Mail-Adresse, an welche Notifications gehen sollen, etwa wenn der Job beendet, gestartet, oder abgebrochen wurde, zum Beispiel --mail-user=cheept@campus.lmu.de]
#SBATCH --chdir=[Pfad zum Ordner eurer auszuführenden Datei, etwa --chdir=/home/c/cheept/Desktop/mein_projekt]
#SBATCH --output=[Wie --chdir, aber mit dem Zusatz slurm.%j.%N.out - auf diese Weise werden die Outputs sauber archiviert. Beispiel: --output=/home/c/cheept/Desktop/mein_projekt/slurm.%j.%N.out]
#SBATCH --ntasks=1
source /home/c/cheept/mein_projekt/.venv/bin/activate # aktiviere das Virtual Environment
python3 -u mein_programm.py param1 param2 # das Python-Skript läuft jetzt im Virtual Environment und hat Zugang zu allen installierten externen Bibliotheken
deactivate # deaktiviere das Virtual Environment, wenn dein SLURM-Job beendet ist (optional)