Generative KI Masterclass: Ein eigenes LLM bauen und trainieren

Wer teilnehmen sollte:

Dieser Kurs richtet sich an erfahrene Entwickler:innen und Data Scientists, die selbst LLMs trainieren oder anpassen möchten. Voraussetzungen sind fundierte Kenntnisse in Python, Machine Learning (PyTorch/TensorFlow) sowie ein grundlegendes Verständnis von Deep Learning-Architekturen. Ideal für Forschende, ML-Ingenieur:innen oder KIEnthusiast:innen, die eigene Modelle entwickeln oder tief gehendes Wissen über Sprachmodelle erlangen möchten.

Zielgruppe:

Erfahrene Entwickler:innen, Data Scientists und Machine-Learning-Expert:innen, die tiefer in die Architektur und das Training großer Sprachmodelle eintauchen möchten. Der Fokus liegt auf Modellarchitektur, Datenauswahl, Tokenisierung, Training, Evaluierung und Optimierung.

Schulungsziel:

Diese Masterclass vermittelt ein tiefgehendes Verständnis darüber, wie LLMs aufgebaut, trainiert und optimiert werden. Die Teilnehmenden lernen, eigene Transformer-Modelle zu entwickeln, die richtigen Datensätze aufzubereiten, Tokenizer zu trainieren und den gesamten Trainingsprozess von LLMs nachzuvollziehen. Neben dem Training von Modellen wird auch Feintuning, Evaluierung und Optimierung behandelt. Nach dem Kurs sind die Teilnehmenden in der Lage, ein eigenes kleines LLM zu trainieren, es zu evaluieren und in Anwendungen zu integrieren.

Schulungsbeschreibung:

Diese intensive fünf-tägige Schulung gibt einen Deep Dive in die Architektur und das Training großer Sprachmodelle. Der erste Tag konzentriert sich auf die interne Struktur von LLMs, darunter Transformer, Self-Attention, Embeddings und typische Modellarchitekturen (z. B. GPT, T5). Zudem werden Datenauswahl, Copyright-Herausforderungen und Tokenisierung behandelt.

Im weiteren Verlauf wird gezeigt, wie ein eigenes Modell mit PyTorch oder TensorFlow implementiert und trainiert wird. Dabei werden wichtige Aspekte wie Batchgrößen, Optimizer (AdamW), GPU-Skalierung und Mixed Precision (FP16/BF16) thematisiert. Die Teilnehmenden setzen ein eigenes Trainingsskript für ein kleines Modell auf und experimentieren mit verschiedenen Hyperparametern.

An Tag 3 liegt der Fokus auf Feintuning und Evaluierung, inklusive Methoden zur Bewertung der Modellqualität (Perplexity, BLEU, ROUGE) und Retrieval-Augmented Generation (RAG). Es wird demonstriert, wie man ein LLM mit Vektordatenbanken kombiniert, um eigene Daten als Wissensbasis einzubinden.

Am vierten Tag werden fortgeschrittene Optimierungsstrategien behandelt, darunter LoRA-Fine-Tuning, Parameterreduktion und Modellkompression. Zudem gibt es eine Einführung in multimodale KI-Modelle, z. B. LLMs mit Bildverarbeitung (CLIP, Vision Transformer).

Der letzte Tag widmet sich der Bereitstellung und Skalierung von LLMs. Es wird gezeigt, wie ein LLM produktionsreif gemacht wird, mit Frameworks wie FastAPI, Triton Inference Server oder ONNX. Im Abschlussprojekt setzen die Teilnehmenden eine eigene LLM-basierte Anwendung um, etwa eine kleine GPT-Variante, ein RAG-System oder eine multimodale Demo.