Transformer Modelle und Deep Learning

Dieser Kurs beschäftigt sich mit dem Thema Encoder-Decoder-Modellarchitekturen im Deep Learning und darauf basierenden Anwendungsfällen im Bereich Natural Language Understanding. Wir besprechen, wie Encoder-Decoder Modelle (insbesondere Transformer Modelle wie GPT2 oder BERT-Architekturen) aufgebaut sind und welche Schritte während des Trainings eines solchen Modells ablaufen. Der große Nutzen dieser vortrainierten Modellarchitekturen besteht in der Anwendung des Transfer-Learning Konzepts.

Das bedeutet, wir können uns riesige, vortrainierte Modellarchitekturen zu Nutze machen und mit relativ wenig Aufwand für unseren konkreten Anwendungsfall trainieren. Wie können wir mittel one-shot-classification Texte einer bestimmten Kategorie zuordnen. Wie integrieren wir Modelle aus dem Hugging Face Projekt in unsere eigenen Deep Learning Projekt auf Basis der fastai Bibliothek.

Neben dem theoretischen Input entwickeln wir anhand von Jupyther Notebooks Anwendungsbeispiele und gehen den implementierten Code unserer KI-Anwendungen Schritt für Schritt gemeinsam durch. Lernziele Transformer Modelle, Deep Learning und fastaiFolgende Lernziele verfolgen wir mit dem Kurs Transformer Modelle (Encoder/Decoder Architekturen) und Deep Learning:- Du lernst das erforderliche theoretische Basiswissen, um Transformer Modellarchitekturen im Deep Learning zu verstehen. - Du kannst das Funktionsprinzip von Transformer Modellen wie BERT oder GPT2 verstehen.

- Du lernst, wie du Transformer Modelle in fastai Projekt integrieren kannst- Du lernst verschiedene Bibliotheken wie `Blurr` oder `FastHugs` kennen. - Mithilfe von Bibliotheken integrieren wir vortrainierte Transformermodelle mittels Hugging-Face und fastai Framework. "Transformers (früher bekannt als pytorch-transformers und pytorch-pretrained-bert) bietet Allzweckarchitekturen (BERT, GPT-2, RoBERTa, XLM, DistilBert, XLNet…) für Natural Language Understanding (NLU) und Natural Language Generation (NLG) mit über 32+ vortrainierten Modellen in über 100 Sprachen und umfassender Interoperabilität zwischen Jax, PyTorch und TensorFlow.