Ordne die folgenden Aufgaben den Komponenten eines Transformer-Netzes zu, die die Aufgabe bearbeitet.
Aufgaben
1. Tokenizer
2. Positional Encoding
3. Self-Attention Schicht
4. Causal Masking
5. Linear & Softmax Schicht (Ausgabe)
Komponente
A: Berechnet die inhaltlichen Beziehungen und den Kontext zwischen allen Wörtern der bisherigen Eingabe gleichzeitig.
B: Verhindert, dass das Modell beim Generieren eines Satzes bereits Wörter sieht, die mathematisch erst „in der Zukunft“ liegen.
C: Übersetzt die fertigen mathematischen Vektoren ganz am Ende zurück in lesbare Wörter oder Wortteile für die Textausgabe.
D: Zerlegt deinen eingegebenen Text als allererstes in kleinere, für das Modell verständliche Spracheinheiten und wandelt sie in Zahlen-IDs um.
E: Fügt den Vektoren Informationen über die exakte Reihenfolge und Platzierung im Satz hinzu, da das Modell sonst nur einen ungeordneten „Wortsalat“ sehen würde.
Verbinde Aufgaben zu Komponenten, indem du sie nacheinander anklickst!
