Externe Lernmaterialien

Hier findest du eine kleine Sammlung von externen Lernmaterialen (wie z.B. Blogs) rund um verwandte Themen der Computerlinguistik.

Die Idee hinter dieser Sammlung war es, einfach ein paar interessante Artikel zu allgemeinen Themen im Bereich Deep Learning zusammenzustellen. Nicht alle haben direkt mit der Computerlinguistik zu tun, und diese Liste hat auch keinen Anspruch auf Vollständigkeit in Bezug auf Studieninhalte. Das ganze hier ist einfach zum Stöbern gedacht, mehr steckt nicht dahinter.

Also: Wenn du möchtest, schau dich gerne um - vielleicht findest du ja den einen oder anderen Artikel ganz nützlich.

An die Bachelor-Interessierten: Nur nicht von den Themen verunsichern lassen!
Das meiste hier ist schon ziemlich fortgeschritten, und wird erst im Master wirklich relevant.

Computerlinguistik

• Speech and Language Processing (3rd ed. draft) (Jurafsky and Martin)
• The Illustrated BERT, ELMo, and co. (How NLP Cracked Transfer Learning) (Jay Alammar)
• Huggingface Tokenizers Overview

Machine Learning & Deep Learning

Allgemein

• Introduction to Machine Learning (I2ML) (Bernd Bischl, Ludwig Bothmann, LMU)
• Deep Learning textbook (Ian Goodfellow, Yoshua Bengio, Aaron Courville, MIT)
• The Engineer’s Guide To Deep Learning (Hironobu Suzuki)

Neuronale Netze

• Neural Networks: Zero to Hero (Andrej Karpathy)
• Recurrent Neural Networks (Denny’s Blog)
• The Unreasonable Effectiveness of Recurrent Neural Networks (Andrej Karpathy Blog)
• Understandng LSTM Networks (Colah’s Blog)
• CNNs for Text Classification (Cezanne Camacho)

Transformer

• The Illustrated Transformer (Jay Alammar)
• Transformers from Scratch (Brandon Rohrer)
• Transformers from Scratch (Peter Bloem)
• The Annotated Transformer (Austin Huang, Suraj Subramanian, Jonathan Sum, Khalid Almubarak, Stella Biderman; Original: Alexander Rush)
• Attention? Attention! (Lilian Weng)

Weitere Modelle

• The Illustrated DeepSeek-R1 (Jay Alammar)

Mathe

• 3Blue1Brown (Grant Sanderson)
• The maths you need to start understanding LLMs (Giles’ Blog)
• Essential Machine Learning Equations: A Reference Guide (Chizoba Obasi blog)

Programmierung

• w3schools Python Tutorial
• learngitbranching (Interaktives Tutorial zu Git)
• The Missing Semester of Your CS Education (Öffentlicher Kurs des MIT zu Shell-Tools, Debugging, Scripting, Versionskontrolle, Packaging uvm.)
• Rob’s approach to replicability (Blog Post über Reproduzierbarkeit von Code für wissenschaftliches Arbeiten)
• Huggingface LLM Course
• Offizielles und inoffizielles PyTorch tutorial