GPT & Co (1/6) — Haben Large Language Models eine „Theory of Mind“?

Mit ChatGPT, LaMDA, LLaMa & Co macht seit einigen Monaten eine neue Generation sogenannter Large Language Models Schlagzeilen. Neu ist dabei nicht die Technologie, sondern der Reifegrad der Modelle. Erstmals kann man von menschenähnlicher künstlicher Intelligenz sprechen. Ein Wissenschaftler aus Stanford meint sogar ein künstliches Bewusstsein entdeckt zu haben. Ist die Singularität erreicht? Können die Maschinen doch denken? Was können die Modelle und was werden sie noch können werden? In dieser Folge schaue ich mir die Technologie hinter aktuellen LLMs genau an und versuche herauszufinden, was die Maschinen so brilliant macht.

Links und Literatur

Michal Kosinski: Theory of Mind May Have Spontaneously Emerged in Large Language Models

Sehr gute Erklärung zur Funktionsweise von LLMs von Helmut Linde.

Dass LLMs zum Beispiel nicht verarbeiten können, was „Durchsichtigkeit“ bedeutet zeigt zum Beispiel der Prompt von Tomer Ullmann.

Eine Sammlung von ChatGPT-Fails zeigt die Grenzen des Modells

Hannes Bajhor erklärt, warum auch multimodale Modelle, die sowohl Bild als auch Sprachdaten verarbeiten zwar spannende und erkundenswerte Leistungen vollbringen, dadurch aber noch immer keinen Weltbezug haben.

Credits

Trefft mich auf Mastodon oder Twitter.

Vielen herzlichen Dank an Johann Niegl für die Titelmusik und Hans-Jakob Gohr für die Covergestaltung. <3