MMLU bis GSM8K: Diese Tests messen, was KI-Modelle wirklich können

Künstliche Intelligenz begegnet uns täglich – in Chatbots, bei der Bildbearbeitung oder in der automatischen Texterstellung. Doch wie gut sind diese Systeme wirklich? Wie „intelligent“ ist ein KI-Modell wie ChatGPT, Gemini oder Claude?

Warum werden KI-Modelle überhaupt getestet?

Diese Frage ist nicht nur für Forscher:innen und Entwickler:innen wichtig, sondern auch für Unternehmen, die Künstliche Intelligenz sicher und sinnvoll einsetzen möchten. Nur wenn wir wissen, wo KI stark ist – und wo sie versagt – können wir sie sinnvoll einsetzen. Genau deshalb werden KI-Modelle systematisch getestet. Und hier kommen Benchmarks ins Spiel.

Was sind Benchmarks – und warum sind sie wichtig?

Benchmarks sind standardisierte Tests, mit denen die Leistung von KI-Modellen gemessen und verglichen wird. Sie funktionieren ähnlich wie ein IQ-Test – nur eben für Maschinen. Warum das wichtig ist?

• Sie ermöglichen objektive Modellvergleiche

• Sie machen Fortschritt messbar

• Sie zeigen Grenzen, Risiken und Verzerrungen

• Sie sind Grundlage für sichere KI-Anwendungen

Ohne Benchmarks wäre KI-Entwicklung weitgehend Bauchgefühl.

Benchmark-Kategorien im Überblick

Die wichtigsten Test-Kategorien für KI-Modelle

1. Allgemeinwissen & Fachwissen

MMLU (Massive Multitask Language Understanding)

MMLU ist einer der bekanntesten Benchmarks für Sprachmodelle. Er wurde speziell entwickelt, um die Multitasking-Fähigkeiten über eine breite Palette an Fachgebieten hinweg zu bewerten. Ziel ist es, das Wissen zu messen, das Sprachmodelle während des Pretrainings erwerben. Der Fokus liegt auf der Leistung in 57 unterschiedlichen Fächern – von elementarer Mathematik bis hin zu professionellem Rechtswissen. MMLU ist stark für akademische General-Intelligence-Vergleiche zwischen Modellen, aber anfällig für Training-Contamination und Multiple-Choice-Bias, daher kein reines Reasoning-Test.

Aufbau
MMLU wurde primär entwickelt, um die Multitasking-Genauigkeit von Sprachmodellen sowohl in Zero-Shot- als auch Few-Shot-Szenarien zu beurteilen – also unter Bedingungen, die reale Anwendungssituationen widerspiegeln und die Fähigkeiten eines Modells gezielt herausfordern.

Die Bewertung erfolgt über unterschiedliche Testmethoden:

• Few-Shot-Testing: Das Modell erhält nur wenige Beispiele vor der Bearbeitung der Aufgaben, um seine Lernfähigkeit aus minimalen Informationen zu prüfen.

• Fine-Tuned-Testing: Modelle werden auf ähnlichen Datensätzen trainiert, um ihre Leistung bei spezialisierten Aufgaben zu analysieren.

Die Ergebnisse werden üblicherweise mit korrekten Lösungen oder menschlich generierten Antworten verglichen.

Leistungsergebnisse von MMLU
Stand 2025 zeigen die Spitzenresultate von MMLU, dass führende Modelle wie Claude 3.5 Sonnet und GPT-4o Genauigkeiten von 88,3 % bzw. 88,7 % erreichen – ein deutliches Zeichen für den Fortschritt im Sprachverständnis.

BIG-Bench

BIG-Bench, kurz für Beyond the Imitation Game Benchmark, ist ein kollaborativ entwickelter Benchmark zur Bewertung und Analyse der Fähigkeiten großer Sprachmodelle. Der Benchmark umfasst 204 Aufgaben, beigesteuert von rund 450 Autorinnen und Autoren aus 132 Institutionen, und deckt eine Vielzahl an Themen ab – darunter Linguistik, kindliche Entwicklung, Mathematik, Alltagslogik, Biologie, Physik, soziale Vorurteile und Softwareentwicklung.

Leistungsergebnisse von BIG-Bench
Die Bewertung von Modellen mit BIG-Bench erfolgt anhand mehrerer Metriken, darunter Genauigkeit und Kalibrierung – letztere wird über den Brier Score ermittelt. Die Ergebnisse zeigen, dass die Modellleistung mit zunehmender Größe tendenziell steigt, in absoluten Zahlen jedoch weiterhin schwach bleibt, insbesondere im Vergleich zu menschlichen Beurteilungen.

Zudem deuten die Resultate darauf hin, dass die Leistung über verschiedene Modelltypen hinweg relativ konstant ist, auch wenn spärlich besetzte Modelle (Sparse Models) gewisse Vorteile aufweisen. Aufgaben, die starkes Faktenwissen oder Auswendiglernen erfordern, zeigen meist nur langsame Fortschritte, während bei Aufgaben mit mehrstufigem logischem Denken teils sprunghafte Leistungssteigerungen beobachtet werden.

Aufgabenstruktur von BIG-Bench
BIG-Bench beinhaltet zwei Haupttypen von Aufgaben: vereinfachte Aufgaben und programmatische Aufgaben. Vereinfachte Aufgaben werden über eine JSON-Datei definiert, während programmatische Aufgaben eine direkte Interaktion mit dem Sprachmodell ermöglichen.

Beispiele für Aufgaben sind analoges Schlussfolgern, Rechenoperationen und das Verstehen narrativer Texte – jeweils mit dem Ziel, das logische Denken und das Textverständnis der Modelle in unterschiedlichen Kontexten zu testen.

Modellgrenzen von BIG-Bench
Ein zentraler Befund der BIG-Bench-Analysen ist die Zunahme sozialer Verzerrungen bei wachsender Modellgröße – insbesondere in Kontexten mit hoher Mehrdeutigkeit. Dieser Effekt lässt sich jedoch durch gezieltes Prompting abschwächen.

Darüber hinaus zeigt der Benchmark, dass schon kleine Veränderungen in der Darstellung von Aufgaben die Modellleistung deutlich beeinträchtigen können. Dies verdeutlicht, dass viele Modelle eher auf Mustererkennung setzen als auf echtes Textverständnis.

2. Mathematische Fähigkeiten

GSM8K (Grade School Math 8K)

GSM8K ist ein Datensatz mit 8.500 qualitativ hochwertigen, sprachlich vielfältigen Mathematik-Textaufgaben, die für Grundschulkinder konzipiert wurden. Ziel ist es, schrittweises Problemlösen zu fördern. Der Datensatz dient sowohl als Benchmark zur Bewertung der Leistungsfähigkeit großer Sprachmodelle (LLMs) als auch als Werkzeug zur Weiterentwicklung der KI-basierten Problemlösung.

Aufbau des Datensatzes
GSM8K besteht aus Mathematikaufgaben in natürlicher Sprache, die arithmetische und logische Denkfähigkeiten testen. Jede Aufgabe umfasst in der Regel zwei bis acht Lösungsschritte und verwendet ausschließlich grundlegende Rechenoperationen – Addition, Subtraktion, Multiplikation und Division. Die Aufgaben sind so gestaltet, dass sie im Kopf lösbar sind, mit Fokus auf Einfachheit und Zugänglichkeit für Schüler.

Einsatz in der KI-Forschung
GSM8K wird intensiv in der KI-Forschung genutzt, um die Grenzen aktueller Modelle zu analysieren und gezielt Weiterentwicklungen zu fördern. Durch die Vielfalt der Aufgaben bietet der Datensatz eine wertvolle Grundlage zur Bewertung der Fähigkeit von Sprachmodellen, arithmetische und logische Probleme zu bewältigen. Diese Art der Evaluation ist entscheidend, um Schwächen in Verständnis und Verarbeitung aufzudecken und gezielt an zukünftigen Verbesserungen zu arbeiten.

Benchmarking und Leistungsbewertung
Die Leistung von Sprachmodellen auf dem GSM8K-Datensatz gibt Aufschluss über ihre Genauigkeit in praxisnahen Anwendungsfällen. Studien zeigen, dass quantisierte Modelle – etwa in 8-Bit- oder 4-Bit-Formaten – in Benchmarks wie GSM8K eine konkurrenzfähige Genauigkeit erreichen. Größere Modelle (mit 70 bis 405 Milliarden Parametern) zeigen bei der Quantisierung kaum Leistungseinbußen, während kleinere Modelle (z. B. mit 8 Milliarden Parametern) leichte Schwankungen aufweisen können – dabei jedoch weiterhin den semantischen Gehalt und die strukturelle Kohärenz ihrer Ausgaben bewahren. Dies unterstreicht die Effizienz und Skalierbarkeit quantisierter Modelle und macht sie zu einem wichtigen Bestandteil für die Optimierung von LLMs im praktischen Einsatz.

MATH (Mathematics Dataset for Language Models)

Der MATH-Datensatz wurde speziell entwickelt, um die Fähigkeiten von Sprachmodellen im mathematischen Denken zu evaluieren. Er umfasst eine Vielzahl von Aufgaben, die Modelle dazu herausfordern, mehrstufige Rechenoperationen durchzuführen – und so jenes logische Denken zu simulieren, das für komplexe mathematische Aufgaben erforderlich ist. Die Aufgaben decken unterschiedliche Schwierigkeitsgrade ab – von einfacher Arithmetik bis hin zu fortgeschrittener Mathematik – und ermöglichen dadurch eine umfassende Bewertung der Modellleistung im Bereich mathematischer Schlussfolgerungen.

Aufbau des Datensatzes
Der MATH-Datensatz umfasst insgesamt über 3.700 Mathematikaufgaben. Jede Aufgabe ist so konzipiert, dass ihre vollständige Lösung zwischen zwei und acht Rechenschritte erfordert. Diese Struktur ist bewusst gewählt, da sie nicht nur die Rechenfähigkeiten der Modelle testet, sondern auch ihre Fähigkeit, logische Teilschritte in der richtigen Reihenfolge auszuführen. Die Aufgaben sind so gestaltet, dass sie im Kopf lösbar sind – der Einsatz von Taschenrechnern ist nicht erforderlich – und die Lösungen bestehen immer aus ganzen Zahlen. Das erhöht die Praxistauglichkeit des Datensatzes für Training und Evaluation großer Sprachmodelle.

Anwendung von MATH
Das Hauptziel des MATH-Datensatzes ist es, eine verlässliche Bewertungsgrundlage für große Sprachmodelle zu bieten. Er dient sowohl als Testumgebung zur Leistungsbewertung als auch als Werkzeug zur Weiterentwicklung der KI-Forschung im Bereich mathematischer Problemlösung. Forschende nutzen diesen Datensatz, um Methoden zu entwickeln, die die Leistung von Sprachmodellen bei mehrstufigem logischen Denken verbessern – ein entscheidender Faktor sowohl für wissenschaftliche als auch für praxisorientierte Anwendungen.

Herausforderungen und Grenzen von MATH
Trotz seines durchdachten Designs stellt der MATH-Datensatz Sprachmodelle vor erhebliche Herausforderungen. Sobald Aufgaben zusätzliche Nebensätze oder Bedingungen enthalten, steigt die Komplexität deutlich an – was zu einem exponentiellen Leistungsabfall führt, selbst wenn das Modell in der Lage ist, den Text korrekt in Rechenschritte zu übersetzen. Dieses Phänomen zeigt, dass mit wachsender Komplexität auch die Anforderungen an das logische Denken steigen. Um dies besser zu verstehen, sind weitere Analysen notwendig, die differenzieren, ob die sinkende Leistung auf die Zunahme sprachlicher Komplexität oder auf die der Rechenoperationen zurückzuführen ist.

3. Logisches Denken & Argumentation

ReClor-Test

Der ReClor-Test basiert auf Logikfragen, die häufig in Einstellungstests für Juristen verwendet werden. Er wurde speziell entwickelt, um die Fähigkeit großer Sprachmodelle zu bewerten, logisch zu argumentieren, im Gegensatz zum bloßen Erkennen und Wiedergeben von Mustern. Der Test zielt darauf ab, herauszufinden, inwieweit ein Modell in der Lage ist, komplexes und strukturiertes Denken zu simulieren.

Leistungsbewertung des ReClor-Tests
Bei der Bewertung der Modelle mit dem ReClor-Test werden mehrere Kriterien berücksichtigt, darunter die Fähigkeit, kohärente und rechtlich fundierte Argumente zu formulieren. Die Ergebnisse zeigen, dass die Modellleistung zwar mit zunehmender Komplexität des Modells steigt, jedoch im Vergleich zu menschlichen Juristen weiterhin Defizite aufweist. Besonders Modelle, die vorwiegend auf Mustererkennung basieren, haben Schwierigkeiten, die Nuancen juristischer Argumentationen präzise nachzuvollziehen.

Aufgabenstruktur
Der ReClor-Test besteht aus einer Vielzahl von Aufgaben, die logisches Schlussfolgern und die Analyse komplexer Sachverhalte erfordern. Diese Aufgaben spiegeln die Art von Herausforderungen wider, denen Juristen bei ihrer täglichen Arbeit begegnen. Sie sind so konzipiert, dass sie sowohl einfachere als auch mehrschrittige logische Denkprozesse abbilden, um die Fähigkeiten der Modelle in unterschiedlichen argumentativen Kontexten zu prüfen.

Modellgrenzen und Herausforderungen
Ein zentraler Befund der ReClor-Analysen ist, dass viele Modelle Schwierigkeiten haben, die logischen Schlüsselargumente eines juristischen Falls zu identifizieren, insbesondere wenn sie nur auf oberflächliche Mustererkennung setzen. Dieser Mangel kann durch gezielte Verbesserung der Trainingsdaten und durch Anwendung speziell gestalteter Prompts teilweise behoben werden. Zudem zeigt der Test, dass viele Modelle auf kleine Veränderungen in der Art der Fragestellung empfindlich reagieren, was darauf hindeutet, dass ihnen oftmals das tiefere Verständnis für logisches Argumentieren fehlt.

Das "Alice im Wunderland"-Problem

Selbst einfache Schlussfolgerungen, wie „Wenn Alice größer als Bob ist und Bob größer als Carla, wer ist dann am größten?“ bringen viele Modelle ins Straucheln. Warum? Weil sie oft keine stabile innere Repräsentation von Beziehungen aufbauen.

Was sagen uns die Ergebnisse?

Aktuelle KI-Modelle wie GPT-4.5/o3 oder Gemini 2.5 Pro schneiden in vielen Bereichen gut ab – besonders bei Allgemeinwissen und Sprachverständnis. Auch bei kreativen Aufgaben glänzen sie oft. Aber: Schwächen zeigen sich bei Rechenaufgaben, logischen Ketten und echten Schlussfolgerungen. Besonders überraschend: Selbst einfache Denkaufgaben, die für Menschen trivial sind, stellen viele Modelle vor Probleme.

Neben klassischen Benchmarks wie MMLU oder GSM8K gewinnen 2025 zunehmend spezialisierte Tests an Bedeutung – etwa GPQA für Physik auf Graduate-Niveau, AIME für anspruchsvolle Mathematik oder HumanEval++ für Codegenerierung.

Was bringt die Zukunft?

Benchmarks bleiben zentral für die Entwicklung von KI. Sie zeigen nicht nur, wie leistungsfähig ein Modell ist, sondern auch, wo es noch Nachholbedarf gibt. Künftige KI-Modelle werden gezielter trainiert, um Schwächen wie Logik oder Mathe zu verbessern. Gleichzeitig müssen Benchmarks selbst weiterentwickelt werden – denn je „schlauer“ KI wird, desto anspruchsvoller müssen die Tests sein. Nur wer testet, kann vertrauen. Benchmarks sind der Kompass in einer Welt, in der KI immer mehr Entscheidungen trifft.