KI-Modelle · Hardware · Benchmarks
Von Llama 1 bis Qwen 3.8 - Ein Überblick zur Entwicklung von lokal betreibbaren KI-Modellen
- KI-Modelle
- Hardware
- Benchmarks
Vor wenigen Jahren war der Betrieb eines brauchbaren Sprachmodells ohne eine teure GPU-Flotte kaum denkbar. Heute läuft die Klasse kleiner Modelle — um die 27 Milliarden Parameter — auf einem einzigen Arbeitsplatzrechner. Dieser Beitrag zeichnet die Meilensteine nach, von den ersten lauffähigen Modellen bis zu Qwen3.8 27B, und zeigt, welche Hardware diese Entwicklung überhaupt erst möglich gemacht hat.
Die Meilensteine
Nov. 2020 · Hardware
Apple M1
Erste Consumer-Chips, die rund 7B-Modelle lokal tragen. Mit 8 bzw. 16 GB Unified Memory (Schätzung der Speicher-Schwelle) wird lokaler Betrieb erstmals alltagstauglich.
8 / 16 GB Unified Memory
Nov. 2021 · Hardware
Mac Studio (M1 Max / M1 Ultra)
Bis zu 128 GB Unified Memory (Schätzung) bringen die 70B-Klasse (quantisiert) erstmals auf einen Arbeitsplatzrechner — der zentrale Hardware-Enabler für lokalen Betrieb ohne Cloud.
bis zu 128 GB Unified Memory
Apr. 2022 · Modell
GPT-NeoX-20B
20B offene Gewichte (Pile-Datensatz) — der Beginn der Ära lokal betriebbarer Modelle. Quelle: arXiv 2204.06745.
20B Parameter
Mai 2022 · Modell
OPT (125M–175B)
OpenAI; OPT-175B erreicht die Leistung von GPT-3 (175B) — ein Beleg, dass große Modelle offen reproduzierbar sind. Quelle: arXiv 2205.01068.
125M–175B Parameter
Feb. 2023 · Modell
Llama 1 (7B / 13B / 30B / 65B)
Llama-13B übertrifft GPT-3 (175B) auf den meisten Benchmarks — ein Wendepunkt für kleine Modelle. Quelle: arXiv 2302.13971.
7B–65B Parameter
Juni 2023 · Hardware
Mac Studio (M2 Max / M2 Ultra)
Bis zu 192 GB Unified Memory (Schätzung) machen die 70B-Klasse ganztags auf einem Arbeitsplatzrechner nutzbar.
bis zu 192 GB Unified Memory
Juli 2023 · Modell
Llama 2 (7B / 13B / 70B)
7B/13B sind der sub-70B-Sweet-Spot, 70B die obere Grenze; erweitert um den ersten weit verbreiteten offenen Chat-Stack. Quelle: arXiv 2307.09288.
7B–70B Parameter
Sept. 2023 · Modell
Qwen v1 (7B / 14B / 72B)
Alibaba; eine starke Alternative mit offenen Gewichten zu Llama. Quelle: arXiv 2309.16609.
7B–72B Parameter
Okt. 2023 · Modell
Mistral 7B
GQA + Sliding-Window-Attention übertrifft Llama-2-13B — mehr Leistung pro Parameter. Quelle: arXiv 2310.06825.
7B Parameter
Jan. 2024 · Modell
Mixtral 8×7B (MoE)
47B gesamt / ~13B aktiv, 32K Kontext, Apache 2.0; übertrifft Llama-2-70B in Mathematik, Code und Mehrsprachigkeit. Quelle: arXiv 2401.04088.
47B gesamt / ~13B aktiv
Feb. 2024 · Modell
Qwen1.5 (0.5B–72B)
Apache-2.0-Familie; 0.5/7/14/32B sind lokal relevant. Die Einzel-Benchmarks sind Schätzungen (nicht unabhängig verifiziert).
0.5B–72B Parameter
Apr. 2024 · Modell
Phi-3 / Phi-3.5
phi-3-mini 3.8B (MMLU 69, MT-Bench 8.38); phi-3.5-MoE 16×3.8B / 6.6B aktiv — „hohe Leistung auf einem Smartphone". Quelle: arXiv 2404.14219.
3.8B–14B Parameter
Juli 2024 · Modell
Mistral-Nemo (12B)
12B, 128K Kontext, MMLU 68.0, Apache 2.0. Quelle: Hugging Face Mistral-Nemo-Instruct-2407.
12B Parameter, 128K Kontext
Juli 2024 · Modell
Qwen2 (0.5B–72B)
72B-Base: MMLU 84.2, HumanEval 64.6, GSM8K 89.5, BBH 82.4; Instruct: MT-Bench 9.1, LiveCodeBench 35.7. Quelle: arXiv 2407.10671.
0.5B–72B Parameter
Juli 2024 · Modell
Llama 3 (8B / 70B / 405B)
8B läuft lokal, 128K Kontext, laut Anbieter „vergleichbar mit GPT-4". Quelle: arXiv 2407.21783.
8B–405B Parameter
Sept. 2024 · Modell
Qwen2.5 (0.5B–72B)
18T Pretrain-Tokens; 72B-Instruct ist konkurrenzfähig zu Llama-3-405B (~5× größer). Quelle: arXiv 2412.15115; Hugging Face Qwen2.5-7B / 32B-Instruct.
0.5B–72B Parameter
Apr. 2026 · Modell
Qwen3.6 27B
Dichtes 27B-Vision-Language-Modell von Alibabas Qwen-Team, Apache 2.0, 256K Kontext. SWE-bench Verified 77,2 — der direkte Vorgänger von Qwen3.8 27B. Angaben des Herstellers.
27B Parameter, 256K Kontext
14.08.2026 · Modell
Qwen3.8 27B
Dichtes 27B-Vision-Language-Modell von Alibabas Qwen-Team, Apache 2.0, 262K→1M Kontext und „Thinking"-Modus. SWE-bench Pro 61,7, GPQA Diamond 89,2, LiveCodeBench v6 90,3, OSWorld-Verified 84,3 — Angaben des Herstellers.
27B Parameter, 262K→1M Kontext
Benchmark-Entwicklung
Die folgende Tabelle zeigt, wie sich die Benchmarks kleiner Modelle entwickelt haben. Zeilen mit ¹ sind Referenzanker (72B-Klasse, obere Grenze — kein lokales Ziel). Die Werte zu Qwen3.6 27B und Qwen3.8 27B sind Angaben des Herstellers (Stand: 14.08.2026); alle übrigen Werte sind belegt (Quellen unten).
| Modell | Kontext | MMLU | Code (HumanEval / SWE-bench) | Math (GSM8K / MATH) | MT-Bench | Quelle |
|---|---|---|---|---|---|---|
| Llama 1 13B (2023) | 4K | — | übertrifft GPT-3 | — | — | arXiv 2302.13971 |
| Llama 2 13B (2023) | 4K | — | übertrifft GPT-3 | — | — | arXiv 2307.09288 |
| Mistral 7B (2023) | 8K (SWA) | — | übertrifft Llama-2-13B | — | — | arXiv 2310.06825 |
| Mixtral 8×7B (47B / ~13B aktiv, 2024) | 32K | — | übertrifft Llama-2-70B (Math/Code) | — | übertrifft GPT-3.5 | arXiv 2401.04088 |
| Phi-3-mini 3.8B (2024) | 4K | 69.0 | — | — | 8.38 | arXiv 2404.14219 |
| Phi-3-medium 14B (2024) | 4K | 78.0 | — | — | 8.90 | arXiv 2404.14219 |
| Mistral-Nemo 12B (2024) | 128K | 68.0 | — | — | — | HF Mistral-Nemo-Instruct-2407 |
| Qwen2 72B-Base (2024)¹ | 32K | 84.2 | 64.6 | 89.5 | — | arXiv 2407.10671 |
| Qwen2 72B-Instruct (2024)¹ | 32K | — | — | — | 9.1 (Arena-Hard 48.1, LiveCodeBench 35.7) | arXiv 2407.10671 |
| Llama 3 8B (2024) | 128K | — | — | — | — | arXiv 2407.21783 |
| Qwen2.5 72B-Instruct (2024)¹ | 128K | — | — | — | ≈ Llama-3-405B | arXiv 2412.15115 |
| Qwen3.6 27B (2026) | 256K | — | SWE-bench Verified 77.2 | — | — | Qwen (qwen.ai) |
| Qwen3.8 27B (14.08.2026) | 262K→1M | — | SWE-bench Pro 61.7, LiveCodeBench v6 90.3 | — | GPQA Diamond 89.2, OSWorld-Verified 84.3 | HF Qwen3.8-27B |
Der Bogen: von „klein = schwach" zu „Sub-70B ≈ frühere Frontier"
Lange galt: Kleine Modelle seien schwach. Der Speicher war die Grenze (7B ≈ 12–16 GB, 33B ≈ 24–32 GB, 70B ≈ 48–80 GB quantisiert — Schätzwerte). Zwischen 2023 und 2026 ist die Frontier in die sub-70B-Klasse gezogen: Mixtral 8×7B (~13B aktiv) übertraf Llama-2-70B in Mathematik und Code; Phi-3.5-MoE (6.6B aktiv) erreichte 78 % MMLU; Qwen2.5-72B war konkurrenzfähig zu Llama-3-405B, einem ~5× größeren Modell. Die Lehre: Leistung skaliert nicht mehr linear mit Parametern, sondern mit Datenqualität, Architektur (MoE/GQA/SWA) und Post-Training.
Hardware ↔ Modell-Kopplung
Der Mac Studio M1 Ultra (2021, bis zu 128 GB — Schätzung) machte die 70B-Klasse (quantisiert) erstmals auf einem Arbeitsplatzrechner möglich; der M2 Ultra (2023, bis zu 192 GB — Schätzung) machte sie ganztags nutzbar. Die RAM-Schwellen fielen durch Quantisierung. Diese Schwellen sind community-basierte Richtwerte (Schätzung) und keine Primärquellenangaben.
Implikationen für KI-Entwicklungsteams
Rund 27B Parameter sind der neue Sweet-Spot: dicht genug für Coding- und Agenten-Arbeit (SWE-bench-Pro-Klasse), klein genug für einen einzelnen Unified-Memory-Arbeitsplatzrechner (~16–24 GB quantisiert). Qwen3.8 27B (14.08.2026) zeigt, wo die Klasse steht: 262K→1M Kontext, natives Vision-Language, „Thinking"-Steuerung und mehrstufige Agenten-Aufgaben — lokal betreibbar.
Kurz zusammengefasst
- Hardware (z. B. der Mac Studio) macht lokalen Betrieb großer Modelle überhaupt erst möglich.
- Kleine Modelle (<70B) liefern zunehmend die Leistung früherer, deutlich größerer Modelle.
- Der Endpunkt dieser Entwicklung ist Qwen3.8 27B (14.08.2026) — lokal betreibbar, ohne Cloud.
Für Geschäftsführer und KMU heißt das: Die Technik wird immer leistungsfähiger. Trotzdem braucht es Menschen mit Fachwissen, die das Endergebnis verstehen und überwachen. Genau das bekommen Sie bei Nexa Labs.