Ich habe einen automatisierten Benchmark aufgesetzt, der jede Stunde eine Anfrage an 15 LLM-Modelle schickt und alle Rohdaten veröffentlicht. Im ersten Snapshot reichte der Median der Time to First Token (TTFT) von 321ms (Gemini 2.5 Flash Lite) bis 4.226ms (Grok 4.3), etwa ein Faktor 13.
Setup
Jede Stunde schickt der Benchmark den Prompt "Hi" mit einem Limit von 20 Ausgabe-Tokens über OpenRouter an jedes Modell. Der kurze Prompt und das Ausgabelimit halten die Generierungszeit klein, sodass die Zahlen vor allem beschreiben, wie lange es bis zum Beginn der Antwort dauert. Die Messungen laufen mit llmprobe.
Die Modelle sind die drei meistgenutzten Modelle pro Anbieter in den wöchentlichen Popularitäts-Rankings von OpenRouter:
- OpenAI: GPT-5.4, GPT-5.5, GPT-OSS-120B
- Anthropic: Claude Sonnet 4.6, Claude Opus 4.6, Claude Opus 4.7
- Google: Gemini 2.5 Flash, Gemini 2.5 Flash Lite, Gemini 2.0 Flash
- DeepSeek: DeepSeek v3.2, DeepSeek v4 Flash, DeepSeek v4 Pro
- xAI: Grok 4 Fast, Grok 4.1 Fast, Grok 4.3
Geltungsbereich
Als ich diesen Beitrag schrieb, lief der Benchmark seit etwas über 30 Stunden. Die Tabelle beruht auf höchstens 17 stündlichen Messungen pro Modell. Für GPT-OSS-120B und DeepSeek v4 Pro gab es nur 2 und 3 Messungen, ihre Werte sind daher nicht aussagekräftig.
Alle Anfragen liefen über OpenRouter von einem Deployment-Standort aus. Die Zahlen enthalten den Proxy-Overhead von OpenRouter und hängen davon ab, wie OpenRouter Anfragen zum jeweiligen Zeitpunkt weiterleitet. Sie beschreiben dieses Setup in diesem Zeitraum und sind kein allgemeines Ranking der Anbieter.
Ergebnisse
| Modell | Median TTFT | Median Durchsatz | Median Latenz | Messungen |
|---|---|---|---|---|
| google/gemini-2.5-flash-lite | 321ms | 191,9 Tok/s | 395ms | 17 |
| google/gemini-2.0-flash-001 | 405ms | 203,2 Tok/s | 468ms | 17 |
| google/gemini-2.5-flash | 412ms | 235,6 Tok/s | 464ms | 17 |
| openai/gpt-5.4 | 912ms | 44,8 Tok/s | 1.147ms | 17 |
| openai/gpt-5.5 | 1.158ms | 44,0 Tok/s | 1.501ms | 17 |
| openai/gpt-oss-120b | 1.491ms | 1.977,0 Tok/s | 1.584ms | 2 |
| anthropic/claude-opus-4.6 | 1.709ms | 70,4 Tok/s | 1.939ms | 17 |
| deepseek/deepseek-v3.2 | 1.734ms | 24,7 Tok/s | 2.372ms | 17 |
| anthropic/claude-sonnet-4.6 | 2.120ms | 44,3 Tok/s | 2.842ms | 17 |
| anthropic/claude-opus-4.7 | 2.494ms | 94,9 Tok/s | 2.599ms | 17 |
| x-ai/grok-4.1-fast | 2.545ms | 2.985,4 Tok/s | 2.593ms | 17 |
| deepseek/deepseek-v4-flash | 3.122ms | 251,6 Tok/s | 3.560ms | 16 |
| deepseek/deepseek-v4-pro | 3.411ms | 108,1 Tok/s | 3.816ms | 3 |
| x-ai/grok-4-fast | 3.618ms | 1.338,7 Tok/s | 3.682ms | 17 |
| x-ai/grok-4.3 | 4.226ms | 1.114,8 Tok/s | 4.328ms | 17 |
TTFT nach Anbieter
Alle drei Gemini-Modelle hatten einen Median-TTFT unter 500ms. Gemini 2.5 Flash Lite hatte den niedrigsten Wert aller 15 Modelle (321ms).
Die drei Anthropic-Modelle lagen zwischen 1.709ms (Claude Opus 4.6) und 2.494ms (Claude Opus 4.7). Claude Sonnet 4.6 lag bei 2.120ms.
Die fünf höchsten Mediane hatten die xAI-Modelle sowie DeepSeek v4 Flash und v4 Pro. Grok 4.3 hatte mit 4.226ms den höchsten Median. DeepSeek v3.2 lag mit 1.734ms niedriger.
Durchsatz
Die Grok-Modelle hatten einen hohen Median-TTFT und den höchsten gemessenen Durchsatz, zwischen 1.114,8 und 2.985,4 Tok/s. DeepSeek v3.2 hatte mit 24,7 Tok/s den niedrigsten Durchsatz.
Der Durchsatz wird aus den Tokens nach dem ersten Token und der Zeit zwischen erstem Token und Ende des Streams berechnet. Bei einem Ausgabelimit von 20 Tokens ist dieses Intervall kurz. Werte über 1.000 Tok/s können daher auch auf Tokens zurückgehen, die in großen Blöcken ankommen, und müssen nicht die Generierungsgeschwindigkeit widerspiegeln. Die Daten unterscheiden das nicht.
Gesamtlatenz und Timeouts
Die mediane Gesamtlatenz reichte über die 15 Modelle von 395ms bis 4.328ms. Ein fester Timeout, der für ein Modell passt, kann daher nach einem Wechsel zu einem anderen Modell regelmäßig überschritten werden, auch bei einem anderen Modell desselben Anbieters.
Dashboard und Rohdaten
Der Benchmark läuft kontinuierlich. Das Dashboard mit Diagrammen ist unter bench.jonathanwrede.de erreichbar.
Alle Rohdaten werden als JSONL unter github.com/Jwrede/llm-bench-data veröffentlicht. Die Modellliste wird täglich anhand der Popularitäts-Rankings von OpenRouter aktualisiert.
Die Messungen nutzen llmprobe, ein Open-Source-Go-CLI, das TTFT, Latenz und Durchsatz mit einfachem HTTP und einem eigenen SSE-Parser misst. llmprobe kann auch als MCP-Server laufen, sodass Claude Code und andere MCP-Hosts seine Messungen aufrufen können.