Geschätzte LLM-API-Kosten des OpenAI-Cookbooks aus einem statischen tokentoll-Scan

Scan und Annahmen

Ich habe tokentoll auf openai-cookbook laufen lassen, die Sammlung von Beispielcode von OpenAI. tokentoll führt den Code nicht aus und liest keine Abrechnungsdaten. Die Zahlen unten sind Schätzungen aus statischer Analyse und beruhen auf diesen Eingaben:

• den Modellnamen und Token-Parametern, die tokentoll im Code erkannt hat,
• den Preisdaten von tokentoll zum Zeitpunkt des Scans (Mai 2026),
• einem angenommenen Volumen von 1.000 Aufrufen pro Aufrufstelle und Monat,
• wo sich die Prompt-Länge nicht aus dem Code bestimmen lässt, einer festen angenommenen Eingabelänge,
• wo ein Aufruf kein Output-Limit setzt, einer angenommenen Ausgabelänge, die einem festen Anteil der maximalen Ausgabelänge des Modells entspricht,
• wo sich der Modellname nicht auflösen ließ, dem Default-Modell des SDKs (gpt-4o für OpenAI).

Das Cookbook ist eine Beispielsammlung und kein laufender Dienst. Die Summe beschreibt also keine tatsächlichen Ausgaben. Sie zeigt, wie sich die geschätzten Kosten bei gleichem angenommenem Volumen auf die Aufrufstellen verteilen.

$ tokentoll scan openai-cookbook/

Total estimated monthly cost: $1,884.46
  1000 calls/month per call site

tokentoll hat 24 LLM-API-Aufrufstellen gefunden, mit geschätzten Kosten von insgesamt $1.884 pro Monat.

Geschätzte Kosten nach Modell

Die vier gpt-5-Aufrufstellen machen 68% der Summe aus. Sie liegen im Prompt-Optimierungs-Cookbook: Baseline-Generierung, optimierte Generierung und zwei LLM-Judge-Aufrufe. Jede ist mit $320 pro Monat geschätzt.

Die 13 gpt-4o-Aufrufstellen kommen zusammen auf $508 pro Monat. Die meisten liegen in Evaluierungs-Harnesses und Beispiel-Apps, die gpt-4o verwenden, wenn kein Modell angegeben ist.

Die vier Embedding-Aufrufstellen kommen zusammen auf $0,04 pro Monat.

Schätzung mit gpt-4.1-mini statt gpt-5

Würden die vier gpt-5-Aufrufstellen gpt-4.1-mini verwenden, sänke ihre Schätzung von $1.282 auf etwa $53, also etwa um den Faktor 24. Nur ein Teil dieses Faktors ist der Unterschied im Preis pro Token. Keiner der vier Aufrufe setzt ein Output-Limit. tokentoll leitet die Ausgabelänge deshalb aus der maximalen Ausgabelänge des jeweiligen Modells ab, und dieses Maximum ist bei gpt-5 größer als bei gpt-4.1-mini. Ob gpt-4.1-mini für diese vier Aufgaben brauchbare Ergebnisse liefert, müsste man gesondert testen.

Kostenschätzung im Pull Request

Im Code-Review sieht man, dass sich ein Modellname geändert hat. Man sieht nicht, was die Änderung beim erwarteten Aufrufvolumen kostet. tokentoll läuft als GitHub Action und schreibt diese Schätzung in den Pull Request:

- uses: actions/checkout@v4
  with:
    fetch-depth: 0
- uses: Jwrede/tokentoll@v0.7.0

Ändert ein Pull Request ein Modell oder fügt einen LLM-Aufruf hinzu, nennt der Kommentar für jede betroffene Aufrufstelle die geschätzten monatlichen Kosten vor und nach der Änderung. Mit einer Policy in .tokentoll.yml enthält der Kommentar zusätzlich ein Urteil PASS, WARN oder FAIL, und der Workflow kann so eingestellt werden, dass er bei FAIL fehlschlägt. Der vollständige Workflow und die Policy-Konfiguration stehen in der README.

Lokal vergleicht dieser Befehl den aktuellen Code mit dem vorherigen Commit und listet die hinzugefügten, entfernten und geänderten LLM-Aufrufstellen mit dem Kostendelta:

$ tokentoll diff HEAD~1

Über tokentoll

tokentoll analysiert Python-, JavaScript- und TypeScript-Code statisch auf LLM-API-Aufrufe und schätzt deren Kosten. Es erkennt Aufrufe über die SDKs von OpenAI, Anthropic und Google, über LiteLLM, LangChain, das Vercel AI SDK und weitere. Es braucht keine API-Keys und läuft innerhalb der CI-Umgebung. Außerdem läuft es als MCP-Server, sodass Claude Code und andere MCP-Hosts die Kostenwirkung einer Änderung vor dem Commit prüfen können.

Aktuelle Versionen überspringen Verzeichnisse wie examples/ und cookbook/ standardmäßig (use_default_excludes in .tokentoll.yml) und nutzen aktualisierte Preisdaten. Ein neuer Scan von openai-cookbook reproduziert die Zahlen oben deshalb nicht genau.

pip install tokentoll
tokentoll scan .

GitHub: github.com/Jwrede/tokentoll