Blog

Notizen zu ML-Engineering, Data Platforms und den Developer-Tools, die ich nebenbei baue.

| llm / python / devtools

OpenAIs eigenes Cookbook kostet $1.884/Monat im Betrieb. Ein Modelltausch aendert das meiste.

Ich habe OpenAIs Cookbook nach LLM-API-Aufrufen gescannt und die monatlichen Kosten bei 1.000 Aufrufen pro Stelle geschaetzt. Vier gpt-5-Stellen machen 68% der Gesamtkosten aus.

Beitrag lesen
| llm / go / devops

TTFT variiert 13x zwischen LLM-Anbietern. Hier sind die Zahlen.

Stuendliche Messungen an 15 Frontier-Modellen von OpenAI, Anthropic, Google, DeepSeek und xAI. Der Median-TTFT reicht von 321ms bis 4.226ms. Rohdaten inklusive.

Beitrag lesen
| data-engineering / kubernetes / python

Eine Datenplattform mit dbt, Dagster und ArgoCD bauen

Wie ich eine ELT-Datenplattform für 100k+ IoT-Geräte gebaut habe: Dagster für Orchestrierung, dbt für Transformationen, Sqitch für Migrationen, ArgoCD für GitOps-Deployment und PII-sichere Extraktion aus fünf API-Shards.

Beitrag lesen
| mlops / python / data-engineering

ML-Algorithmen in Produktion evaluieren: von Felddaten zum Fleet-Rollout

Wie ich eine Evaluierungspipeline für Batterie-Vorhersagealgorithmen für 100k+ IoT-Geräte gebaut habe: Dagster-orchestrierte Datensatzerstellung aus Felddaten, Human-in-the-Loop-Review, isolierte Venv-Tests über Algorithmusversionen, MLflow-Tracking und Fleet-Rollout.

Beitrag lesen
| llm / go / devops

Ich habe 6 LLM-APIs 7 Tage lang ueberwacht. Das habe ich herausgefunden.

60.000 Probes ueber GPT-4o-mini, Claude 3.5 Haiku, Gemini 2.0 Flash, Llama 3.3 70B, DeepSeek Chat und Mistral Small. Echte Latenzzahlen aus kontinuierlichem Monitoring.

Beitrag lesen
| llm / python / devtools

Wie ich Infracost für LLM-Kosten an einem Tag gebaut habe

tokentoll, ein Infracost-ähnliches Tool für die Kostenwirkung von LLM-API-Calls, in einem Tag gebaut. Architektur, Modellnamen-Auflösung, mehrstufige Konstantenpropagation und Validierung an zwanzig realen Codebases.

Beitrag lesen