LLM-Broker
Craken verwendet ein zentrales kraken-llm-broker für alle LLM-Aufrufe — egal ob für Lieferanten-Klassifikation, Template-Vorschläge oder Feld-Fallback bei niedriger Konfidenz.
Warum zentral?
Vorteile:
- Eine Stelle, an der Provider-Credentials gespeichert sind
- Provider-Wechsel (Mistral → Anthropic) ohne Service-Anpassungen
- Zentrales Rate-Limit und Telemetrie (
llm_calls-Tabelle) - Einheitliche Prompt-Versionierung
Was nutzt der Broker?
| Aufrufer | Zweck | Modell-Klasse |
|---|---|---|
documents-projector | Lieferanten-Klassifikation aus seller_name | ”klein, schnell” |
api-clerk | Template-Vorschläge nach Bestätigen | ”groß, kreativ” |
extractor-ocr | LLM-Fallback für nicht erkannte Felder | ”groß, präzise” |
Ausgewählter Provider
Aktuell: Mistral (kostengünstig, EU-gehostet — DSGVO-relevant).
Konfiguration über Env-Variablen am Broker-Container; siehe
infra/compose/core/docker-compose.yml → kraken-llm-broker.
Beobachtbarkeit
Jeder LLM-Aufruf landet in llm_calls (PostgreSQL) mit:
svc_id— wer hat aufgerufenmodel+providerprompt_tokens+completion_tokenslatency_mssuccess(boolean)
Im Admin-Bereich Konfiguration → Dienste → LLM-Broker sehen Sie:
Bei Bedarf kann der Broker auf einen lokalen Provider (z. B. Ollama am selben Host) umgeschaltet werden — wenn DSGVO-Bedenken einen externen Anbieter nicht zulassen. Performance ist geringer; siehe ADR-0079 für die Diskussion.