Modelle und Routing
Jede Modellwahl, mit ihrem Grund.
Deine Richtlinie entscheidet, welche Modelle deine KI-Agenten nutzen dürfen. Jeder Lauf hält fest, auf welchem Modell er lief und warum.
mistral-small-latestEinfache Frage, effizientes ModellEffizient
Eine kurze Chat-Runde, daher lief sie auf dem effizienten Modell des Anbieters.
In einem Satz
Modell-Routing entscheidet, welches Modell eine Anfrage beantwortet. In Infinized folgt es der Einstellung des KI-Agenten und der Routing-Richtlinie deines Workspace, und jeder Lauf hält fest, welchen Weg er genommen hat und warum.
Eine Routing-Richtlinie pro Workspace legt fest, welche Anbieter und Modelle deine KI-Agenten nutzen dürfen. Jeder Lauf hält fest, auf welchem Modell er lief und warum er dort gelandet ist.
Ausweichmodelle
Wenn ein Anbieter ausfällt, geht der Lauf weiter.
Gib einem KI-Agenten bis zu drei Ausweichmodelle. Nach einem Ausfall versucht es die Plattform zuerst erneut, dann wechselt der Lauf zum nächsten Modell auf der Liste. Jeder Versuch wird als eigener Lauf festgehalten, mit seinem Grund.
- Eingestelltes Modellclaude-sonnet-5Ausfall beim Anbieter · zuerst erneut versucht
- Ausweichmodell 1mistral-medium-latestLief hier · festgehalten als „Ausweichmodell“
- Ausweichmodell 2gpt-5.4Als Nächstes dran, nicht gebraucht
Bei jedem Lauf
Deine Schlüssel. Deine Richtlinie.
Infinized routet jeden Lauf und hält die Route fest: den Anbieter, das Modell, die Tokens, die geschätzten Kosten und den Grund. Schlüssel, Vertrag und Rechnung bleiben bei deinem Anbieter, und Infinized schlägt nichts auf den Preis eines Tokens auf.
- Kosten
- $0.0004
- Latenz
- 1,2 s
- Eingabe
- 1,204
- Ausgabe
- 186
So funktioniert es
Was die Richtlinie entscheidet.
Warum dieses Modell, bei jedem Lauf
Jeder Lauf hält Anbieter, Modell, Tokens, geschätzte Kosten und den Grund für die Route fest: die Einstellung des KI-Agenten, eine Antwort im Sparmodus, die Stufe eines Flow-Schritts, eine Umleitung oder deine Richtlinie.
Eine Routing-Richtlinie pro Workspace
Gib die Anbieter und Modelle frei, die deine KI-Agenten nutzen dürfen, und lege erwartete Kosten pro Lauf fest, damit Arbeit nicht bei teureren Modellen landet.
Ausweichen, wenn ein Anbieter ausfällt
Gib einem KI-Agenten bis zu drei Ausweichmodelle. Nach einem Anbieterausfall wird der Aufruf zuerst wiederholt, dann wechselt der Lauf zum nächsten Modell. Bei einem ungültigen Schlüssel oder einem aufgebrauchten Kontingent passiert dasselbe. Ist ein Anbieter getrennt, wechselt der KI-Agent zu einem anderen Anbieter derselben Stufe. Jeder Versuch wird als eigener Lauf festgehalten.
Kurze Runden auf einem leichten Modell
Eine kurze Chat-Runde läuft auf dem effizienten Modell des Anbieters. Der Schattenmodus hält fest, was jeder Lauf auf dem leichteren Modell gekostet hätte, und die leichtere Route wird aktiviert, sobald deine Evals die Routing-Prüfung bestehen.
Eine Stufe pro Flow-Schritt
Ein Flow-Schritt kann ein Flaggschiff-, ein ausgewogenes oder ein effizientes Modell beim Anbieter des KI-Agenten anfordern, damit ein Routineschritt nicht für das schwerste Modell bezahlt.
Modellaufrufe bleiben in deiner Region
Wenn du es aktivierst, ruft die Richtlinie nur Anbieter innerhalb deiner Datenresidenz auf, etwa Mistral oder den EU-Endpoint von OpenAI für einen europäischen Workspace.
Anbieter
Die Modelle, die du erlaubst.
Der Katalog enthält 30 Modelle von 3 Anbietern, jeweils mit ihrer Stufe, und dein eigener OpenAI-kompatibler Endpoint kann dazukommen.
Mistral AI
Open-Weight-Modelle für Chat, Coding und Embeddings.- mistral-large-latestFlaggschiff
- mistral-medium-latestAusgewogen
- mistral-small-latest
- magistral-medium-latestReasoning
- magistral-small-latestReasoning
- ministral-8b-latest
- ministral-3b-latest
- codestral-latestCoding
OpenAI
GPT-Modelle, dazu Sprache und Embeddings.- gpt-5.6-solFlaggschiff
- gpt-5.6-terraAusgewogen
- gpt-5.6-luna
- gpt-6-astraFlaggschiff
- gpt-6.1-solAusgewogen
- gpt-6-luna
- gpt-5.4Ausgewogen
- gpt-5.4-mini
- o3Reasoning
- o4-miniReasoning
- gpt-4.1Ausgewogen
- gpt-4.1-mini
- gpt-4oFlaggschiff
- gpt-4o-mini
Anthropic
Claude-Modelle für das Befolgen von Anweisungen und die Tool-Nutzung.- claude-opus-5Flaggschiff
- claude-fable-5Flaggschiff
- claude-sonnet-5Ausgewogen
- claude-haiku-4-5
- claude-opus-5-5Flaggschiff
- claude-fable-5-1Flaggschiff
- claude-sonnet-5-5Ausgewogen
- claude-haiku-5-5
OpenAI-kompatibel. Deine eigenen Modelle, auf deinem eigenen Endpoint.
Wo die Grenzen liegen
- Routing entscheidet, welches Modell antwortet. Schlüssel, Vertrag und Rechnung bleiben bei deinem Anbieter, und Infinized schlägt nichts auf die Tokens auf.
Fragen
Was zuerst gefragt wird.
Weiterlesen im Ratgeber
Welches KI-Modell passt zu welchem KI-Agenten?Können wir sehen, warum ein Lauf ein bestimmtes Modell genutzt hat?
Ja. Jeder Lauf hält das Modell fest, auf dem er lief, und einen von neun Routing-Gründen, von der Einstellung des KI-Agenten bis zu einer Umleitung oder deiner Richtlinie. Auch der Laufbericht über die API enthält ihn.
Was passiert, wenn ein Anbieter ausfällt?
Der Aufruf wird zuerst wiederholt. Bleibt der Anbieter nicht erreichbar, wechselt der Lauf zum nächsten Ausweichmodell des KI-Agenten, und jeder Versuch wird mit seinem Grund festgehalten. Ein Schlüssel, der nicht mehr funktioniert, wird zurückgestellt, und Inhaber und Admins werden benachrichtigt.
Können wir Modellaufrufe in der EU halten?
Ja, als Routing-Richtlinie, die du aktivierst. Ist sie aktiv, werden Anbieter außerhalb der Datenresidenz deines Workspace nicht aufgerufen. Mistral und der EU-Endpoint von OpenAI gelten als europäisch.
Erlebe es bei der Arbeit in deiner Organisation.
Wir hören uns zuerst deine Frage an. Dann zeigen wir dir eine Demo, die zu deiner Organisation passt.