Naar de inhoud

Modellen en routering

Elke modelkeuze, met de reden erbij.

Jouw beleid bepaalt welke modellen je AI-agents mogen gebruiken, en elke run legt vast op welk model die draaide en waarom.

Routering · laatste runsVoorbeeld

mistral-small-latest·Lichte vraag, zuinig modelZuinig

Een korte chatbeurt, dus de run draaide op het zuinige model van de aanbieder.

In één zin

Modelroutering bepaalt welk model een verzoek beantwoordt. In Infinized volgt die de instelling van de AI-agent zelf en het routeringsbeleid van je workspace, en elke run legt vast welke route die nam en waarom.

Een routeringsbeleid per workspace bepaalt welke modelaanbieders en modellen je AI-agents mogen gebruiken, en elke run legt vast op welk model die draaide en waarom.

Terugval

Als een aanbieder uitvalt, gaat de run verder.

Geef een AI-agent tot drie terugvalmodellen. Bij een storing probeert het platform het eerst opnieuw en daarna gaat de run naar het volgende model op de lijst. Elke poging wordt als een eigen run vastgelegd, met de reden erbij.

Iris · modellen, op volgordeVoorbeeld
  1. Ingesteld modelclaude-sonnet-5Storing bij de aanbieder · eerst opnieuw geprobeerd
  2. Terugval 1mistral-medium-latestHier uitgevoerd · vastgelegd als “Terugvalmodel”
  3. Terugval 2gpt-5.4Volgende in de rij, niet nodig

Bij elke run

Jouw sleutels, jouw beleid.

Infinized routeert elke run en legt de route vast: de aanbieder, het model, de tokens, de geschatte kosten en de reden. De sleutel, het contract en de factuur blijven bij je aanbieder, en Infinized zet geen opslag op de prijs van een token.

Run #4812 · modelkeuzeVoorbeeld
Lichte vraag, zuinig modelZuinig
Kosten
$0,0031
Latency
1,2 s
Erin
1.204
Eruit
186

Zo werkt het

Wat het beleid bepaalt.

  • Waarom dit model, bij elke run

    Elke run legt de aanbieder, het model, de tokens, de geschatte kosten en de reden van die route vast: de instelling van de AI-agent, een zuinige beurt, het niveau van een flowstap, een omleiding of je beleid.

  • Een routeringsbeleid per workspace

    Sta de aanbieders en modellen toe die je AI-agents mogen gebruiken, en stel een verwachte prijs per run in, zodat werk wegblijft van de modellen die daarboven zitten.

  • Overschakelen als een aanbieder uitvalt

    Geef een AI-agent tot drie terugvalmodellen. Bij een storing van de aanbieder probeert het platform het eerst opnieuw en gaat de run daarna naar het volgende model; een ongeldige sleutel of een leeg tegoed doet hetzelfde. Een ontkoppelde aanbieder stuurt de AI-agent naar een andere op hetzelfde niveau, en elke poging wordt als een eigen run vastgelegd.

  • Lichte beurten op een licht model

    Een korte chatbeurt draait op het zuinige model van de aanbieder. De schaduwmodus legt vast wat elke run op het lichtere model had gekost, en de lichtere route gaat aan zodra je evals de routeringscontrole doorstaan.

  • Een niveau per flowstap

    Een flowstap kan vragen om een topmodel, een gebalanceerd of een zuinig model bij de eigen aanbieder van de AI-agent, zodat een routinestap niet betaalt voor het zwaarste model.

  • Modelaanroepen binnen je regio

    Zet het aan, en het beleid roept alleen aanbieders binnen je dataresidentie aan, zoals Mistral of het EU-endpoint van OpenAI voor een Europese workspace.

Aanbieders

De modellen die jij toestaat.

De catalogus telt 30 modellen van 3 aanbieders, elk met een eigen niveau, en je eigen OpenAI-compatibele endpoint kan erbij.

  • Mistral AI

    Open-weight-modellen voor chat, code en embeddings.
    • mistral-large-latestTopmodel
    • mistral-medium-latestGebalanceerd
    • mistral-small-latestZuinig
    • magistral-medium-latestRedeneren
    • magistral-small-latestRedeneren
    • ministral-8b-latestZuinig
    • ministral-3b-latestZuinig
    • codestral-latestCode
  • OpenAI

    GPT-modellen, plus spraak en embeddings.
    • gpt-5.6-solTopmodel
    • gpt-5.6-terraGebalanceerd
    • gpt-5.6-lunaZuinig
    • gpt-6-astraTopmodel
    • gpt-6.1-solGebalanceerd
    • gpt-6-lunaZuinig
    • gpt-5.4Gebalanceerd
    • gpt-5.4-miniZuinig
    • o3Redeneren
    • o4-miniRedeneren
    • gpt-4.1Gebalanceerd
    • gpt-4.1-miniZuinig
    • gpt-4oTopmodel
    • gpt-4o-miniZuinig
  • Anthropic

    Claude-modellen voor het opvolgen van instructies en toolgebruik.
    • claude-opus-5Topmodel
    • claude-fable-5Topmodel
    • claude-sonnet-5Gebalanceerd
    • claude-haiku-4-5Zuinig
    • claude-opus-5-5Topmodel
    • claude-fable-5-1Topmodel
    • claude-sonnet-5-5Gebalanceerd
    • claude-haiku-5-5Zuinig

OpenAI-compatible. Je eigen modellen, op je eigen endpoint.

Waar het ophoudt

  • Routering bepaalt welk model antwoordt. De sleutel, het contract en de factuur blijven bij je aanbieder, en Infinized zet geen opslag op tokens.

Vragen

Wat mensen eerst vragen.

Lees verder in de Kennisbank

AI-model kiezen voor elke AI-agent
Kunnen we zien waarom een run een bepaald model gebruikte?

Ja. Elke run legt vast op welk model die draaide, plus een van negen routeredenen, van de eigen instelling van de AI-agent tot een omleiding of je beleid. Het runs-rapport via de API bevat dat ook.

Wat gebeurt er als een aanbieder een storing heeft?

Eerst wordt de aanroep opnieuw geprobeerd. Als de aanbieder onbereikbaar blijft, gaat de run naar het volgende terugvalmodel van de AI-agent, en elke poging wordt met de reden vastgelegd. Een sleutel die niet meer werkt, wordt apart gezet, en eigenaren en beheerders krijgen bericht.

Kunnen we modelaanroepen binnen de EU houden?

Ja, als routeringsbeleid waarvoor je zelf kiest. Zodra het aanstaat, worden aanbieders buiten de dataresidentie van je workspace niet aangeroepen, en Mistral en het EU-endpoint van OpenAI tellen als Europees.

Bekijk hoe het werkt in jouw organisatie.

We beginnen met luisteren naar je vraag. Daarna laten we een demo zien die bij jouw organisatie past.