Guarani AI
ENFR Essai gratuit

Guarani Mesh

Bêta privée · Espaces d'essai sur demande

Passerelle multimodèle d'entreprise et routeur FinOps

Un seul point d'inférence pour tous les modèles de vos équipes. Mesh dirige chaque requête vers le modèle de raisonnement adapté, bascule entre régions et fournisseurs en cas d'incident, et montre ce que dépense chaque équipe.

Essai gratuitParler à un ingénieur

Ce qu'il fait

  • API unifiée compatible OpenAI

    API unifiée compatible OpenAI devant Azure OpenAI, Amazon Bedrock, les modèles Google Gemini sur Gemini Enterprise Agent Platform et des modèles open-weight sur GPU dédiés

  • Routage dynamique

    Routage dynamique selon la latence, le coût, la longueur de contexte et la résidence des données

  • Bascule multirégion

    Bascule multirégion avec contrôles de santé et nouvelles tentatives

  • Cache contextuel

    Cache contextuel pour les contextes répétés

  • Suivi des coûts par équipe

    Suivi des coûts, budgets et alertes par équipe

À quoi ressemble le routage

Données d'exemple pour la règle de routage Équilibrée : répartition du trafic, latence et dépenses par fournisseur sur 24 heures, puis dépenses par équipe au regard de leur budget quotidien.

Règle de routageRègle de routage : ÉquilibréeDonnées d'exemple
Répartition du trafic, latence et dépenses par fournisseur sur 24 heures, pour la règle choisie
FournisseurPartp50p95Dépenses / 24 h
Azure OpenAIeastus2, swedencentral38 %218 ms540 ms77,33 $
Amazon Bedrockus-east-1, us-west-231 %236 ms575 ms47,32 $
Gemini 4 Argon (Google Cloud)us-central1, 1M context21 %208 ms520 ms50,75 $
GPU (open-weight)dedicated endpoint10 %172 ms390 ms7,00 $
p50 pondéré
217 ms
p95 pondéré
532 ms
Dépenses, 24 h
182,40 $

Dépenses par équipe, budget quotidien

  • payments61,10 $93 % du budget quotidien
  • search44,20 $74 % du budget quotidien
  • platform38,70 $77 % du budget quotidien
  • mobile24,90 $62 % du budget quotidien
  • data13,50 $45 % du budget quotidien

Sa place dans le verdict de release

Chaque modification s'exécute comme un pipeline tracé, à travers des régions cloud managées, de l'inférence GPU et des pools d'appareils réels. Le code client est traité dans des tenants isolés et n'est jamais utilisé pour entraîner des modèles.

Voir toute l'architecture

  1. Mesh route les appels de modèles

    Chaque appel d'agent passe par Guarani Mesh. Quand Azure OpenAI se dégrade dans eastus2, le routeur marque l'appel REROUTED vers swedencentral et la trace continue.

Guarani Mesh

  • Routeur
  • Cache de contexte
  • Garde budgétaire
  • Télémétrie

Les verdicts découlent de règles de politique versionnées appliquées aux constats : les mêmes constats et la même politique produisent toujours le même verdict.

Le configurer

guarani.yml déclare la règle et les fournisseurs Mesh.

Pas encore disponibles publiquement : la CLI, les SDK et l'API font partie de la bêta privée.

Lire la documentation : Configuration, API REST

guarani.yml, extrait
mesh:
  policy: balanced  # latency | balanced | cost
  providers: [azure-openai, amazon-bedrock, google-gemini-enterprise, gpu-open-weight]
  residency: us     # us | eu
  daily_budget_usd:
    payments: 66
    search: 60

L'endpoint Mesh suit le format des complétions de chat d'OpenAI : les bibliothèques clientes OpenAI existantes fonctionnent en changeant l'URL de base pour https://api.guarani-llc.com/v1/mesh. Utilisez "model": "auto" pour laisser la règle choisir, ou indiquez un modèle autorisé dans votre espace. metadata.team impute la dépense au budget d'une équipe.

POST /v1/mesh/chat/completions
curl https://api.guarani-llc.com/v1/mesh/chat/completions \
  -H "Authorization: Bearer $GUARANI_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{"model": "auto", "messages": [{"role": "user", "content": "Summarize this diff"}], "metadata": {"team": "payments"}}'

Données et déploiement

Traitement des données

  • Chiffrement en transit et au repos.
  • Traitement aux États-Unis ou dans l'UE selon la région choisie pour l'espace de travail.
  • Aucun entraînement sur le code, les prompts ou les sorties des clients.
  • Durée de conservation configurable pour le contenu des dépôts et les artefacts.

Options de déploiement

  • Cloud multi-tenant avec tenants isolés, par défaut sur toutes les offres.
  • VPC dédié sur Azure, AWS ou Google Cloud.
  • Points d'inférence GPU isolés pour les modèles open-weight.

Explorer la plateforme