Aller au contenu
Gridpak

Buoyant ouvre le code de Kinference, 7,4 fois la capacité de vLLM au pic

Hermes Integration

Buoyant passe Kinference en open source, 7,4 fois la capacité de vLLM au pic (Buoyant)
Le visuel publié par Buoyant avec cet article, consulté le 7 novembre 2026.

Buoyant a publié Kinference le 4 novembre 2026, un plan de contrôle open source pour servir des modèles à poids ouverts sur Kubernetes. Il se place devant vLLM, reçoit le trafic au format OpenAI ou Anthropic sur un seul endpoint et décide quel GPU traite chaque requête. Sur un trafic qui partage un long préfixe de prompt, Buoyant annonce un délai médian avant le premier token qui passe de 6,88 s à 0,31 s.

Le haut de la page publiée par Buoyant pour Kinference, datée du 4 novembre 2026
Le haut de l’annonce telle que Buoyant l’a publiée, consultée le 7 novembre 2026.

Ce qui a réellement été livré

Cinq briques sortent ensemble. Kinference applique des limites de débit en tokens par client, suit l’usage et le coût par locataire, répartit la charge entre les workers, applique des politiques de routage déclarées et exporte des métriques d’inférence. Le projet est écrit par William Morgan, dix ans après Linkerd, et publié sous licence Apache 2.0.

L’adoption reste superficielle : les clients pointent vers l’endpoint HTTP de Kinference et continuent d’envoyer des requêtes au format OpenAI ou Anthropic, sans changer de SDK. Il n’utilise pas Linkerd et n’en a pas besoin.

La couche que Buoyant dit absente ailleurs, c’est celle des politiques. Une politique route ou rejette une requête selon le locataire, le modèle, l’état du pool de GPU ou une lecture sémantique du prompt : servir n’importe quel modèle Qwen 3.8 plutôt qu’un checkpoint précis, ne prendre du travail par lots que lorsque les GPU sont inactifs, déborder vers un tiers quand le pool sature, garder dans le cluster les prompts contenant des données personnelles. Les objets déclarés peuvent être relus par un humain ou un agent, versionnés dans git, lintés et annulés indépendamment.

Ce qui est livré dès le premier jour

  • Un plan de contrôle Apache 2.0 sur GitHub, qui tourne devant vLLM, avec une documentation écrite pour les humains.
  • Des politiques d’inférence déclaratives, appliquées indépendamment les unes des autres.
  • kinfctl, une commande qui valide le YAML de politique hors ligne, sans toucher à un cluster.
  • Des messages de statut et des colonnes kubectl sur chaque ressource personnalisée, écrits pour les agents qui les lisent.

Buoyant a aussi testé le parcours agent : des agents de code dotés de fenêtres de contexte neuves ont été pointés vers la documentation, invités à installer kinfctl et à écrire des politiques, et là où l’un d’eux se trompait, la documentation a été corrigée. L’article s’attend à ce que l’essentiel de la configuration soit écrit par des modèles.

Sur quoi repose l’affirmation

Le benchmark est celui de Buoyant et il est décrit assez précisément pour être reproduit. Deux pools identiques de vLLM 0.31.0 servaient Qwen-3.8-27B-FP8, trois pods par pool, un L40S chacun, sur AWS. Une branche passait par Kinference, l’autre par un enregistrement Service où kube-proxy choisit un pod au hasard par connexion. GuideLLM 0.8.1 générait la charge, trois charges de travail, trois essais, intervalles bootstrap appariés.

Charge de travail TTFT médian, Kubernetes simple TTFT médian, Kinference Écart
Contrôle, sans préfixe partagé 6,92 s 6,83 s écart non significatif
Préfixe partagé, 24 documents 6,88 s 0,31 s 95 % de moins
Multitour, 8 tours 1,70 s 0,59 s 65 % de moins

La ligne de contrôle est ce qui rend le reste crédible. Quand rien n’est réutilisable dans le prompt, Kinference n’ajoute rien de mesurable à la médiane : il n’achète donc pas ses gains en taxant chaque requête. Son 95e centile s’améliore tout de même sur ce cas, de 21,46 s à 12,33 s, ce que l’article attribue à la profondeur de file dans le signal de routage.

La capacité, c’est ce qu’achète une facture de GPU.

Mesure Préfixe partagé Multitour
Débit utile de pointe face à Kubernetes simple 7,4x 3,5x
Objectif de latence utilisé 90 % des requêtes à 8 s ou moins 90 % des requêtes à 4 s ou moins
Concurrence maximale qui l’atteint, Kinference 32 8
Concurrence maximale qui l’atteint, Kubernetes simple aucune mesure aucune mesure

Buoyant indique que les objectifs ont été choisis empiriquement, à partir de la latence du premier token non mis en cache d’un déploiement au repos, plus une marge. C’est honnête, et les objectifs sont souples : l’article les qualifie de trop lents pour le chat interactif et de plausibles pour le travail d’agent. La branche Kubernetes simple n’a atteint aucun des deux objectifs, à aucune concurrence.

Avec un ensemble fixe de GPU, plus vous exécutez l’inférence vite dessus, plus vous pouvez entasser d’inférence sur ces mêmes GPU.

Ce que le benchmark ne montre pas

  • Aucune exécution indépendante. Chiffres tous issus du fournisseur, sur un modèle, un type de GPU, un cluster.
  • Aucune comparaison avec une autre passerelle d’inférence. Le seul point de comparaison est un équilibrage aléatoire via un Service.
  • Aucune mesure des politiques, des limites de débit, du suivi des coûts par locataire ni des métriques. Seul le répartiteur de charge est évalué, alors que le moteur de politiques est la partie que Buoyant présente comme centrale.
  • Aucun chiffre en dollars : l’article ne convertit rien en coût par million de tokens.

Ce que cela change pour les équipes qui font tourner leur propre inférence

Si vous louez des tokens à une API hébergée, rien de tout cela n’atteint votre facture aujourd’hui. Kinference tourne à côté des GPU, et si les GPU ne sont pas les vôtres, il n’y a rien à router. Les 95 % sont un effet de latence sur le trafic qui partage des préfixes, pas une baisse de prix.

Si vous servez déjà des modèles à poids ouverts sur vLLM derrière un Service Kubernetes, cela vise la couche au-dessus du moteur et remplace un objet dans votre stack. Le gain porte sur le trafic que génèrent les produits d’agent : un agent de code renvoie le même prompt système, le contexte du dépôt et une conversation qui s’allonge à chaque tour, donc un routeur qui envoie le cinquième tour au pod qui détient les tours un à quatre évite le prefill. C’est pourquoi le préfixe partagé bat le multitour, et pourquoi le témoin n’affiche rien.

Trois chiffres décident si cela mérite une journée. La part de votre trafic avec un préfixe réutilisable, qui plafonne le gain. Votre temps jusqu’au premier token au 95e percentile, car la médiane est déjà correcte sur la plupart des déploiements. Et la concurrence à laquelle votre installation cesse d’atteindre son objectif, car ce nombre multiplié par le ratio de capacité représente les dépenses GPU que vous évitez.

Le gain du routage est un gain de réutilisation de préfixe, pas un gain sur le prix des tokens, et les deux se confondent facilement quand le titre est un pourcentage. Le tableau de capacité est le plus honnête : 7,4 fois plus de requêtes sur les mêmes GPU, sur une seule charge de travail, face à un équilibreur aléatoire.

L’avis de The Neural Minute

Nous avons passé l’année à lire des grilles tarifaires, et la grille tarifaire est désormais le chiffre le moins intéressant. Les baisses qui comptent ont migré dans la couche de service, où le même modèle coûte moins cher parce que le même GPU fait plus de travail. Notre lecture de la sortie AKV en octobre allait dans le même sens, côté recherche : une politique de cache qui réduisait le coût par tâche terminée de 27,7 % sans toucher à une grille tarifaire. Kinference en est la version opérationnelle pour les équipes qui possèdent leur matériel.

La forme commerciale explique la licence. Buoyant vend sur le même site un produit d’inférence managé, décrit comme des tokens illimités et un contrôle total de l’inférence, et le plan de contrôle open source est la porte d’entrée. C’est ainsi que les entreprises d’infrastructure financent les plans de contrôle, et cela signifie que le benchmark existe pour vendre un pool de GPU, donc les lignes manquantes sont celles qu’un acheteur voudrait voir.

Notre verdict : rien ici ne change ce que vous payez à OpenAI ou Anthropic ce mois-ci, et personne ne devrait échanger une API hébergée contre un cluster sur la foi d’un chiffre de 95 %. Pour une équipe qui fait tourner des agents de code sur son propre matériel, c’est la publication la plus précise de la semaine sur la question qui décide de la facture, et le générateur de charge, les charges de travail et les niveaux de concurrence sont nommés, donc l’expérience est reproductible sur votre propre trafic.

Nous n’avons pas fait tourner Kinference, et nous ne citerons pas son tableau comme un résultat que vous devriez attendre. La première chose que nous vérifierions est ce que le benchmark omet : si le moteur de politiques tient une limite par locataire sous pression sans coût de latence.

Sources

L’annonce : Introducing Kinference, publiée par Buoyant le 4 novembre 2026 et lue le 7 novembre 2026. La date de sortie, la liste des fonctionnalités et les exemples de politiques viennent de cette page.

Les chiffres : Distributed Inference Benchmarks: Kinference vs. Plain Kubernetes, même éditeur, même date. Tous les chiffres de latence, de capacité et de concurrence ci-dessus y sont lus.

Aucune autre source n’a été utilisée, et les exécutions de Buoyant sont les seules mesures ici.