Stabilité du prompt cache : benchmark de 10 harnais de codage agentique en local

🎥 Résumé analytique

🎯 Promesse cognitive

À la fin, on comprend : la stabilité du prompt cache — en particulier lors du compactage et des changements d’outils ou de system prompt — est un critère décisif pour évaluer un harnais de codage agentique en environnement local.

🧩 Carte du contenu

Benchmark du prompt cache : protocole complet (plan/build, skill, MCP, secret dans AGENTS.md, compactage forcé) appliqué à 10 harnais, avec classement global selon la stabilité du préfixe de cache en local.
OpenCode 2.0 : amélioration marquée — system prompt et set d’outils stables, accès instantané au skill, au MCP et au secret ; bémol : le prompt de compactage remplace le dernier message utilisateur.
Claude Code en local : lenteur, échec d’appel MCP, prompt AFK inattendu et invalidations de cache ; jugé inadapté sans proxy selon ce protocole.
Goose, signal faible : harnais émergent, lien avec l’écosystème Linux Foundation (présenté avec incertitude), bugs multiples mais considérés comme résolvables par la source.

✅ Ce que la vidéo apporte en plus de la lecture de ce post

Le matériel fourni ne permet pas d’établir de contribution visuelle ou démonstrative déterminante au-delà du contenu textuel. L’original ajoute principalement la présentation en direct du protocole par le présentateur, l’explication détaillée des requêtes capturées par Cache Hunter, et le contexte éditorial autour du classement et du positionnement d’OpenFox. Les passages du plan d’attention marqués « peut montrer » ou « peut être illustrée » restent des possibilités non confirmées comme contributions visuelles distinctes.

🕒 Niveau d’engagement recommandé

reference
- Benchmark technique dense et durable : le protocole, les critères et les résultats par harnais méritent une conservation comme référence de travail pour les projets d’IA locale.
- Les comportements critiques identifiés (compactage, changement d’outils, injection tardive de AGENTS.md) constituent des connaissances réutilisables pour tout déploiement local impliquant des harnais agentiques.
- La configuration spécifique (2x DGX Spark, DeepSeek V4 Flash, vLLM) et l’outil de capture maison limitent la généralisation, ce qui justifie un usage en point de départ plutôt qu’en verdict définitif.

Passages susceptibles de mériter l’original

00:55 — Cache Hunter : séquence qui peut montrer le principe de capture des requêtes et l’évaluation de la stabilité du préfixe (non confirmé comme contribution visuelle déterminante).
11:24 — Test OpenCode 2.0 : peut montrer concrètement la stabilité du system prompt et des outils ainsi que le comportement du compactage (non confirmé).
04:26 — Découverte du prompt AFK de Claude Code : peut être illustrée par les requêtes capturées, utile pour évaluer la transparence et les coûts cachés (non confirmé).
31:15 — Classement et conclusion : peut apporter des nuances supplémentaires sur le classement, les limites du protocole et le positionnement d’OpenFox (valeur audio/éditoriale).

🧰 Pistes d’exploitation et points de vigilance

1 idée à tester : Reproduction du protocole sur vLLM avec OpenCode 2.0 — scénario plan/build, ajout d’un skill, ajout d’un MCP, injection d’un secret dans AGENTS.md et compactage forcé — en capturant les requêtes pour vérifier la stabilité du préfixe de cache.
1 notion à creuser : La gestion du prompt cache / prefix caching dans les harnais de codage agentique, en particulier les mécanismes de compactage, les changements d’outils et les injections tardives de AGENTS.md.
1 limite / biais : Benchmark auto-réalisé avec un protocole spécifique et un outil de capture maison ; OpenFox est présenté comme le gagnant, ce qui peut introduire un biais favorable ou un conflit d’intérêts.

🔍 Déroulé détaillé et analyse critique

📄 Voir la synthèse détaillée

Déroulé structuré

Segment 1 — Protocole et cadre du benchmark

Statut : information first-party, outil de capture maison

Dix harnais de codage agentique sont évalués : Claude Code, Codex, OpenCode, QwenCode, Cline, Goose, DeepSeek Harness, Pi, Hermes et OpenFox.
Scénario commun : session plan puis build, ajout d’un skill, ajout d’un MCP, accès à un secret présent dans AGENTS.md, compactage forcé.
Cache Hunter (outil maison) capture chaque requête envoyée au serveur local pour vérifier la stabilité du préfixe de cache.
Configuration matérielle rapportée : 2x DGX Spark, modèle DeepSeek V4 Flash, serveur vLLM, containers dédiés isolés.
Justification du critère (inférence de l’auteur) : en local, une invalidation de cache force un prefill intégral au moment le plus coûteux, lorsque le contexte est déjà plein.

Segment 2 — Résultats par harnais

Statut : information first-party, résultats dépendants de la configuration testée

OpenFox : score parfait selon la source — planification en 19 s, skill, MCP, secret et compactage sans invalidation, accès instantané.
OpenCode 2.0 (v2.0.16) : system prompt et set d’outils stables au passage plan/build, accès instantané au skill (message « Instructions updated core skill guidance »), au MCP (via CLI OpenCode + redémarrage du service) et au secret de AGENTS.md, compactage rapide. Seul bémol : le prompt de compactage remplace le dernier message utilisateur.
DeepSeek Harness (version alpha) : cache bien préservé, injection de la différence de AGENTS.md dans le contexte, compactage propre ; absence de gestion des skills.
Codex : fluide sur plan/build, skill et MCP ; compactage omet les outils et détruit le préfixe de cache.
QwenCode : session principale préservée, mais requêtes fantômes en arrière-plan ; compactage lent avec impact total sur les performances.
Cline : régression marquée — la transition plan/build change les outils et le system prompt (invalidation totale) ; AGENTS.md injecté dans le system prompt ; compactage produit un contexte décorrélé.
Pi : approche minimaliste « boîte à Lego » ; le changement de set d’outils au passage en mode exécution provoque une invalidation totale du cache.
Goose : mode plan exploratoire (slash plan, exploration réelle du projet) ; invalidations totales sur skill, MCP, AGENTS.md et compactage ; la source considère les bugs comme résolvables.
Hermes : invalidation majeure à l’ajout d’un MCP (arrivée des fonctions MCP détruit le cache) ; compactage raté entraînant une invalidation totale.
Claude Code : accepte AGENTS.md directement depuis la v2.1.27 (rapporté) ; injection du total de tokens dans le contexte (invalidation mineure) ; prompt AFK inattendu demandant un résumé en 40 mots lors de l’absence de l’utilisateur ; ajout de skill correctement injecté avec accès instantané ; MCP : 7 min 22 s puis échec d’appel demandant un rechargement ; accès au secret par lecture de fichier (invalidation) ; compactage lent avec modification d’une réponse d’appel d’outil. Note : 2,5/5 (opinion de l’auteur).

Segment 3 — Classement final et observations transverses

Statut : opinion de l’auteur

Classement annoncé : OpenFox en tête, OpenCode 2.0 juste derrière, DeepSeek Harness très prometteur, Codex et QwenCode fluides mais pénalisés par le compactage, Claude Code à 2,5/5, Cline près de la dernière place, Pi manuel, Goose bogué, Hermes en difficulté.
Point commun des échecs : invalidation du prompt cache lors des transitions de contexte (compactage, changement d’outils, modification du system prompt, injection tardive de AGENTS.md).
La qualité perçue d’un harnais en environnement cloud ou propriétaire n’implique pas sa qualité en local.
L’accès instantané au contexte (skills, MCP, AGENTS.md) devient un facteur de différenciation entre harnais.
Le benchmark est fortement dépendant du protocole spécifique et de l’outil de capture maison, ce qui limite la généralisation des notes.

Points notables

Le prompt AFK de Claude Code (résumé en 40 mots envoyé sans interaction visible) est un détail de transparence rarement documenté et directement observable via la capture des requêtes.
L’ajout d’un MCP via la CLI OpenCode avec redémarrage du service, sans invalidation de cache, contraste fortement avec l’échec de Claude Code sur le même test (7 min 22 s puis erreur demandant un rechargement).
Le fait que le prompt de compactage d’OpenCode 2.0 remplace le dernier message utilisateur est une anomalie technique précise, utile à vérifier dans les release notes du projet.
Cline, décrit comme « ancien champion déchu » (passant d’une première place à l’avant-dernière), illustre la sensibilité extrême du cache aux changements de system prompt entre modes.
La distinction entre « accès instantané » (skill, MCP, AGENTS.md détectés sans lecture de fichier) et « lecture de fichier » constitue un critère de différenciation pratique entre harnais en local.

Limites & biais factuels

Benchmark auto-réalisé par le créateur avec un outil de capture maison (Cache Hunter) ; aucune preuve indépendante des résultats.
Résultats dépendants d’une configuration précise : 2x DGX Spark, DeepSeek V4 Flash, vLLM, versions spécifiques des outils testés ; la généralisation à d’autres environnements matériels, modèles ou versions n’est pas établie.
OpenFox est fortement mis en avant dans la description RSS et le traitement vidéo, ce qui peut introduire un biais promotionnel ou un conflit d’intérêts avant toute validation indépendante.
Le statut de Goose et son lien avec la Linux Foundation sont présentés avec incertitude (le transcript mentionne une « fondation proche », la description est plus affirmée).
L’assertion que Claude Code « n’est pas utilisable en l’état sans proxy » est une opinion de l’auteur fondée sur cette configuration spécifique, non une limitation documentée officiellement.
Les notes et le classement reflètent les métriques choisies par la source (stabilité du préfixe, accès instantané, rapidité du compactage) et ne constituent pas une évaluation exhaustive des harnais testés.