Fidélité du cache KV des harnais de codage agentique : 8 outils comparés en local

🎥 Résumé analytique

🎯 Promesse cognitive

À la fin, on comprend : pourquoi la fidélité du cache KV/prefix est le facteur dominant des coûts et de la latence d’un workflow de codage agentique local, quels harnais la préservent ou non lors des changements de mode et de la compaction, quel mécanisme technique sous-tend ces invalidations, et quel outil émergent (OpenFox) propose une technique de préchauffage du cache pendant la frappe.

🧩 Carte du contenu

Benchmark cache des harnais IA locale : compare le comportement du cache prefix de huit harnais de codage agentique sur le même backend vLLM/DeepSeek V4 Flash lors du passage plan→build et de la compaction forcée, et identifie les mécanismes d’invalidation ainsi que les scores par outil.
OpenFox et speculative cache warming : présente OpenFox comme harnais local-first open-source et introduit la technique de speculative cache warming, active par option, qui envoie une requête de préchauffage dès la frappe pour rendre la réponse quasi instantanée, avec un angle promotionnel assumé.

✅ Ce que la vidéo apporte en plus de la lecture de ce post

Les visualisations du proxy peuvent illustrer la stabilité du prefix ou ses ruptures, mais les comportements utiles par harnais sont déjà restitués textuellement dans ce post.
La vidéo ajoute surtout la présentation des configurations, le contexte de l’auteur et la démonstration du speculative cache warming.
Aucun élément visuel n’est établi comme déterminant pour comprendre les conclusions.

🕒 Niveau d’engagement recommandé

lecture_seule
- Le protocole, les résultats par harnais, les mécanismes d’invalidation du cache et la leçon « le harnais compte autant que le modèle » sont restitués dans ce post.
- Les visualisations du proxy peuvent aider, mais l’analyse ne les rend pas indispensables à la compréhension.
- Le segment OpenFox est promotionnel ; le post le présente comme signal émergent avec le conflit d’intérêts correspondant.

Passages susceptibles de mériter l’original

01:37 — Visualisation du proxy pour Claude Code : stabilité du prefix, tools-hash constant, deux requêtes identiques par opération et légère invalidation à la compaction ; utile pour illustrer le mécanisme, sans garantie qu’il soit indispensable.
15:45 — Compaction d’OpenFox sans invalidation visible et démonstration du speculative cache warming pendant la frappe ; séquence la plus novatrice, mais sa valeur déterminante n’est pas confirmée.

🧰 Pistes d’exploitation et points de vigilance

1 idée à tester : capturer les requêtes envoyées à son backend d’inférence locale (vLLM) via un proxy léger et vérifier que le hash du jeu d’outils et le prompt système restent constants entre les changements de mode et les compactions, afin d’identifier les invalidations cachées du cache prefix qui gonflent les coûts et la latence.
1 notion à creuser : le speculative cache warming d’OpenFox, qui envoie une requête de préchauffage dès que l’utilisateur commence à taper un prompt pour charger le cache du prompt système avant l’envoi, et évaluer si cette technique est transposable à d’autres harnais de codage agentique ou à d’autres backends d’inférence locale.
1 limite / biais : l’auteur est développeur d’OpenFox, l’un des deux outils notés 20/20, et utilise le benchmark pour lancer une nouvelle fonctionnalité de cet outil ; les scores sont subjectifs et auto-conduits, et les comportements cache des autres harnais (Codex, Zed, OpenCode, Cline) n’ont pas été indépendamment vérifiés.

🔍 Déroulé détaillé et analyse critique

📄 Voir la synthèse détaillée

Déroulé structuré

Segment 1 — Protocole de test et résultats par harnais

Statut : information rapportée et benchmark auto-conduit.

Le protocole fixe le modèle DeepSeek V4 Flash et le backend vLLM (cluster local 2× DGX Spark) pour les huit harnais, puis capture les requêtes sortantes via un proxy afin de vérifier la stabilité du prefix (outils + prompt système).
L’épreuve porte sur le passage du mode plan au mode build, puis sur une compaction forcée de la conversation.
Claude Code est noté 18/20 selon l’auteur : le prefix reste stable, mais une passerelle LiteLLM est nécessaire pour cibler vLLM, des requêtes dupliquées apparaissent et une légère invalidation concerne le dernier message pendant la compaction.
Codex CLI est noté 12/20 : configuration manuelle lourde, stabilité plan→build, mais la requête de compaction est envoyée sans outils, invalidant le cache au moment le plus long de la conversation.
Cline est noté 20/20 selon l’auteur : les outils ne sont pas dans le champ standard mais intégrés à un prompt système stable ; la compaction ne cause pas de rupture observée ; une note initiale 18/20 est rehaussée après découverte des réglages avancés de modèle local.
OpenCode est noté 5/20 : jeu d’outils différent entre plan et build, réécriture du message initial en system-reminder, compaction cassant le cache ; la note initiale 0/20 est légèrement rehaussée pour la simplicité de configuration.
Pi est noté 5/20 : harnais très personnalisable sans mode plan/build intégré ; l’ajout d’un mode plan via extension change outils et prompt, et la compaction intégrée envoie la conversation sans outils.
Zed Agent est noté 4/20 : les outils diffèrent entre profils ask et write, la compaction utilise un prompt système différent sans outils, et la génération d’un titre de session à chaque message renvoie l’historique.
Aider est déclaré N/A : l’auteur ne comprend pas son modèle d’interaction, il n’y a pas de mécanique de compaction, et le protocole de test est jugé inadapté.
Thèse de l’auteur : sur du matériel local, la vitesse brute ne peut masquer les cache misses comme en cloud ; la stabilité du cache devient donc un critère de premier ordre, au moins autant que le choix du modèle.

Segment 2 — OpenFox et speculative cache warming

Statut : présentation promotionnelle d’un outil développé par l’auteur ; fonctionnalité annoncée.

OpenFox est présenté comme un harnais de codage agentique local-first, open-source, sans modèle économique, avec un setup vLLM simple qui détecte et configure automatiquement le modèle.
Dans le benchmark auto-conduit, OpenFox obtient 20/20 : la compaction n’entraîne pas d’invalidation visible dans la visualisation.
Le speculative cache warming est présenté comme une option avancée, désactivée par défaut : dès que l’utilisateur commence à taper un prompt, une requête est envoyée pour préchauffer le cache du prompt système de la session, afin de rendre la réponse quasi instantanée.
La motivation revendiquée est de compenser l’absence de vitesse de calcul cloud sur du matériel local, où le coût d’un cache miss est directement visible.

Points notables

Le mécanisme d’invalidation est cohérent : modifier le jeu d’outils, changer le prompt système ou envoyer une compaction sans outils/incohérente casse le prefix et force le re-traitement du contexte.
Les harnais qui passent le test gardent un prefix stable en intégrant les différences de mode dans des champs itératifs ou le prompt système, plutôt qu’en remplaçant le contrat envoyé au modèle.
Le point faible de Codex CLI n’est pas le déroulement normal de la session mais la compaction, qui tombe au moment où le contexte est le plus long.
Le 20/20 de Cline dépend d’une découverte de configuration : les réglages avancés du modèle local ont été trouvés après l’observation initiale.
La génération de titre de session dans Zed Agent est signalée comme un coût additionnel : chaque message peut entraîner l’envoi de l’historique pour un usage apparemment superflu.
L’idée de speculative cache warming est un signal émergent : elle transforme la latence perçue en problème de préchargement du cache plutôt que de simple optimisation de la réponse.

Limites & biais factuels

Le benchmark est auto-conduit par le développeur d’OpenFox, l’un des deux outils notés 20/20, et la vidéo est aussi utilisée pour lancer une fonctionnalité de cet outil.
Les scores (4/20 à 20/20, N/A pour Aider) sont subjectifs ; la méthode de notation n’est pas décrite avec des métriques reproductibles.
Les comportements cache des harnais tiers (Codex CLI, Zed Agent, OpenCode, Cline) sont rapportés sans référence à une documentation officielle ou à un reprotest indépendant.
La configuration exacte (versions des outils, hyperparamètres vLLM, tâche de test, longueur et complexité du contexte) n’est pas suffisamment documentée pour une reproduction indépendante.
Le test Aider est exclu car jugé incompréhensible par l’auteur, ce qui réduit la couverture et introduit un biais de sélection.
La conclusion « le harnais compte autant que le modèle » est une opinion de l’auteur soutenue par ses observations, pas une vérification externe.