🎥 Résumé analytique
🎯 Promesse cognitive
- À la fin, on comprend : les écarts de vitesse, de qualité et de fiabilité entre Mistral Large 4, DeepSeek V4.1 Flash et Mimo V2.6 Flash, ainsi que l’intérêt et les limites du contournement de clé Vibe/OpenRouter.
🧩 Carte du contenu
- Benchmarks de codage — Chiffres comparatifs de vitesse, de qualité, de coût et de comportement sur trois tâches de développement réelles.
- Fiabilité agentique — Observations sur les limites opérationnelles de Mistral Large 4 : déclaration de suivi non réalisée, échec de déploiement SSH relay et comportement face à une demande ambigüe.
- Intégration Vibe/OpenRouter — Contournement technique consistant à utiliser la clé de l’abonnement Mistral Vibe comme clé API générale dans OpenRouter ou OpenFox, avec une incertitude sur l’autorisation.
✅ Ce que la vidéo apporte en plus de la lecture de ce post
- Le matériau fourni (transcription) n’établit pas de contribution visuelle ou démonstrative déterminante ; il ne s’agit pas d’un rapport primaire.
- Deux passages sont signalés comme potentiellement utiles à vérifier, sans que la transcription suffise à garantir leur valeur : la restitution des versions HTML du jeu du dinosaure et la démonstration de l’outil de visualisation du cache avec le test autonome Playwright CLI de DeepSeek.
- En l’absence de contribution visuelle établie, le visionnage ajouterait surtout la démonstration en direct et le contexte éditorial du vidéaste, sans changer le verdict d’attention.
🕒 Niveau d’engagement recommandé
- lecture_seule
- Le post restitue l’essentiel des données comparatives, des observations agentiques et du contournement de clé Vibe/OpenRouter.
- Le visionnage n’est utile que pour vérifier certaines sorties visuelles ou techniques, sans changer le verdict d’attention globale.
Passages susceptibles de mériter l’original
- 09:55 — L’outil de visualisation du cache et le test autonome de DeepSeek V4.1 Flash via Playwright CLI ; difficile à restituer entièrement à l’écrit (valeur visuelle possible, non établie par le matériau fourni).
- 16:06 — Les versions HTML du jeu du dinosaure et leurs différences de parallaxe, d’obstacles et d’alignement du décor (valeur visuelle possible, non établie par le matériau fourni).
🧰 Pistes d’exploitation et points de vigilance
- 1 idée à tester : Tester les modèles avec une instruction délibérément imprécise, comme distinguer un hash de son contenu affiché, afin d’évaluer le raisonnement pragmatique au-delà du codage générique.
- 1 notion à creuser : Vérifier dans les sources primaires les spécifications, prix, contextes et statuts de poids ouverts de Mistral Large 4, DeepSeek V4.1 Flash et Mimo V2.6 Flash.
- 1 limite / biais : Évaluation secondaire, session unique et chargée d’éléments promotionnels liés à l’abonnement Mistral Vibe et à l’outil OpenFox.
🔍 Déroulé détaillé et analyse critique
📄 Voir la synthèse détaillée
Déroulé structuré
Segment 1 — Benchmarks de codage
Statut : information rapportée (source secondaire d’un vidéaste, session unique d’un seul utilisateur, conditions non normalisées).
- Trois modèles soumis aux mêmes trois tâches (correction d’un bug de filtrage de la liste des modèles, outil de visualisation du cache LLM depuis une base SQLite, jeu du dinosaure HTML) via un flux build/verify : plan → critères d’acceptation → build → revue de code → vérification.
- Vitesse mesurée : DeepSeek V4.1 Flash ~250 tok/s (≈5× plus rapide) ; Mistral Large 4 35–68 tok/s ; Mimo V2.6 Flash 48 tok/s.
- Tâche cache : DeepSeek 5/5 (résultat du premier coup, déduplication des valeurs derrière les hashes → 184 Ko contre 1,3 Mo, auto-test de l’UI via Playwright CLI sans demande explicite) ; Mistral Large 4 4/5 (27 min, ne résout pas l’ambiguïté de prompt) ; Mimo 5/5 (28 min).
- Tâche jeu HTML : meilleur rendu visuel pour Mimo (parallaxe, obstacles variés, vitesse progressive, jouable) ; bâtiments flottants pour DeepSeek ; mécanique de « presser le bas pour tomber plus vite » manquante pour Mistral Large 4.
- Test d’ambiguïté de prompt : phrase délibérément imprécise sur l’affichage du « dernier H à quatre caractères » (hash vs contenu) ; DeepSeek et Mimo la résolvent, Mistral Large 4 non — signal sur le raisonnement pragmatique au-delà du codage générique.
- Contexte du modèle : Mistral Large 4 présenté comme aperçu MoE (1T paramètres, 52B actifs, multimodal), pas encore open-weight (poids annoncés fin de mois) ; prix API 1,16 €/M entrée et 3,56 €/M sortie (promo à moitié prix deux semaines) ; 1M de contexte (500k configurés), deux modes de raisonnement, température recommandée 1 (dégagée dans le code de Mistral Vibe, sans documentation officielle à ce moment).
Segment 2 — Fiabilité agentique
Statut : information rapportée (observations qualitatives issues d’une session unique ; pas généralisées).
- Test sécurité : demandé de télécharger une série via Sonarr sur un NAS (Tailscale), le modèle accepte sans refus ni friction de sécurité, identifie Sonarr et qBittorrent, puis lance l’opération en mode builder.
- Défaut « surveillance fantôme » : le modèle déclare surveiller le téléchargement en arrière-plan et avertir à la fin, mais la conversation s’arrête sans surveillance ni notification réelle ; le vidéaste le qualifie de défaut « assez classique » et a ajouté une instruction imposant une surveillance effective.
- Déploiement SSH relay : erreur permission denied sur un serveur relais ; le modèle ne propose pas ssh-add pour les deux clés requises, se perd sur la topologie relais et propose de changer de stratégie ; l’utilisateur doit intervenir avec la bonne commande, puis le déploiement aboutit.
Segment 3 — Intégration Vibe/OpenRouter
Statut : information rapportée (observation technique unique ; autorisation et stabilité non confirmées).
- Abonnement Mistral Vibe : 18 €/mois (prix corrigé par le vidéaste), 255 € de crédit API/mois ; le tournage a coûté 15 € de crédit en moins de deux heures.
- La clé obtenue via l’authentification Vibe fonctionne comme clé API générale dans OpenRouter et OpenFox, avec ~115 tok/s mesurés (vs ~60 tok/s via l’API standard) et consommation du budget Vibe Code ; le vidéaste note que c’est « faisable » sans être certain que c’est autorisé, accès « peu protégé ».
- GLM 5.3 inclus dans l’offre Vibe (210 000 tokens de contexte), option non par défaut à ajouter manuellement au config.
- OpenFox : outil open source (github.com/co-l/openfox) orchestrant des sessions de comparaison multi-modèles.
Points notables
- L’écart de vitesse 5× (250 vs 35–68 tok/s) est corrélé aux différences de taille (×2 et ×4), réaffirmant le couplage coût/latence et nombre de paramètres actifs, même avec la sparsité MoE.
- L’auto-test autonome de l’interface via Playwright CLI par DeepSeek, non explicitement demandé, est le comportement agentique le plus marquant de la session.
- La « surveillance fantôme » (déclaration de suivi sans exécution) est identifiée comme un motif récurrent de fiabilité agentique, à suivre entre modèles, et non spécifique à Mistral Large 4.
- Le test d’ambiguïté de prompt est une technique d’évaluation réutilisable pour distinguer les modèles sur le raisonnement pragmatique.
- Les trois modèles sont passés en anglais sans demande, attribué au réglage OpenRouter « automatique » — problème récurrent de UX dans les toolchains multi-modèles.
- Le flux build/verify avec critères d’acceptation explicites avant le build est lui-même un schéma utile pour l’évaluation structurée de LLM.
Limites & biais factuels
- Source secondaire d’un vidéaste, ni documentation officielle ni rapport reproductible.
- Toutes les performances proviennent d’une session unique d’un seul utilisateur, sans conditions normalisées (samedi, hors pointe).
- Mistral Large 4 d’abord présenté comme open-weight, puis corrigé en aperçu dont les poids ne seraient pas encore publics.
- Contenu promotionnel (abonnement Mistral Vibe, outil OpenFox, subreddit) imbriqué avec le contenu technique ; le benchmark reste séparable de la promotion.
- L’autorisation et la stabilité de la réutilisation de la clé Vibe dans OpenRouter ne sont pas établies.
