🎥 Résumé analytique
🎯 Promesse cognitive
- À la fin, on comprend : quels paramètres d’inférence locale conditionnent la réussite de Qwen 3.8 27B en codage, et pourquoi DeepSeek V4 Flash peut diverger entre exécution locale et API.
🧩 Carte du contenu
- Benchmark Qwen 3.8 27B local : confrontation du Q2_K_XL sur RX 7800 16 Go et du MixedInt4 AutoRound sur DGX Spark via le jeu du dinosaure OpenFox — vitesse, contexte, preserve thinking, consommation et qualité finale.
- DeepSeek local vs API et tarifs : échec de DeepSeek V4 Flash en local, piste liée à vLLM (topK, repetition penalty) et explication du nouveau modèle de prix peak/off-peak de l’API.
✅ Ce que la vidéo apporte en plus de la lecture de ce post
- La valeur ajoutée est visuelle et concrète : les jeux générés (première et version finale MixedInt4, résultat Q2_K_XL, version locale DeepSeek défectueuse) sont montrés à l’écran, ainsi que les interfaces d’exécution et le point d’échec de l’appel d’outil.
- Le post conserve les chiffres, les réglages et les recommandations ; le visionnage sert surtout à juger directement la qualité réelle des sorties et la fiabilité de l’agent.
🕒 Niveau d’engagement recommandé
- visionnage_actif
- La vidéo montre les sorties générées, les interfaces d’exécution et les points d’échec, éléments que le post ne peut que décrire.
- Les chiffres et recommandations restent utiles dans le post, mais la qualité des jeux produits et la fiabilité de l’agent se jugent mieux par le visionnage.
Passages susceptibles de mériter l’original
- 08:43 — Première version MixedInt4 montrée à l’écran : évaluer visuellement la qualité générée avant le bilan.
- 09:44 — Appel d’outil raté du Q2_K_XL et perte de travail : central pour juger la fiabilité de l’agent.
- 20:15 — Résultat final Q2_K_XL : comparer la qualité réelle avec le rendu MixedInt4.
- 28:49 — Version locale de DeepSeek V4 Flash jugée défectueuse : comprendre l’écart avec l’API.
🧰 Pistes d’exploitation et points de vigilance
- 1 idée à tester : Reproduire le benchmark OpenFox avec Qwen 3.8 27B en ajustant contexte 100 000, max token 50 000, preserve thinking et MTP, sur un GPU 16 Go et un setup à mémoire unifiée.
- 1 notion à creuser : L’effet des paramètres d’inférence preserve thinking, MTP, topK et repetition penalty sur la stabilité des agents de codage locaux.
- 1 limite / biais : Les résultats proviennent d’un seul test vidéo, avec des configurations et un harness spécifiques, sans validation indépendante des chiffres.
🔍 Déroulé détaillé et analyse critique
📄 Voir la synthèse détaillée
Déroulé structuré
Segment 1 — Benchmark Qwen 3.8 27B : 2-bit sur GPU 16 Go vs INT4 sur cluster
Statut : information first-party (test réalisé et présenté par l’auteur, sans reproduction indépendante).
- Qwen 3.8 27B est présenté comme successeur dense de Qwen 3.6 27B ; testé via OpenFox avec deux quantisations : Q2_K_XL sur une RX 7800 16 Go (llama.cpp, backend Vulkan, MTP activé) et MixedInt4 AutoRound sur un cluster DGX Spark à mémoire unifiée.
- Le benchmark « Build & Verify » d’OpenFox fait générer un jeu du dinosaure en un seul fichier, de A à Z.
- Q2_K_XL : compréhension du prompt au premier essai, évitement des pièges du benchmark (session.db, balise script), auto-test avec Playwright ; plan en 7 minutes, implémentation en 47 minutes.
- En mode X-High, le modèle peut épuiser le budget max tokens de 16 000 en réflexion seule ; sans preserve thinking, le harness relance le modèle dans une boucle de pensée « à zéro » (inférence de la source).
- Correctifs appliqués : 100 000 tokens de contexte et 50 000 max tokens sur les deux configs. Preserve thinking est présenté comme un paramètre llama.cpp/vLLM ; la documentation Unsloth le mentionne, et la source note qu’il peut être actif par défaut.
- Vitesse sur la RX 7800 : ~30 à 35 tokens/s avec MTP, avec des variations liées à l’acceptation MTP selon le contexte et la tâche.
- Après un appel d’outil malformé qui fait perdre le travail, le Q2_K_XL aboutit à un jeu jouable mais imparfait (défauts visuels et de gameplay) en ~2h07.
- MixedInt4 AutoRound : première version plus aboutie (détails, sons, parallaxe), vérification Playwright sans changements majeurs, total 2h31.
- Consommation totale du PC + cluster : 692 W, décrit comme alimenté en solaire.
- Vision : le modèle accepte images et frames vidéo en entrée (video non testée selon la source), mais pas l’audio.
- Opinion de l’auteur : Qwen 3.6 27B en INT4 reste recommandé pour les configs GPU existantes ; Qwen 3.8 27B devient pertinent au-delà de 24 Go de VRAM — l’auteur envisage une RTX 5090.
Segment 2 — DeepSeek V4 Flash : écart local/API et nouveaux tarifs
Statut : information first-party pour le test local, information rapportée pour les tarifs ; l’explication de l’écart local/API reste non confirmée.
- DeepSeek V4 Flash 0731 (checkpoint officiel mixte FP8/FP4, sans quantisation) produit en local sur le Spark deux générations incomplètes (20 min 41 s et 23 min 53 s) sans saut correctement jouable.
- Deux générations API du même modèle ont produit de meilleurs résultats ; l’auteur s’interroge sur la cause de l’écart.
- Piste explorée (inférence de la source) : paramètres de sampling vLLM, topK et repetition penalty — OpenFox utilisant le topK par défaut du cluster ; une relance avec paramètres modifiés est envisagée.
- Tarifs DeepSeek rapportés : facturation horaire peak/off-peak (heures françaises), facteur ~2 entre peak et off-peak, coût du cache multiplié par 5 en peak, relevé l’après-midi de 22 ¢/M tokens en entrée et 66 ¢/M tokens en sortie.
- La source rapporte que DeepSeek recommande 384 000 tokens de sortie pour un reasoning high/max sur V4 Flash.
Points notables
- Les performances des agents de codage locaux dépendent fortement des paramètres du harness (max token, preserve thinking, contexte, sampling), pas seulement de la qualité du modèle.
- Un GPU 16 Go bas de gamme (~500 €) peut faire tourner un dense 27B à vitesse utilisable, au prix d’un compromis précision/contexte/fiabilité.
- Le mécanisme de la boucle de pensée (budget max tokens épuisé par la réflexion seule, relance sans mémoire des blocs de pensée) est documenté comme un piège concret pour les agents locaux.
- Coût matériel, consommation (692 W) et prix API sont des facteurs d’adoption concrets, pas des détails secondaires.
- OpenFox, utilisé comme couche de contrôle des modèles locaux, est un point d’ancrage utile pour les workflows de développement assisté.
Limites & biais factuels
- Benchmark présenté par l’auteur : performances, consommation et qualité des sorties sans reproduction indépendante.
- L’écart local/API DeepSeek n’est pas résolu ; l’hypothèse vLLM (topK, repetition penalty) reste une piste non démontrée.
- Les tarifs DeepSeek et leurs détails sont rapportés par la source et doivent être vérifiés dans la documentation officielle avant usage.
- La vidéo inclut une annonce de subreddit et un appel à l’abonnement, pouvant biaiser légèrement la présentation.
