Qwen 3.8 27B en local : compromis de quantification, contexte et raisonnement

Déroulé structuré

• Segment 1 — Qwen 3.8 27B entre 16 Go et grosse infrastructure

  • Qwen 3.8 27B est présenté comme le successeur de Qwen 3.6 27B.
  • Premier test : quantification Q2 K XL sur une RX 7800 16 Go avec llama.cpp, backend Vulkan et MTP.
  • En parallèle : version moins quantifiée sur un cluster DGX Spark.
  • Le Q2 atteint environ 30 à 35 tokens/s dans les conditions montrées.
  • Un contexte d’environ 100 000 tokens est conservé sur la machine 16 Go.

• Segment 2 — Un modèle capable, mais qui réfléchit trop

  • Sur un benchmark précédent, Q2 comprend correctement le prompt, évite plusieurs pièges et lance spontanément des tests Playwright.
  • Le mode X High produit cependant de très longues phases de raisonnement.
  • Avec un budget de sortie de 16 000 tokens, le modèle peut atteindre la limite avant d’agir.
  • Relancé sans mémoire exploitable de sa réflexion précédente, il peut recommencer depuis zéro.
  • L’auteur augmente donc le max tokens à 50 000.
  • Le paramètre preserve thinking est identifié comme important pour conserver les blocs de réflexion dans l’historique.

• Segment 3 — INT4 : résultat solide malgré un processus très long

  • La version INT4 produit un fichier HTML d’environ 1 400 lignes.
  • Elle lance elle-même des validations automatisées et utilise Playwright.
  • Le vérifieur inspecte notamment le comportement du jeu et ses mécaniques.
  • Le résultat visuel est jugé très bon dans la démonstration.
  • Le processus complet atteint toutefois environ 2 h 31, largement pénalisé par les boucles initiales de réflexion.

• Segment 4 — Q2 sur 16 Go : récupération partielle par le workflow

  • Le Q2 rate notamment un gros appel d’outil après une longue génération.
  • Il adapte ensuite sa stratégie et écrit le fichier par morceaux.
  • La première version obtenue présente de graves problèmes visuels et de gameplay.
  • Le workflow de vérification identifie notamment une fréquence excessive de génération d’obstacles.
  • Après correction, le jeu devient jouable.
  • Le résultat reste très inférieur à celui de la version moins quantifiée : le dinosaure devient notamment un « dauphin de l’espace ».

• Segment 5 — Le vrai compromis des 16 Go

  • Un contexte de 100 000 tokens représente environ 3,4 Go dans la configuration montrée.
  • Sur 16 Go de VRAM, augmenter la précision du modèle réduit donc fortement la place disponible pour le contexte.
  • Q2 permet davantage de contexte mais dégrade fortement le modèle.
  • L’auteur teste alors IQ3 XXS, légèrement plus volumineux.
  • Le problème de réflexion excessive demeure : jusqu’à 50 000 tokens de pensée peuvent être consommés avant l’écriture.

• Segment 6 — Comparaison avec DeepSeek V4 Flash

  • DeepSeek V4 Flash est exécuté localement puis via API sur le même benchmark.
  • Certaines générations locales rapides échouent fonctionnellement malgré les étapes de vérification.
  • L’API produit un résultat plus cohérent que les deux essais locaux montrés.
  • L’auteur soupçonne alors des différences de paramètres d’inférence plutôt que de poids.
  • Des réglages comme top_k et repetition penalty sont identifiés comme variables potentiellement responsables.
  • Le test illustre qu’un checkpoint identique ne garantit pas un comportement identique si la configuration d’inférence diffère.

• Segment 7 — Q3 XXS et verdict matériel

  • Q3 XXS finit par produire un jeu cohérent et jouable sur le GPU 16 Go.
  • Il reste imparfait et demande beaucoup de temps, mais démontre une capacité réelle malgré la quantification.
  • L’auteur juge les 35 tokens/s obtenus sur une carte abordable comme utilisables.
  • Il espère surtout une future variante Qwen 35B A3B, potentiellement plus adaptée à l’offloading.
  • Pour les configurations 24 Go et plus — 3090, 4090, 5090 —, le constat est beaucoup plus enthousiaste.
  • Qwen 3.8 27B est considéré comme une évolution importante par rapport au déjà très bon Qwen 3.6 27B.
  • La perspective de dépasser les 100 tokens/s motive explicitement l’auteur à envisager une RTX 5090.

Points notables

• ~30–35 tokens/s annoncés avec Q2/Q3 sur la machine 16 Go.
• ~100 000 tokens de contexte utilisés sur cette configuration.
• ~3,4 Go annoncés pour ces 100 000 tokens de contexte.
• Passage du budget de sortie de 16 000 à 50 000 tokens pour limiter les blocages liés au raisonnement.
• Une session Q3 XXS consomme jusqu’à 50 000 tokens de pensée avant de commencer réellement à produire.
• L’INT4 produit un fichier d’environ 1 423 lignes et termine le workflow en environ 2 h 31 dans le test montré.
• Les phases de vérification et de code review peuvent elles-mêmes durer plusieurs dizaines de minutes.
• Le MTP est crédité d’une accélération variable selon la tâche, particulièrement susceptible d’être favorable au code.
• Le modèle accepte également les images et, selon la présentation faite, des vidéos en entrée, mais pas directement leur audio.
• Le résultat met en évidence une frontière matérielle importante entre 16 Go et 24 Go+ de VRAM pour ce modèle dense.

Limites & biais (factuels)

• Les comparaisons ne sont pas parfaitement contrôlées : quantification, backend, matériel et parfois paramètres d’inférence changent simultanément.
• Une partie importante des temps mesurés provient de boucles de raisonnement dues aux réglages initiaux et ne représente donc pas nécessairement la performance optimale.
• Le benchmark impose la génération d’un gros fichier HTML autonome, ce qui favorise les appels d’outils très volumineux et expose particulièrement les limites de sortie.
• La qualité est fortement évaluée sur la cohérence visuelle d’un jeu ; ce critère ne couvre qu’une partie des usages du développement logiciel.
• L’auteur découvre et modifie certains paramètres pendant la vidéo : les conclusions portent donc sur un modèle et un écosystème encore en cours d’exploration.
• La comparaison « GPU à 500 € contre GPU à 5 000 € » simplifie une réalité où la seconde configuration est un cluster à mémoire unifiée et non l’équivalent direct d’une carte graphique de jeu.