WiCi One : un RTX 5090 partagé sur Wi-Fi et un MoE de 750B sur 32 Go de VRAM + SSD

🎥 Résumé analytique

🎯 Promesse cognitive

À la fin, on comprend : pourquoi un grand modèle MoE peut tourner sur 32 Go de VRAM + SSD, et comment un protocole custom peut exposer un GPU distant comme local sur Wi-Fi.

🧩 Carte du contenu

GPU distant partagé sur Wi-Fi — Présente le concept de GPU distant partagé, le protocole custom visant à réduire le débit nécessaire et le scheduler Scholar pour le basculement entre modèles.
Inférence MoE avec offloading SSD — Explique la combinaison du MoE top-k et des optimisations InferSSD qui permet de faire tourner un modèle très large sur 32 Go de VRAM et un SSD.

✅ Ce que la vidéo apporte en plus de la lecture de ce post

La valeur résiduelle principale de l’original est démonstrative : les démos live (GPU distant partagé, visualizer des experts, test de basculement des modèles) peuvent aider à évaluer des allégations de performance difficilement reproductibles par l’écrit.
L’original ajoute aussi la prestation du présentateur, les entretiens (équipe WiCi, origine cloud gaming Tencent) et le contexte éditorial d’une vidéo sponsorisée.
Aucun autre apport visuel déterminant n’est établi par le matériau fourni au-delà de ces démos live.

🕒 Niveau d’engagement recommandé

visionnage_actif
- Les démonstrations live (GPU distant, visualizer des experts, test de basculement des modèles) peuvent aider à évaluer des allégations de performance difficilement reproductibles par l’écrit.
- Le cadrage promotionnel (vidéo sponsorisée, early engineering model) et les chiffres non vérifiés renfort l’intérêt de juger les démos directement plutôt que sur des nombres rapportés.

Passages susceptibles de mériter l’original

00:00 — L’ouverture montre la RTX 5090 distante apparaissant comme un GPU local dans un laptop, ce qui permet d’évaluer concrètement le cadrage « GPU local » et la démo Cyberpunk/Blender.
15:29 — Le passage peut montrer le visualizer temps réel des experts sélectionnés et de leur tier (SSD, RAM, VRAM), utile pour comprendre l’offloading MoE au-delà d’un résumé textuel.
20:37 — Le test A/B de basculement avec Scholar peut rendre visible le comportement réel du scheduler et le gain de latence entre modèles.

🧰 Pistes d’exploitation et points de vigilance

1 idée à tester : Tester un parking de modèles sur NVMe SSD avec cache des experts populaires pour réduire les temps de basculement entre plusieurs modèles locaux.
1 notion à creuser : L’offloading SSD de modèles MoE via InferSSD : chunking aligné, lots de 64 chunks, cache d’experts et séparation CPU/GPU.
1 limite / biais : La vidéo est sponsorisée par WiCi et présente des allégations de performance non vérifiées indépendamment dans le matériau fourni.

🔍 Déroulé détaillé et analyse critique

📄 Voir la synthèse détaillée

Déroulé structuré

Segment 1 — GPU distant partagé sur Wi-Fi (WiCi One)

Statut : information rapportée ; produit en work in progress (« early engineering model » avant livraison) ; démo sponsorisée.

WiCi One : boîtier dédié contenant une Nvidia RTX 5090 et un mini PC sous OpenWRT pour le réseau ; une édition RTX 5060 Ti moins chère existe (01:13, 22:00).
Plusieurs appareils (laptop, Mac) utilisent le GPU distant comme s’il leur appartenait : la 5090 apparaît dans le task manager du laptop comme un GPU local (00:00, 02:11).
Cadrage explicite : ce n’est ni du cloud gaming ni du remote desktop — l’application tourne sur l’appareil client, seul le calcul GPU est distant (05:26).
Protocole custom rapporté : faux driver côté client pour faire croire au GPU réel ; regroupement/compression des instructions, envoi des seuls changements, réponses prédites pré-émissées — débit requis ramené d’~8 Gbps à ~400 Mbps (04:17-05:12).
Contrainte de base : PCIe ~512 Gbps avec réponse <1 µs contre Wi-Fi ~1 Gbps avec ~1,5 ms aller-retour ; le round-trip est le problème central (03:06, 03:21).
Démo : Cyberpunk à 92 FPS sur Wi-Fi pendant un rendu Blender sur le même GPU distant (04:02, 05:12).
Origine rapportée de l’équipe : cloud gaming chez Tencent, idée née autour de la sortie de Black Myth: Wukong, pivot ensuite vers les workloads IA (05:40, 06:00).
Scheduler « Scholar » : les modèles sortants sont parkés sur SSD au lieu d’être déchargés ; test A/B du présentateur : ~17-18 s sans Scholar contre ~4 s (modèle chat) et ~8,6 s (modèle image) avec (19:12-20:51).
Commerciale : vente avec 600 $ de réduction via le lien du présentateur, livraison annoncée dans ~8 semaines (22:12).

Segment 2 — MoE 750B sur 32 Go de VRAM + SSD

Statut : information rapportée ; allégations de performance non vérifiées indépendamment dans le matériau fourni.

DeepSeek V4.1 Flash présenté comme un modèle 750B paramètres demandant >500 Go de mémoire (≈508 GB indiqués) à pleine qualité ; exécuté sur 32 Go de VRAM + SSD NVMe 4 To (00:15, 08:24, 08:49).
Hiérarchie de bande passante : VRAM ~1,8 To/s, DDR5 ~90 Go/s, NVMe ~14 Go/s nominaux — mais les transferts par token sont des millions de lectures d’~4 Ko, ce qui ramène le débit SSD effectif à ~1-5 Go/s (09:32, 11:45).
Mécanisme MoE : 384 experts par couche (15 360 au total), routeur sélectionnant les 6 meilleurs experts par token → ~15 Go de poids actifs par token au lieu de ~508 GB, tout en stockant le modèle complet car les experts choisis varient (11:59-12:56, 16:09).
Quatre optimisations d’InferSSD rapportées : (1) réécriture des fichiers en chunks alignés de taille égale ; (2) lecture de 64 chunks à la fois, portant le débit effectif d’~1 Go/s à ~11,5 Go/s ; (3) cache des experts populaires en VRAM/RAM, limitant à ~1 Go la part tirée du SSD par token ; (4) séparation du calcul entre CPU (poids SSD/RAM) et GPU (poids VRAM) (13:50-15:01).
Démo live : ~10 tokens/s sur GPU unique + SSD, 61 % des charges d’experts depuis la VRAM, avec des chutes à 3-4 tokens/s (16:38, 17:35).
NetworkChuck a construit un visualizer temps réel à partir de trace logs d’inférence : experts sélectionnés et tier de chargement (SSD, RAM, VRAM) pendant l’exécution (15:29, 15:57).

Points notables

Le top-k MoE est la condition de possibilité de l’offloading SSD : seuls ~6 des 384 experts sont actifs par token (~15 Go de poids actifs), concept réutilisable au-delà de WiCi.
L’effondrement du débit SSD effectif (14 Go/s nominaux → ~1-5 Go/s à cause des lectures d’~4 Ko) explique tout l’intérêt du batch de 64 chunks (≈11,5 Go/s effectif).
Le problème « le GPU n’aime pas partager » (basculement entre modèles) est une douleur générale de l’IA locale multi-modèles ; le parking SSD à la Scholar est une approche transférable.
Les deux histoires du source résolvent deux problèmes indépendants — protocole réseau pour GPU distant, mémoire pour l’inférence locale — et peuvent être évaluées comme deux signaux distincts.
La clarification 384 experts/couche vs 15 360 au total évite une fausse contradiction dans les chiffres MoE.

Limites & biais factuels

Vidéo sponsorisée par WiCi avec lien de réduction ; le cadrage est promotionnel (« impossible », « crazy », « doesn’t make sense ») et les chiffres de performance portent un risque marketing.
Chiffres avancés par le présentateur, non vérifiés indépendamment ici : 92 FPS sur Wi-Fi, ~10 tokens/s (chutes à 3-4), réduction d’environ 8 Gbps à ~400 Mbps.
Produit en early engineering model avant livraison : spécifications et disponibilité (livraison annoncée dans ~8 semaines) peuvent évoluer.
Détails de DeepSeek V4.1 Flash (750B, >500 GB, 384 experts/couche, top-6) rapportés par la source ; à confirmer sur la carte modèle, et les optimisations InferSSD à confronter au dépôt open source.
Les noms de modèles référencés (Kimi K3, GLM 5.3, GPT6, Opus 5.5) dans cette source datée 2026 sont rapportés tels quels et doivent être traités comme des allégations à vérifier.
Transcription automatique : approximations possibles ; certains détails techniques méritent confirmation via la documentation ou le code ouvert.