← Retour
Mon SETUP IA LOCAL à moins de 1000€
Transcription horodatee
00:00:01
Et bien salut à tous, Nathan InLine.
00:00:03
J'espère que vous allez bien. Dans cette
00:00:05
nouvelle vidéo, je vais vous montrer la
00:00:07
meilleure configuration pour faire
00:00:10
extrêmement performante, qui remplace à
00:00:13
100 % Claude Code ou Codex avec ChatGPT
00:00:14
et avec laquelle vous pouvez travailler
00:00:16
tous les jours sans aucun problème. Moi
00:00:18
aujourd'hui, j'utilise cette machine et
00:00:21
cette configuration pour coder, pour le
00:00:22
travail, pour automatiser plein de
00:00:24
tâches et j'ai aucun problème, ça
00:00:25
fonctionne extrêmement bien. Donc
00:00:27
aujourd'hui, c'est fini payer des
00:00:28
abonnements, je sais pas combien pour
00:00:30
utiliser l'IA avec des limites et être
00:00:32
frustré, pas pouvoir finir ses projets.
00:00:34
Tout ça, c'est terminé. Maintenant, la
00:00:35
seule chose que vous avez à faire, c'est
00:00:37
de vous prendre une bonne configuration,
00:00:39
installer un modèle local sur votre
00:00:42
correctement avec ça. Maintenant, ça y
00:00:44
est, oui, les modèles locaux depuis
00:00:46
l'arrivée de Qwen 3.8 27B sont tout à
00:00:48
fait capables de faire toutes les tâches
00:00:49
que ferait une IA payante. Dans cette
00:00:51
vidéo, je vais vous montrer quelle est
00:00:53
la configuration que moi j'utilise,
00:00:54
comment j'ai fait pour monter cette
00:00:56
configuration et m'en sortir pour moins
00:00:57
de 1000 euros et quels sont les
00:00:59
meilleurs réglages de Qwen 3.8 avec
00:01:02
configuration moi j'utilise tous les
00:01:04
jours au quotidien dans mon travail et
00:01:06
dont je suis pleinement satisfait après
00:01:08
en avoir testé des centaines. Déjà,
00:01:10
avant toute chose, on va commencer par
00:01:12
le logiciel. Si vous voulez un logiciel
00:01:14
tout-en-un qui gère le moteur de votre
00:01:16
IA Llama.cpp automatiquement, qui gère
00:01:17
les mises à jour automatiquement, qui
00:01:19
vous fournit une interface de chat qui
00:01:21
est totalement responsive, comme vous
00:01:25
Donc qui est parfaitement utilisable sur
00:01:26
mobile aussi. Regardez, j'ai l'appli
00:01:28
mobile juste ici. Je peux la lancer et
00:01:31
voilà, c'est une PWA native sur iPhone
00:01:32
et c'est totalement compatible sur
00:01:35
mobile et Agent est parfaitement adaptée
00:01:36
à ce cas d'utilisation. Donc si vous
00:01:38
voulez une appli qui fait tout, qui vous
00:01:39
permet de gérer tous vos presets, tous
00:01:41
vos réglages, de pouvoir gérer vos
00:01:42
tâches, de pouvoir avoir un mode Agent
00:01:45
directement avec votre PC, mais qui a
00:01:47
aussi également un système de mémoire,
00:01:48
un système de tracker pour faire vos
00:01:50
suivis, une API intégrée pour la
00:01:51
connecter à d'autres outils, même
00:01:53
pouvoir y accéder à distance avec Agent
00:01:56
Link et aussi également pouvoir gérer
00:01:59
configuration, son utilisation, sa
00:02:01
mémoire et avoir évidemment tous vos
00:02:03
historiques de chat, plusieurs projets,
00:02:04
que tout soit sauvegardé, que tout soit
00:02:07
chiffré, bref, la meilleure appli IA qui
00:02:09
existe aujourd'hui pour faire tout ça en
00:02:11
un seul petit fichier point exé, c'est
00:02:12
agent. Et je dis pas ça parce que c'est
00:02:14
moi qui l'ai créé, je dis ça parce que
00:02:16
j'étais frustré moi de pas avoir
00:02:18
d'application qui fait tout ça et qui le
00:02:19
fait bien. Donc je me suis dit "Bah
00:02:20
pourquoi pas le ?" Au début moi
00:02:22
j'utilisais simplement la masse C++ avec
00:02:24
des lignes de commande, mais ça me
00:02:25
saoulait de tout utiliser des lignes de
00:02:27
commande, après de devoir connecter ça à
00:02:29
une interface web pour pouvoir chatter,
00:02:30
mais l'interface web elle avait pas tous
00:02:31
les outils. Du coup je connectais ça à
00:02:33
Pi, mais Pi bah il y a pas le tout le
00:02:34
système d'historique, de mémoire et
00:02:36
cetera, donc on peut pas tout faire
00:02:37
autant de choses que ça, il y avait même
00:02:38
pas d'interface web, donc c'est chiant.
00:02:40
Après on a aussi Hermes, mais Hermes
00:02:41
c'est un énorme agent, mais quand on
00:02:42
veut faire des tâches précises, bah il
00:02:44
est pas efficace. Donc finalement, il me
00:02:46
manquait un outil tout-en-un qui fait
00:02:47
tout, qui est bon dans tout et qui me
00:02:49
permet de tout gérer proprement, donc je
00:02:51
Maintenant je suis plus tout seul à le
00:02:53
développer, on est beaucoup sur le
00:02:55
projet et si vous avez envie de démarrer
00:02:56
l'IA locale, vous pouvez démarrer avec
00:02:58
ce logiciel. On est maintenant plusieurs
00:03:00
milliers de personnes à l'utiliser, je
00:03:01
sais pas combien exactement, mais je
00:03:03
sais qu'il y a plus de 1500 personnes
00:03:06
télécharger l'application à l'heure où
00:03:07
j'enregistre cette vidéo. Donc on est au
00:03:10
moins minimum plus de 1500 à l'utiliser,
00:03:11
ce qui est déjà vraiment pas mal. Donc
00:03:12
voilà pour l'application, je vous laisse
00:03:13
aller voir le lien en description comme
00:03:15
ça vous recevrez tous les détails
00:03:16
directement par mail concernant cette
00:03:17
application. Maintenant pour la
00:03:19
configuration, ce que j'ai fait c'est
00:03:22
que j'ai acheté une 5060 Ti de 16 Go de
00:03:25
VRAM pour 579 euros sur Amazon. Sauf
00:03:27
qu'avec 16 Go de VRAM, on est un tout
00:03:29
petit peu trop juste, l'idéal c'est
00:03:30
d'avoir 24 Go de VRAM, mais quand on
00:03:32
regarde les cartes qui ont 24 Go de
00:03:34
VRAM, on dépasse les 2000, 3000 euros,
00:03:36
les prix sont abusés en ce moment. Donc
00:03:37
ce que j'ai fait, plutôt que de faire
00:03:40
ça, j'ai préféré prendre une 16 Go puis
00:03:42
racheter une petite carte pas chère sur
00:03:44
le Bon Coin de 8 Go parce que les 8 Go
00:03:45
plus personne en veut parce qu'elles ont
00:03:47
pas énormément de VRAM, donc elles sont
00:03:48
beaucoup moins chères. Donc si vous
00:03:50
achetez une carte d'entrée de gamme de
00:03:53
16 Go comme la 5060 Ti plus une carte
00:03:54
d'occasion, une ancienne carte de
00:03:56
seulement 8 Go, que vous cumulez les
00:03:57
deux. Donc évidemment, il faudra une
00:03:59
carte mère compatible, mais aujourd'hui
00:04:00
la plupart des cartes mères ont deux
00:04:02
ports PC, donc vous pouvez brancher vos
00:04:03
deux cartes. Bah en faisant ça, vous
00:04:05
pouvez utiliser deux cartes graphiques,
00:04:07
ce qui vous fait un total de 24 Go de
00:04:09
VRAM, comme j'ai juste ici. Et avec 24
00:04:11
Go de VRAM, là vous êtes tranquille pour
00:04:12
faire tourner un excellent modèle comme
00:04:15
Qwen 3.8 27B. Donc si vous voulez être
00:04:17
tranquille au niveau de l'IA, quand je
00:04:18
dis tranquille, c'est-à-dire avoir un
00:04:20
grand contexte, avoir la vision, avoir
00:04:21
un modèle qui est pas trop dégradé,
00:04:23
avoir de bonnes performances et cetera,
00:04:25
je vous conseille d'investir dans deux
00:04:26
cartes graphiques, parce que acheter une
00:04:28
seule carte de 24 Go de VRAM c'est
00:04:30
beaucoup trop cher. Mais cumuler deux
00:04:31
petites cartes, et bah je pense que
00:04:33
c'est vraiment la solution du moment.
00:04:34
D'ailleurs, si vous pouvez même acheter
00:04:36
deux 50-60 TI, ça vous ça va vous
00:04:38
revenir un tout petit peu plus de 1000
00:04:40
euros, mais au moins vous avez 32 Go de
00:04:41
VRAM et là vous êtes vraiment tranquille
00:04:42
pour faire tourner tous les modèles
00:04:43
correctement. Mais voilà, pour les
00:04:46
petits budgets, donc environ 600 euros
00:04:48
plus 200 euros, donc on est à 800 euros
00:04:51
pour pouvoir charger le Qwen 3.8 27B
00:04:54
avec un contexte de 125000 tokens, donc
00:04:55
ce qui est parfaitement utilisable. Et
00:04:57
comme je vous dis, c'est le minimum. Si
00:04:59
vous avez 8, 12 ou 16 Go, vous allez
00:05:00
vous sentir un peu serré. Vous allez
00:05:02
pouvoir faire tourner le modèle, mais
00:05:03
pas avec beaucoup de contexte ou sans la
00:05:04
vision, ou voilà, il y aura toujours un
00:05:06
compromis à faire quelque part. Donc le
00:05:07
système de dual carte graphique, c'est
00:05:09
vraiment le meilleur système, c'est ce
00:05:10
que moi j'utilise tous les jours et ça
00:05:11
fonctionne très bien. Je vais vous
00:05:13
montrer par exemple en désactivant le
00:05:16
mode agent juste ici. J'ai dit "Salut
00:05:19
Eki." Voilà, on a 54, 55 tokens seconde,
00:05:21
56. Voilà, 57 tokens seconde. Je vais
00:05:25
dire "Tu peux me donner plus de ?"
00:05:26
Voilà, ça y est, il commence à accélérer
00:05:28
là. On a des vitesses qui sont aux
00:05:30
alentours des 50 à 60 tokens seconde,
00:05:33
sur un Qwen 3.8 27B qui fonctionne en
00:05:34
dual carte graphique. Alors maintenant,
00:05:36
on va attaquer la partie configuration.
00:05:37
Maintenant que vous avez vu ce petit
00:05:39
test. Déjà un truc que vous pouvez
00:05:40
remarquer, c'est pourquoi j'ai choisi
00:05:43
d'utiliser le IQ4XS, alors que j'aurais
00:05:46
pu très bien faire tourner un Q5KM,
00:05:49
Q5KXL, voire même plus, un Q6K. Ça
00:05:51
fonctionne aussi. Mais pour utiliser des
00:05:53
modèles aussi gros comme le Q5 ou le Q6,
00:05:55
il y a un gros compromis à faire et
00:05:57
c'est baisser le KV cache. Je me rendais
00:05:59
pas compte à quel point le KV cache
00:06:01
était important. J'ai testé énormément
00:06:03
de versions de Coin 3.8 avec à chaque
00:06:06
fois un KV cache entre Q4 et Q8. Et à
00:06:08
chaque fois, j'étais frustré. Le modèle
00:06:10
était bon, mais pas trop. Il oubliait
00:06:11
certains trucs, il faisait pas attention
00:06:13
à certaines choses. Il y avait toujours
00:06:15
deux trois petits trucs que je me disais
00:06:17
"C'est dommage, il est il est bien, mais
00:06:19
il me manque un peu de fiabilité quand
00:06:21
même. J'ai un peu peur de le lancer dans
00:06:22
des grosses tâches ou dans des tâches
00:06:24
vraiment euh réelles en travail,
00:06:25
c'est-à-dire où il faut vraiment faire
00:06:27
attention et pas faire n'importe quoi.
00:06:28
Pas par exemple, envoyer un mail alors
00:06:29
que dans la consigne, je lui ai dit
00:06:30
"Envoie pas de mail tant que j'ai pas
00:06:33
confirmé." Et ben, par moment, c'était
00:06:35
possible que il oublie certaines choses,
00:06:37
il oublie des petits détails que j'avais
00:06:39
mis euh dans le dans sa mémoire, qui
00:06:40
faisait que des fois, il faisait des
00:06:41
trucs que j'avais pas envie qu'il fasse.
00:06:43
Et ben, tous ces problèmes-là, ils ont
00:06:45
complètement disparu quand j'ai réglé
00:06:48
mon modèle avec le KV cache en max
00:06:50
qualité en F16. J'ai remarqué un truc
00:06:53
comprenais pas, c'est que un IQ4XS avec
00:06:56
un KV cache en F16 me satisfaisait
00:06:59
beaucoup plus qu'un Q6K avec un KV cache
00:07:02
en Q4 ou même qu'un Q5KM avec un KV
00:07:04
cache en Q8. Et oui, j'ai même dit le
00:07:06
Q8, même le Q8 perd, comme on peut le
00:07:11
% donc oui, on perd quand même même en
00:07:13
Q8. Et ces petites pertes, ça paraît
00:07:15
rien, mais à l'utilisation, quand je
00:07:17
mets le KV cache en F16, j'ai beaucoup
00:07:19
plus confiance, je sais qu'il va rien
00:07:20
perdre, je sais que tout est dans son
00:07:23
contexte, qu'il a rien oublié et je suis
00:07:24
beaucoup plus serein à utiliser le
00:07:25
modèle comme ça. Et même, ça se ressent
00:07:27
vraiment au ressenti, avec le KV cache
00:07:29
réglé en F16, il n'oublie absolument
00:07:32
rien. Du coup, avec ce preset, ben,
00:07:33
j'avais tout le temps des meilleurs
00:07:35
résultats par rapport à ce que je
00:07:37
voulais avec le IQ4XS en F16 plutôt
00:07:40
qu'avec le Q5KM en Q8. Du coup, j'ai
00:07:42
progressivement arrêté d'utiliser les
00:07:43
autres modèles et j'ai commencé à
00:07:45
optimiser le plus possible ce preset. Et
00:07:47
le problème de F16, c'est que ça bouffe
00:07:48
énormément de VRAM. Et moi ce que
00:07:49
j'avais fait, c'est que j'avais activé
00:07:51
la vision, j'avais chargé le MM proche
00:07:53
directement dans ma VRAM. Et du coup,
00:07:55
avec la vision plus le MTP plus un KVK
00:07:57
cache en F16, bah j'étais un peu ric-rac
00:07:59
niveau VRAM et même avec un IQ4 XS,
00:08:01
j'avais plus grand-chose. Du coup, j'ai
00:08:02
juste testé de mettre la vision
00:08:04
directement sur le CPU. Et là, j'ai
00:08:06
remarqué un truc super intéressant,
00:08:07
c'est que la vitesse est exactement la
00:08:09
même, un tout petit peu réduit, mais
00:08:10
vraiment pas de grand-chose. Et ça, ça
00:08:12
marche extrêmement bien, surtout dans
00:08:14
agent parce que dans agent, toutes les
00:08:15
images qui sont données au modèle sont
00:08:17
d'abord compressées sans perte pour que
00:08:18
ça aille beaucoup plus vite au niveau du
00:08:19
traitement. Donc je vous conseille
00:08:21
d'activer cette option-là, de mettre le
00:08:22
projecteur de vision sur le CPU, comme
00:08:24
ça vous gagnez 1 Go de VRAM et vous
00:08:26
pouvez augmenter le contexte. Donc moi,
00:08:28
j'ai réussi à atteindre 125000 de
00:08:30
contexte avec la vision et avec un KVK
00:08:32
cache en F16 et avec le IQ4 XS qui est
00:08:34
pratiquement sans perte. Honnêtement,
00:08:36
j'ai aucun problème à travailler avec le
00:08:38
IQ4 XS. Au contraire, je vais préférer
00:08:42
un IQ4 XS F16 plutôt qu'un Q5KM en Q8,
00:08:43
comme je le disais juste avant. Ensuite,
00:08:44
au niveau de la répartition, vous le
00:08:45
voyez ici, les quatre graphiques. Donc
00:08:47
j'ai mes deux cartes juste ici. Je mets
00:08:50
74 % du modèle dans ma 5060 Ti qui a 16
00:08:53
Go de VRAM et je mets le reste, les 26 %
00:08:56
restants, dans ma RTX 3070 qui a 8 Go de
00:08:57
VRAM. On peut voir ici que ça les
00:08:59
remplit pas parfaitement, c'est normal
00:09:01
parce que si vous tapez le maximum, à
00:09:02
chaque fois que vous allez envoyer un
00:09:04
message dans la conversation, ça va
00:09:05
finir par crasher. Donc là, avec cette
00:09:07
configuration-là et avec ces cartes-là,
00:09:08
c'est ultra stable. Je peux atteindre
00:09:10
les 125000 de contexte sans aucun crash
00:09:12
et je peux aussi charger des images sans
00:09:13
aucun crash. Et aujourd'hui, moi ce que
00:09:15
je fais, c'est que je travaille tous les
00:09:17
jours avec cette configuration-là. Ça va
00:09:18
extrêmement vite parce que je suis
00:09:20
environ 50 tokens seconde. Donc c'est au
00:09:22
même niveau que les modèles payants,
00:09:23
hein, finalement, c'est à peu près cette
00:09:25
vitesse-là qu'ils ont. Et j'arrive à
00:09:27
interventions, il me génère des PDF
00:09:29
automatiquement, il répond à mes mails,
00:09:31
il traite tout sans faire aucune erreur.
00:09:32
Toutes les consignes que je lui ai mis
00:09:34
dans sa mémoire, il les respecte à la
00:09:35
lettre, il oublie jamais rien. À chaque
00:09:36
fois que je lui demande de corriger un
00:09:38
bug dans un code, il le trouve tout de
00:09:39
suite. Il m'a même développé une
00:09:41
application iOS complète, développé un
00:09:43
site web complet. C'est même lui qui
00:09:45
gère le la modification du code de agent
00:09:47
directement. Donc c'est agent qui
00:09:48
modifie agent, c'est quand même assez
00:09:50
marrant. Donc vraiment c'est incroyable.
00:09:52
Ce modèle-là est parfait. Ça sert à rien
00:09:54
de monter au-dessus de IQ4XS pour Qwen
00:09:57
3.5 27B. Restez en IQ4XS et montez le KV
00:09:59
cache, vous allez voir une énorme
00:10:00
différence. Autre chose aussi que j'ai
00:10:02
pas dit, le fait de mettre le KV cache
00:10:05
en F16, le modèle est plus rapide. Alors
00:10:07
fonctionnait comme ça, mais quand vous
00:10:09
êtes en KV cache F16, il est pas
00:10:11
quantisé, donc il y a pas ce système de
00:10:13
de lire un KV cache qui est quantifié à
00:10:15
chaque fois et donc c'est direct, les
00:10:16
cartes graphiques elles fonctionnent
00:10:18
extrêmement bien avec du F16. Du coup,
00:10:20
ça va plus vite en génération et ça va
00:10:22
plus vite en pré-fil aussi quand vous
00:10:24
mettez le KV cache en F16. Donc c'est
00:10:25
excellent. Et un autre truc aussi qui
00:10:27
améliore encore la vitesse, vous gagnez
00:10:29
environ 10 tokens secondes juste en
00:10:31
mettant le mode Tensor d'activé. Donc
00:10:33
ici vous passez de automatique à mode
00:10:35
Tensor et juste en faisant ça ça vous
00:10:37
gagnez 5 à 10 tokens secondes, c'est un
00:10:38
truc de malade. Ça répartit mieux les
00:10:40
couches du modèle entre les cartes
00:10:42
configuration-là, on est à moins de 1000
00:10:44
euros, on est à 800 euros. Vous rajoutez
00:10:45
un petit peu plus pour un petit
00:10:47
processeur, la carte mère et cetera,
00:10:48
mais ça je pense que vous l'avez déjà.
00:10:49
Là on parle essentiellement de comment
00:10:50
charger le modèle dans vos cartes
00:10:52
graphiques. Donc pour 800 euros, vous
00:10:54
avez possibilité de charger ce modèle-là
00:10:58
graphiques avec 125000 de contexte, 50
00:11:00
tokens par seconde, un niveau qui est
00:11:03
équivalent à Claude Opus 4.5 avec de la
00:11:05
vision, du raisonnement et vous avez
00:11:06
tout qui fonctionne parfaitement pour
00:11:09
correctement. Donc voilà, si vous
00:11:11
décidez de faire comme moi, je vous
00:11:12
invite à copier cette configuration-là
00:11:14
parce que après en avoir testé des
00:11:15
centaines, vraiment j'ai testé toutes
00:11:17
les quantisations, tous les types de KV
00:11:19
caches possibles, je me suis amusé avec
00:11:20
tout, j'ai même testé des fine tunes du
00:11:21
modèle voir s'il y avait du plus
00:11:24
performant, mais non. Celui de Unsloth,
00:11:26
le IQ4XS, c'est vraiment celui que
00:11:27
j'utilise tous les jours pour travailler
00:11:29
et il me fait tout sans aucun problème,
00:11:31
j'ai aucune frustration avec ce modèle.
00:11:33
Et même je trouve que des fois il résout
00:11:34
mieux les problèmes que Claude. Donc
00:11:36
voilà pour ma configuration, voilà le
00:11:37
modèle que j'utilise tous les jours dans
00:11:39
agent et dont je suis extrêmement
00:11:41
satisfait et je pense que c'est le
00:11:43
meilleur setup actuel que vous puissiez
00:11:45
faire au niveau de l'IA locale parce que
00:11:46
qu'est-ce qu'il y a de mieux de Qwen 3.5
00:11:49
27B ? Il y a le Qwen 3.5 Flash Next mais
00:11:50
bon malgré les optimisations que j'ai pu
00:11:53
utilisable. Je trouve qu'il reste quand
00:11:55
même trop lent et je trouve aussi qu'il
00:11:57
est moins précis en mode agent que Qwen
00:11:59
3.5 27B. Vraiment je trouve que Qwen 3.5
00:12:01
27B est limite meilleur pour une
00:12:02
utilisation en mode agent que le Flash
00:12:04
Next. Le Flash Next il va être bien pour
00:12:06
faire des gros projets, il va générer du
00:12:08
bon code, des des gros trucs mais pour
00:12:10
des petites tâches où il faut faire des
00:12:11
trucs bien précis sans faire d'erreur,
00:12:13
Qwen 3.5 27B c'est juste une dinguerie.
00:12:15
Donc voilà pour ma configuration, moi je
00:12:17
travaille avec ça tous les jours et j'en
00:12:19
suis extrêmement satisfait. N'hésitez
00:12:20
pas à me dire dans les commentaires de
00:12:22
cette vidéo quelle configuration vous
00:12:24
utilisez et pourquoi vous pensez que
00:12:25
c'est la meilleure. N'oubliez pas non
00:12:27
plus de liker, commenter, partager cette
00:12:28
vidéo si vous l'avez aimé. Moi je vous
00:12:29
dis à très vite dans une prochaine
00:12:31
vidéo. C'était Nathan In Line, à la