Carnet de mesures · septembre – octobre 2026
Une IA locale, c'est vite « ça a l'air plus rapide » ou « ça répond mieux ». Ici, rien ne se dit sans mesure : les mêmes questions, sur la même machine, plusieurs fois. Voici les essais qui ont décidé des réglages d'Athéna, avec leurs dates. Et aussi ceux où l'on s'est trompé, parce que c'est en les corrigeant qu'on a appris à mesurer.
La règle d'or
Un modèle de langage ne répond jamais deux fois exactement pareil. À la mi-septembre, nous avons demandé à quatre modèles de résumer la même page technique, où dix faits avaient été relevés à la main. Puis nous avons recommencé, une heure plus tard, à l'identique.
| Modèle | 1er essai | 2e essai |
|---|---|---|
| mistral-nemo 12B | 9 / 10 | 6 / 10 |
| gemma4 12B | 9 / 10 | 7 / 10 |
| qwen3.5 4B | 5 / 10 | 7 / 10 |
| granite4.2 8B | 9 / 10 | 10 / 10 |
Faits retrouvés sur 10, même question, même page, même machine.
Depuis, chaque mesure est faite au moins trois fois, et l'on donne l'étendue (du plus bas au plus haut), jamais un chiffre seul.
15 septembre
On avait remarqué qu'une question déjà posée revenait beaucoup plus vite. Ce n'est pas de la mémoire : le modèle ne sait toujours rien de vous. C'est Ollama qui garde le calcul de lecture du texte, tant que le début du texte envoyé ne change pas. Mesure sur un historique de 10 messages (7 453 caractères), trois fois, identique à 0,01 s près :
| Situation | Granite 4.2 8B | Qwen 3.5 9B |
|---|---|---|
| Première lecture | 5,91 s | 2,53 s |
| Exactement la même question | 0,02 s (344× plus vite) | 0,05 s (53×) |
| Un tour de plus, ajouté à la fin | 0,25 s (4 % à relire) | 0,18 s (5 %) |
| Un souvenir inséré au début | 2,58 s (44 %) | 1,50 s (59 %) |
| Historique qui glisse d'un message | 2,18 s (37 %) | 1,33 s (52 %) |
Temps de lecture du texte envoyé au modèle, avant le premier mot.
La leçon a guidé toute la suite : tout ce qui change d'un message à l'autre (un souvenir, la date) se place après la partie stable, jamais devant.
21 et 25 septembre
Pour garder le fil, Athéna renvoie l'historique de la conversation à chaque tour. Avant, elle gardait les dix derniers messages : à chaque tour, le plus ancien sortait, le début du texte changeait, et tout était relu. Désormais, l'historique n'avance que par blocs de cinq : entre deux sauts, le début ne bouge pas.
| Conversation | Avant | Par blocs |
|---|---|---|
| 20 tours (21/09), lecture cumulée | 63 s | 29 s |
| 14 tours, tours 6 à 11 (25/09), deux passes | 106 et 110 s | 66 et 48 s |
Septembre
Certains modèles peuvent « réfléchir » avant de répondre : ils écrivent d'abord une pensée cachée. Sur une même question courte, à chaud, l'effet sur l'attente est net :
| Sans réflexion | Avec réflexion | |
|---|---|---|
| Premier caractère à l'écran | 0,0 à 0,3 s | 5,2 à 6,1 s |
| Réponse complète | 6,5 à 7,0 s | 8,5 à 10,6 s |
| Pensée cachée | aucune | environ 1 100 caractères |
Et sur la page aux dix faits, trois essais par modèle (le chiffre médian, puis l'étendue) :
| Modèle | Sans réflexion | Avec réflexion |
|---|---|---|
| granite4.2 8B | 8/10 (7–8) · 11,0 s | 10/10 (10–10) · 29,6 s |
| gemma4 12B | 8/10 (8–9) · 14,6 s | 9/10 (8–9) · 51,5 s |
| qwen3.5 9B | 8/10 (7–10) · 9,4 s | 8/10 (7–8) · 54,1 s |
| qwen3.5 4B | 6/10 (6–8) · 4,5 s | 6/10 (0–9) · 44,5 s |
| mistral-nemo 12B | 10/10 (8–10) · 5,9 s | ne sait pas réfléchir |
Avec réflexion, le petit qwen3.5 4B a rendu une fois sur trois une réponse vide, après 16 786 caractères de pensée.
Seul Granite y gagne vraiment : les trois essais à 10/10, contre 7 à 8 sans réflexion, pour 18,6 secondes de plus. Ailleurs, on paie 40 à 45 secondes pour rien. La réflexion est donc éteinte par défaut, et on peut l'allumer pour un document précis.
24 et 25 septembre
Le 24 septembre, on a donné à Athéna une « personnalité » plus développée. Le banc de 15 questions isolées n'a presque rien vu : 5,3 s avant, 6,2 s après. Mais en vraie conversation, la lecture a pris 40 % de plus : la personnalité allongeait le texte relu à chaque tour.
| Conversation de 10 tours, lecture des tours 2 à 10 | Temps |
|---|---|
| Version du 23 septembre | 65,8 s |
| Avec la personnalité | 91,9 s |
| Personnalité retirée (25 septembre) | 60,0 s |
Depuis, chaque changement est mesuré deux fois : sur des questions isolées, et dans une conversation complète.
Au quotidien
Sur les conversations réelles du 10 au 25 septembre, le délai médian d'une réponse rédigée (hors réponses instantanées des spécialistes) est de 17 secondes la première semaine (139 réponses), et de 16 secondes la seconde (68 réponses). D'un jour à l'autre, il va de 8 à 34 secondes, selon le type de questions posées plus que selon la version.
La limite de fond n'est pas l'écriture : la carte de référence lit environ 170 jetons par seconde et en écrit 57. L'attente vient surtout de la relecture de l'historique. C'est pourquoi les gains les plus grands ont porté sur la lecture.
13 septembre, puis octobre
Le 13 septembre, un audit complet a posé à Athéna 24 demandes réelles, en plus des 191 tests automatiques. Les fonctions de base marchaient. Mais plusieurs formulations naturelles rataient leur outil :
Ensuite, 54 réponses signalées comme douteuses ont été relues une par une : 23 vraies fautes, 31 réponses correctes. Les 23 fautes sont rejouées à chaque modification. Le 11 octobre, aucune n'est revenue.
Nos propres erreurs
« Avec réflexion, c'est 2,7 fois plus rapide » : c'est ce qu'on a d'abord écrit (19,3 s sans, 7,1 s avec). C'était faux. Le premier chiffre venait du tout premier appel de la journée, quand le modèle se chargeait encore. Rejoué à chaud : 7,0 s sans, 8,5 s avec. Exactement l'inverse.
Même histoire avec une question qui avait pris 17,7 s. On a soupçonné la question, puis le nom d'Athéna dedans. Ni l'un ni l'autre : Ollama avait libéré le modèle après cinq minutes d'inactivité. Depuis, il le garde 15 minutes, et le premier message après une pause est le seul à payer ce chargement.
Ces erreurs ne sont pas cachées ici parce qu'elles sont la raison d'être de la méthode : un instrument qui ne se trompe jamais, c'est un instrument qu'on ne vérifie pas.