Carnet de mesures · octobre 2026
En septembre, j'avais appris à mon assistante à dire quand elle ne sait pas. Il restait le plus difficile : qu'elle comprenne ce qu'on lui dit vraiment, qu'elle garde le fil d'une conversation, qu'elle se souvienne sans rien inventer, et qu'elle réponde vite. Voici ce qui a changé depuis, chiffres à l'appui. Et aussi ce qui ne va pas encore, parce qu'un carnet de mesures qui ne montre que les réussites ne mesure rien.
Le principe, qui n'a pas changé
Un modèle de langage produit la suite de mots la plus plausible. Il ne sait pas la date, ne voit pas vos fichiers, ne connaît pas l'état de votre PC. Alors Athéna ne lui demande pas : elle demande d'abord à des spécialistes, de petits programmes qui comptent, lisent ou mesurent. Le modèle ne répond qu'en dernier, quand aucun d'eux ne sait.
Et chaque réponse dit par où elle est passée :
Vert : un spécialiste a compté ou lu quelque chose de réel. Bleu : un document ou une source a été consulté. Ambre : le modèle a répondu seul. Ce n'est pas une étiquette décorative : c'est le trajet réel de la réponse dans le code.
Seize spécialistes
En septembre, ils étaient une poignée. Ils sont maintenant seize dans la version de travail : la date et les calculs, la mémoire, les conversations passées, l'état du PC, les fichiers, les réglages, la météo, la recherche web, le dessin, et d'autres. Ils sont consultés dans un ordre précis, et cet ordre est lui-même une correction. Exemple : « cherche ce mot dans le code » doit aller aux fichiers du PC, pas sur Wikipédia. C'est le spécialiste des fichiers qui passe donc avant la recherche web.
Un cas concret. Le 24 septembre, à la question « quels sont les derniers sujets dont tu te souviens ? », Athéna laissait répondre le modèle : de 10 à 15 secondes, et parfois une négation (« je n'ai pas de souvenir de… »). Le 11 octobre, un spécialiste lit la liste des conversations : réponse en moins d'une seconde, exacte.
Comprendre
Une fonction que personne ne sait déclencher n'existe pas. C'est la leçon que nous avons payée plusieurs fois : la capacité existait, mais la phrase de l'utilisateur n'y menait pas, et le modèle comblait le silence. Le cas le plus parlant vient de la dictée vocale :
quelle sons des outil ?
Une vraie phrase dictée au micro — il fallait entendre « quels sont tes outils ? »
Le modèle avait répondu sur… le son des outils. Désormais, ces formes dictées mènent à la bonne réponse. Et pour que ça ne se reproduise pas en silence, chaque phrase réellement tapée ou dictée qui a raté son outil est rejouée à chaque série de tests, avec des contre-exemples : « quel son fait la perceuse ? » doit, lui, rester une vraie question sur un son.
| Phrases dictées réelles | Au bon outil |
|---|---|
| « quelle son tes outils », « quelle es… », etc. | 17 / 21 |
| Phrases de vocabulaire rejouées à chaque test | 19 / 19 |
Relevé du 11 octobre 2026. Les 4 phrases restantes ne relèvent pas de la dictée (une faute d'orthographe, une question vraiment ambiguë) : on ne les force pas.
Garder le fil
Demandez « Pourquoi un module Peltier a besoin d'un dissipateur ? », puis « et quelle est sa température maximale ? ». La seconde question n'a de sens qu'avec la première. Nous avons construit une conversation de test de 14 tours, avec des changements de sujet au milieu, et après chacun une question de ce genre. Résultat, sur deux passes : le fil est gardé 5 fois sur 5, deux fois.
Garder le fil a un coût : le modèle doit relire l'historique à chaque tour. Plutôt que de le faire glisser message par message, Athéna le fait avancer par blocs, pour que le début du texte reste identique d'un tour à l'autre et que le moteur réutilise ce qu'il a déjà lu. Sur une vraie conversation de 20 tours, la relecture est passée de 63 secondes à 29. Et une question reposée à l'identique repart en 0,02 seconde au lieu de 5,9.
Se souvenir
Les souvenirs et les conversations restent sur votre PC, dans un seul fichier. Athéna peut maintenant relire vos conversations passées quand vous lui demandez « de quoi on avait parlé ? », au lieu de répondre qu'elle ne s'en souvient pas.
Et oublier n'est plus un geste à l'aveugle. Un jour, la fin d'une de ses propres phrases, revenue par le micro, a été prise pour un ordre et a effacé un souvenir. Depuis, « oublie que… » nomme le souvenir exact et attend votre « oui ». Chaque action qui modifie quelque chose est notée dans un journal que vous pouvez lire.
Sur votre bureau
Athéna peut sortir de sa fenêtre et vivre sur votre bureau. Quand un spécialiste répond, elle vous tend le résultat sur un petit écran holographique (dans la version de travail pour l'instant). Et parce qu'une carte graphique de jeu se réinitialise parfois, elle se relance seule après une panne graphique au lieu de rester figée : nous l'avons vérifié en provoquant les deux pannes possibles.
La méthode
Chaque modification passe par plusieurs bancs d'essai : 15 phrases de référence rejouées trois fois, les fautes déjà corrigées rejouées pour voir si elles reviennent, 54 phrases dont on a fixé à l'avance quel spécialiste doit répondre, et 874 tests automatiques.
Et les instruments se trompent aussi. Le 11 octobre, un banc a accusé Athéna de « promettre une recherche sans la faire ». En lisant la réponse, c'était faux : la recherche était réellement en attente, et le code la lançait au message suivant. C'était le juge qui avait tort, et c'est lui qu'on a corrigé. Un test qui accuse du code juste apprend surtout à ignorer le rouge.
Ce qui ne va pas encore