Travail pratique évalué, en niveaux de maîtrise
Au sommaire, 7 sections
Pourquoi cette séance existe
Trois heures de construction, et une heure d’ouverture sur ce qui vient.
La séance précédente a posé la différence : un assistant répond, un agent agit. Aujourd’hui vous en construisez un, sur un cas réel de votre entreprise, et vous le cassez délibérément.
Cette dernière partie est le cœur de l’exercice, et c’est celle qui surprend. On n’attend pas de vous une démonstration réussie : on attend un montage dont vous connaissez les limites, parce que c’est cela qu’un manager doit savoir dire à sa direction.
Ce que vous saurez à la fin de cette séance
- Cadrer un cas d’agent qui tient en trois heures, et reconnaître ceux qui n’y tiennent pas
- Écrire des instructions testables, et non des intentions
- Poser des garde-fous, et justifier la frontière entre proposer et exécuter
- Mettre votre propre montage en défaut, et documenter ce que vous trouvez
1. Les vingt minutes qui décident du reste
1.1 Sur papier, avant l’outil
Les vingt premières minutes se font sans écran. C’est contre-intuitif et c’est ce qui fait la différence entre les travaux qui aboutissent et les autres. C’est aussi la partie du travail qui survit à un changement d’outil, alors que tout le reste en dépend1.
Trois choses à écrire, dans cet ordre :
Le problème, en trois lignes, sans le mot « agent ». Qui rencontre ce problème, en quoi il consiste, à quelle fréquence il revient.
Ce que l’agent reçoit et ce qu’il rend. Deux phrases. Si vous ne savez pas les écrire, le cas n’est pas cadré.
Les instructions, en premier jet. Elles se corrigeront, et il faut un point de départ écrit : un agent construit sans instructions écrites est impossible à corriger, parce qu’on ne sait pas ce qu’on change.
1.2 Le cas qui tient, et celui qui ne tient pas
Trois conditions, et les trois sont nécessaires : le cas est réel, il est répétitif, son résultat est vérifiable.
La troisième est celle qu’on néglige. Si vous ne pouvez pas dire, sans discussion, que la sortie est juste ou fausse, vous ne pourrez ni tester, ni corriger, ni défendre le résultat devant qui que ce soit.
Le piège. Le piège de la séance est le cas trop large. « Un agent qui gère notre communication » n’aboutira pas en trois heures et ne pourrait pas être évalué. Un agent qui produit une note de veille à partir de trois sources nommées aboutit, et il s’améliore ensuite.
2. Écrire des instructions testables
2.1 Le test d’une instruction
Une instruction est utile si l’on peut vérifier qu’elle a été respectée. C’est tout le critère, et il élimine la moitié de ce qu’on écrit spontanément.
| Ce qu’on écrit spontanément | Ce qui est testable |
|---|---|
| « Sois professionnel » | « Vouvoie. N’emploie pas d’exclamation » |
| « Sois pertinent » | « Cite au moins une source pour chaque affirmation chiffrée » |
| « Ne dis pas de bêtises » | « N’affirme jamais un chiffre absent des documents fournis » |
| « Adapte-toi au client » | « Emploie le vocabulaire du document de charte, jamais de synonyme » |
2.2 Les quatre parties d’une instruction complète
Ce qu’il est. Un rôle, et un seul. Un agent qui est à la fois rédacteur, correcteur et stratège ne fait bien aucun des trois.
Ce qu’il fait. La tâche, avec son entrée et sa sortie, et le format de la sortie.
Ce qu’il ne fait jamais. C’est la partie la plus souvent absente, et la plus utile. Elle borne le périmètre.
Ce qu’il fait quand il ne sait pas. La phrase de la séance 6 s’applique ici aussi : si l’information manque, le dire explicitement plutôt que de la déduire.
2.3 Le format de sortie se déclare
Un agent dont la sortie change de forme à chaque exécution est inexploitable dans une chaîne de travail.
Déclarez la forme attendue : combien de sections, dans quel ordre, avec quels titres. C’est ce qui permettra, plus tard, de brancher la sortie sur autre chose.
3. Les garde-fous, et la frontière
3.1 La règle, et elle ne se négocie pas au démarrage
Ce qui est réversible peut s’automatiser. Ce qui est visible par un client ne s’exécute jamais sans validation humaine.
Cette frontière se pose au moment de la conception. Posée après un incident, elle coûte beaucoup plus cher, et elle se pose alors sous contrainte.
3.2 Classer les actions, en pratique
| Réversible, automatisable | Irréversible ou visible, à valider |
|---|---|
| Écrire un brouillon | Publier |
| Remplir une ligne de tableur interne | Envoyer un message à un client |
| Classer un fichier | Modifier un prix affiché |
| Produire une note de synthèse | Répondre sur un réseau social |
| Signaler une anomalie | Engager une dépense |
3.3 Les deux garde-fous minimaux
Le comportement en cas d’information manquante. Sans lui, l’agent comble, et il comble de façon vraisemblable.
Le point d’arrêt. Ce qu’il ne fait jamais seul, écrit noir sur blanc dans les instructions, et pas seulement dans votre tête.
3.4 La confidentialité, encore
Les trois règles de la séance 5 s’appliquent à ce que vous donnez à votre agent : aucune donnée personnelle de client dans un outil grand public, aucun document sous contrat sans avoir lu le contrat, rien dont la fuite ferait perdre un marché2.
Votre rapport doit dire quelles données l’agent utilise, et pourquoi elles ont le droit d’y être.
4. Mettre en défaut
4.1 Ce qu’on cherche
On ne cherche pas à vérifier que cela marche : on cherche où cela casse. Ce sont deux activités différentes, et la seconde s’apprend.
Quatre attaques, à mener systématiquement :
L’entrée incomplète. Retirez une information nécessaire. L’agent le signale-t-il, ou invente-t-il ?
L’entrée hors périmètre. Donnez-lui une demande qui ne relève pas de son rôle. Refuse-t-il, ou tente-t-il quand même ?
L’entrée piégée. Glissez une information fausse dans les documents. La reprend-il sans broncher ?
La répétition. Relancez trois fois la même demande. Les sorties sont-elles cohérentes entre elles ?
4.2 Ce qu’on en fait
Chaque défaut trouvé mène à l’une de trois décisions, et il faut la nommer :
- Corriger l’instruction, quand le défaut vient d’un manque de bornage.
- Retirer une capacité, quand le défaut vient d’un accès qu’il ne devrait pas avoir.
- Accepter et documenter, quand le défaut est structurel et qu’on ne peut pas le supprimer.
La troisième est parfaitement recevable, et elle est même la plus professionnelle. Un montage dont les limites sont écrites vaut mieux qu’un montage dont on croit qu’il n’en a pas.
4.3 Pourquoi cela est évalué
Parce que c’est ce qu’on vous demandera en poste. Personne ne vous demandera de démontrer que l’outil marche : on vous demandera s’il est sûr de le mettre en production, et cette question n’a de réponse que si quelqu’un a cherché où il casse.
C’est la même exigence que le rapport d’audit du 30 septembre. Le module a une cohérence, et elle est là.
5. Ouverture : l’IA et les moteurs de recherche
Dernière heure, et changement de sujet. C’est le début de la séquence 8, qui se poursuivra le 4 novembre.
5.1 Ce qui change dans la recherche
La recherche en ligne se double d’un usage conversationnel : au lieu d’une liste de liens, une réponse rédigée, parfois avec des sources citées.
Deux conséquences pour une marque, et elles vont dans des sens opposés :
Moins de visites. Une réponse qui suffit à l’utilisateur ne produit pas de clic. C’est mesurable dans vos statistiques, et cela concerne d’abord les contenus qui répondaient à des questions simples.
Une visibilité d’un autre type. Être cité dans une réponse devient un enjeu, distinct d’être bien classé dans une liste.
5.2 Ce qui ne change pas
Le fond ne change pas, et c’est rassurant : un contenu clair, structuré, à jour, avec des sources, reste ce qui est repris. Les fondamentaux du référencement gardent leur valeur, et une bonne structure de page sert les deux usages.
5.3 Ce qu’on peut faire dès maintenant
- Mesurer : regarder si les visites depuis les moteurs baissent, sur quels contenus, et depuis quand.
- Structurer : titres explicites, réponses courtes en tête de section, données factuelles datées et sourcées.
- Surveiller : interroger régulièrement les outils conversationnels sur votre marque et vos produits, et noter ce qu’ils répondent.
Le troisième point est le plus simple et le moins fait. Il prend dix minutes par mois et il révèle parfois des affirmations fausses sur votre entreprise.
Le 4 novembre, nous mesurerons cela sur vos sites.
Sources
Notes
- Les capacités d’un agent, les actions qu’il peut déclencher, ses limites et ses journaux dépendent entièrement du produit employé : ils se relèvent dans sa documentation, le jour de la séance. Ce cours ne fixe aucun nom d’outil, et sa méthode reste valable si l’outil change. Revenir au texte
- Les règles de confidentialité rappelées au 3.4 découlent du règlement général sur la protection des données, articles 5, 6, 28 et 32 : minimisation des données, base légale du traitement, encadrement du sous-traitant et sécurité. Un agent qui agit sur des données de clients est un traitement, pas un gadget. Revenir au texte
