Ce qu’un audit IA doit répondre, et ce qu’il ne répond pas
La question « est-ce que l’IA peut faire ça » n’est presque jamais la bonne. La réponse est oui trop souvent pour être utile, et un audit qui s’arrête là produit une liste de possibilités dont aucune ne se décide.
Les deux questions utiles sont ailleurs. Laquelle des dix idées mérite les trois premiers mois, et qu’est-ce qui empêcherait celle-là de tenir en production. Un audit qui ne classe pas, et qui ne cherche pas activement ce qui va casser, ne vous fait pas gagner de temps.
Les six questions, dans l’ordre
Elles se posent dans cet ordre parce que les deux premières éliminent le plus de projets, et le plus tôt.
1. La donnée existe-t-elle ? Pas « pourrait-elle exister », existe-t-elle aujourd’hui, quelque part, sous une forme lisible. Si l’information qu’il faudrait apprendre n’a jamais été enregistrée, aucun modèle ne la reconstituera. C’est la cause d’échec la plus fréquente et la plus facile à vérifier.
2. Le logiciel accepte-t-il d’être lu, et d’être écrit ? Deux limites distinctes. Beaucoup de logiciels se lisent correctement et s’écrivent mal. Ce n’est pas bloquant, mais cela change le premier lot : on commence par lire et répondre, l’écriture vient ensuite. Ce qui décide n’est pas l’âge du logiciel, c’est ce qu’il expose.
3. Le problème est-il tractable ? Un problème tractable a une bonne réponse identifiable par un humain compétent en un temps raisonnable. S’il faut trois experts et deux réunions pour se mettre d’accord sur la bonne réponse, il n’y a pas de vérité à apprendre, et il n’y aura pas de jeu d’évaluation.
4. Que coûte une erreur ? C’est ce qui fixe le seuil, et le seuil décide de tout le reste. Une erreur visible et corrigeable autorise l’automatisme. Une erreur qui part chez un client, qui touche une personne ou qui engage juridiquement reste sous validation, quel que soit le score de confiance.
5. Le volume justifie-t-il l’automatisme ? Cent pièces par mois ne paient pas un projet, quel que soit l’enthousiasme. Dix mille, oui. C’est l’arithmétique la plus simple de l’exercice et la plus souvent sautée.
6. Est-ce que ça passe à l’échelle ? Ce qui marche sur cinquante cas peut ne pas tenir sur cinquante mille : coût par appel, latence, limites d’appels du logiciel, volume de contexte. Cette question ne se pose pas après le pilote, elle se pose avant, parce qu’elle change l’architecture.
Classer, pas seulement lister
Une fois les six questions posées sur chaque idée, il faut trancher. Nous utilisons la notation ICE, trois notes de 1 à 10 dont on prend la moyenne.
| Dimension | Question posée |
|---|---|
| Impact | quelle valeur métier si le cas réussit ? |
| Confiance | quelle probabilité de succès technique et d’adoption ? |
| Facilité | quel effort de mise en œuvre ? |
Sa simplicité est un atout : le classement devient lisible par un comité de direction, sans compétence technique pour interpréter le résultat. Un cas à fort impact mais difficile à livrer perd des points, et c’est voulu. Pour les projets les plus lourds, la note de facilité se décompose sur les cinq premières questions ci-dessus.
Le faire vous-même, en quelques minutes
Nous avons mis le premier étage de cet exercice en accès libre. Softscan lit ce que votre logiciel dit de lui-même publiquement et rend un diagnostic : où il se situe face à l’IA, ce qui est attaquable, et par quoi commencer. C’est une première lecture, pas un cadrage, et c’est gratuit.
Ce qu’il ne peut pas faire, il faut le dire : il ne voit pas vos données, ni vos interfaces, ni vos volumes. Les questions 1, 2 et 5 se règlent avec quelqu’un qui connaît le logiciel de l’intérieur. C’est ce que fait l’heure de cadrage.
Quand un audit ne sert à rien
Quand la décision est déjà prise. Si le projet part quoi qu’il arrive, l’audit devient un document de justification. Autant investir ce temps dans le jeu d’évaluation.
Quand le périmètre est trop large. « Auditer notre IA » ne veut rien dire. Un audit porte sur une activité : le traitement des factures, la réponse au support, le tri des candidatures. Trois activités, trois audits courts, valent mieux qu’un rapport de quarante pages.
Quand personne n’est propriétaire. Un audit sans nom en face de chaque recommandation ne produit rien. C’est la partie qu’aucun prestataire ne peut faire à votre place, parce qu’elle dépend de qui décide quoi chez vous.
Le biais à surveiller, y compris chez nous
Un audit réalisé par celui qui vendra le projet a un biais structurel, et nous n’y échappons pas plus qu’un autre. Deux façons de le neutraliser, et elles sont vérifiables.
Exiger les critères avant les conclusions. Si les critères sont écrits d’avance et vérifiables, le classement est contestable, donc utile. Si les conclusions arrivent d’abord, c’est une proposition commerciale déguisée.
Vérifier qu’un « non » est possible. Demandez sur quel cas le prestataire a déjà conclu qu’il ne fallait rien faire. Une réponse précise est bon signe. Pas de réponse aussi.
