Depuis son émergence dans les années 1950, l’intelligence artificielle (IA) est en pleine progression, accentuée par le développement de la puissance de calcul informatique disponible et d’Internet au cours des années 2000. Pour autant, malgré ses multiples succès, l’IA peut encore être source d’inquiétude et a de nombreux défis à relever, côté industrie et côté utilisateur, pour être admise de tous. Parmi ces défis, se dressent les verrous relatifs à l’énergie, à la sécurité et à la confidentialité mais aussi à la confiance de ses utilisateurs. Cet article étudiera la question de l’adoption de l’IA dans les systèmes critiques.

Le contexte de l’IA de confiance

Depuis quelques années, l’IA connaît un regain d’intérêt et gagne en performance. Les technologies d’IA couvrent un champ d’application extrêmement large : dans les domaines de la santé, de la banque, de la finance et de l’assurance, pour les systèmes de recommandation en ligne et bien entendu, celui de l’automobile avec les véhicules autonomes et connectés. Elles donnent aux systèmes dans lesquels elles sont intégrées, la capacité de prendre des décisions de manière autonome et réalisent certaines tâches mieux que les humains, comme c’est le cas depuis quelques années dans le domaine de l’annotation de radiographies ou encore dans celui du traitement automatique du langage.

Toutefois, les usages de l’IA suscitent des inquiétudes d’ordre éthique, moral et juridique auxquelles des solutions doivent être apportées. De plus, plusieurs défis[1] doivent encore être relevés par l’intelligence artificielle avant la généralisation de son adoption par l’industrie puis par ses utilisateurs. En plus des inquiétudes que l’IA suscite, se dressent des verrous liés à l’énergie, avec la consommation exponentielle nécessaire à l’entrainement de réseaux de neurones de plus en plus complexes ; liés à la sécurité et à la confidentialité, avec la capacité qu’ont certains systèmes d’extraire des informations sensibles d’une base de données d’entrainement ; mais également à la confiance : celle portée par l’utilisateur humain en un système dont le fonctionnement repose, au moins en partie, sur des technologies d’ IA.

Pour permettre l’adoption de l’IA auprès de ses futurs utilisateurs, les industriels doivent fournir des éléments leur permettant d’avoir confiance en l’IA qu’ils intègrent à leurs systèmes, surtout critiques (i.e. dont les erreurs et les échecs sont susceptibles d’avoir des conséquences importantes), et c’est ce point que nous allons aborder ici.

Plusieurs organismes tentent de fournir des définitions de ce qu’est la confiance envers les systèmes d’intelligence artificielle. Elle a été le sujet principal du groupe d’experts mobilisés par la Commission Européenne (dont tous les travaux se font dans l’optique « trustworthy AI »). L’organisation internationale de normalisation, ISO, considère une vingtaine de facteurs différents, avec des ramifications.

La confiance, en particulier envers les artefacts numériques dont l’IA fait partie, est une combinaison de facteurs technologiques et sociologiques :

• Technologiques, comme la capacité de vérifier la justesse d’une conclusion proposée par une IA, la robustesse à des perturbations, le traitement de l’incertitude, etc.
• Sociologiques, comme la validation par des pairs, la e-réputation sur les réseaux sociaux, l’attribution d’un label par un tiers de confiance, Les questions d’interaction avec les utilisateurs sont intermédiaires entre ces deux types de facteurs : transparence, explicabilité, qualité des interactions de manière plus générale.

Les facteurs sociologiques ne sont pas propres à l’IA : dans un réseau de confiance entre humains, la transmission de la confiance ne fait pas nécessairement appel aux facteurs technologiques. Par contre, la base technologique de la confiance en IA est bien spécifique et pose de nombreux défis. On ne sait pas, aujourd’hui, prouver que les conclusions d’un système entraîné par apprentissage sur une base de données sont les bonnes, qu’elles sont robustes à des petites variations, qu’elles ne sont pas entachées de biais, etc. Il existe de nombreux programmes de R&D à ce sujet, dont un des plus importants est l’initiative Confiance.ai centrée sur les systèmes critiques (transport, défense, énergie, industrie), portée par de grands groupes industriels dans le cadre du Grand Défi sur la fiabilisation et la certification de l’IA.  Tant que cette question restera ouverte, le risque pour l’IA de se heurter au mur de la confiance sera majeur. Il le sera encore plus pour les systèmes à risque (au sens de la Commission Européenne dans sa proposition de réglementation de l’IA « AI Act ») et pour les systèmes critiques (au sens du programme Confiance.ai).

L’adoption de l’IA par l’industrie

Comme en atteste une étude menée auprès des industriels membres du programme Confiance.ai, il s’avère que si l’intérêt porté sur l’IA et ses promesses est évident, son intégration effective est beaucoup plus timide. Si le manque de méthodes et d’outils est un motif récurrent de la non-adoption de l’IA au-delà de preuves deconcepts ou de prototypes, les préoccupations exprimées désignent avant tout l’absence d’un cadre de conception outillé à la fois fiable et efficace, sur lequel il est possible de s’appuyer et de se référer.

On entend par « fiable », sa façon de caractériser le système et son comportement, c’est à dire son aptitude à correctement effectuer ses tâches. Fiable également au travers de la justification de cette caractérisation via notamment des attributs de confiance[2], attributs qui permettent de qualifier et de vérifier l’aptitude du système à répondre aux attentes des parties prenantes. Parmi ces attributs on entend :

• l’explicabilité qui désigne la mesure dans laquelle le comportement d’un modèle ou du système qui l’héberge, peut être rendu compréhensible pour les humains ;
• l’équité et donc l’impartialité et la justesse des résultats d’inférence ;
• la robustesse qui qualifie la capacité du système à maintenir une réponse cohérente lorsque les entrées du système sont sujettes à des perturbations,
• la légalité et donc la conformité du système avec les lois, normes et réglementations en vigueur ;
• la vérifiabilité ou comment il est possible d’évaluer que les exigences initialement exprimées sont effectivement satisfaites ;
• la qualité de la donnée, évaluables au travers d’un ensemble de dimensions couvrant des aspects relevant entre autres, mais pas uniquement, de la traçabilité, de la couverture du domaine d’emploi, de la fiabilité ou encore, de la précision ;
• le maintien en conformité de l’ensemble du système intégrant de l’IA vis-à-vis des spécifications et de ses exigences : la maintenabilité.[3]

On entend par « efficace », outre sa rentabilité dans le contexte d’une exploitation industrielle et commerciale, la simplicité de son intégration dans les environnements de conception préexistants. En effet, un cadre de conception outillé aussi fiable et rentable soit-il, ne saurait remplacer les environnements et les habitudes de travail historiques des équipes d’ingénierie si l’état de transition implique des efforts trop conséquents.

Un accompagnement vers l’IA de confiance

C’est à cet ensemble de besoins que l’Environnement de Confiance, finalité du programme Confiance.ai, se propose de répondre, de bout en bout : de la spécification de la problématique jusqu’au maintien en conditions opérationnelles du système intégrant de l’IA. Cela implique de fait, le contrôle de son comportement et, le cas échéant, la mise à jour de ses composants.

L’instanciation de l’Environnement de Confiance se présente sous la forme d’une chaine outillée modulaire et interopérable :

• modulaire car destinée à couvrir et à atteindre des attributs de confiance différents selon le cas d’usage formulé et dont la variabilité ne saurait être abordée par un simple et unique ensemble d’outils, ce qui répond à la question de la fiabilité,
• interopérable afin d’en assurer l’intégration progressive dans les ateliers et les environnements de conception existants. Interopérabilité qui se matérialise d’une part par la compatibilité de la chaine outillée avec les outils de conception utilisés dans les environnements et d’autre part par l’agnosticisme de l’environnement d’exécution sous-jacent vis-à-vis des infrastructures susceptibles de l’héberger. Ainsi, la démarche adoptée envisage non pas de transformer les environnements existants mais au contraire, de s’appuyer dessus afin de la compléter le plus simplement possible.

Outre cette chaîne outillée, un ensemble de méthodes et de guides de conception complètent l’Environnement de Confiance : ils sont à disposition des utilisateurs, quels que soient leurs rôles et sont destinés à les accompagner tout du long du processus de réalisation d’un système à base d’IA de confiance. Si cette approche leur permet d’appréhender eux-mêmes l’identification et la définition des attributs de confiance propres à leur système, elle représente un travail conséquent, susceptible de ralentir l’adoption du cadre de conception. En l’occurrence, la simplification de cette étape est envisageable au moyen d’un outil propre à l’environnement et dédié à cette étape préliminaire de spécification des attributs de confiance.

Instanciation des méthodes et guides réalisés au sein du programme Confiance.ai, cet outil utilise comme éléments d’entrées la formalisation du cas d’usage : les exigences fonctionnelles et non fonctionnelles, l’identification et la sélection des contraintes réglementaires et normatives, ou encore la couverture opérationnelle qui précise les bornes dans lesquels le système est supposé fonctionner. Une fois ces informations spécifiées, il devient possible, au moyen d’un cadre d’analyse dédié à la conception d’IA de confiance et spécifiquement réalisé dans le cadre du programme[4], de générer d’une part une stratégie de vérification et de validation (V&V) en adéquation avec les exigences système : criticité, risque, coût, etc., d’autre part une stratégie d’activités d’ingénierie permettant de concevoir un composant d’IA en phase avec ces exigences. Cette approche permet non seulement la définition des attributs et propriétés attendues par le système mais également de tracer leurs relations avec les activités d’ingénierie qui permettent de prouver qu’elles sont atteintes. En plus d’offrir de la visibilité sur les raisons qui justifient ces attributs et la façon de les obtenir, cet approche intègre la possibilité pour les utilisateurs d’intervenir sur le résultat de ces recommandations, qu’il s’agisse de la nature même des propriétés retenues ou de leur valeur. Si cette liberté est nécessaire du fait des marges d’incertitude qui surviennent parfois lors des phases de spécification, elle est justifiée car l’environnement de confiance n’a pas vocation à être omniscient : il pose des recommandations qui orientent et simplifient la pose du cadre de conception mais n’a pas un rôle prescriptif et seul l’expert doit avoir le contrôle.

C’est ainsi que le programme Confiance.ai se propose d’adresser la problématique de la confiance en l’IA en adoptant une attitude plus nuancée assurant l’adjonction progressive de l’IA dans les processus d’ingénierie existants sans chercher à bouleverser des concepts et des méthodes appliqués depuis des décennies. De premiers déploiements de l’Environnement de Confiance ont ainsi déjà lieu. En effet, disposer au plus tôt du retour d’expérience des partenaires industriels et de leurs équipes d’ingénierie s’inscrit dans la démarche du programme qui se doit d’éviter un effet tunnel aux conséquences potentiellement désastreuses si l’écart entre les contraintes industrielles et les éléments livrés se révélait trop importants. Si une évolution continue est mise à disposition des partenaires du programme, chaque fin d’année marque la livraison d’une nouvelle version qui vient répondre aux objectifs fixés douze mois plus tôt.

[1] The wall of safety for AI: approaches in the Confiance.ai program

[2] Engineering dependable AI Systems

[3] Machine Learning in Certified Systems White Paper Machine Learning in Certified Systems – Archive ouverte HAL (archives-ouvertes.fr)

[4] À noter que la mesure de la confiance envers les systèmes d’IA – et donc la liste des attributs y contribuant – fait actuellement l’objet d’un travail important non seulement au sein du programme Confiance.ai, mais aussi dans le cadre des activités de normalisation de l’IA associées à la proposition de réglementation européenne sur l’IA.