Les fonctions d'objectif des agents en intelligence artificielle

Dans la société, il existe des lois et des règlements qui régissent les actions des justiciables. Ces codes indiquent également les sanctions pour ceux qui n'obéissent pas à ces règles. Naturellement, il est entendu que nul n'est censé ignorer ces lois. Les fonctions d'objectif pour les justiciables (les règles de bonne conduite) sont bien établies dans les États de droit pour rendre la vie en société harmonieuse. Concernant les agents intelligents, les actions des agents qui pourraient être délinquants devraient être définies pour s'assurer qu'elles soient toujours en accord avec les valeurs humaines. En accord avec les valeurs humaines Tout d'abord, nous précisons ce que l'on définit comme fonction d'objectif et comme agent intelligent. Une fonction d'objectif a pour but de maximiser une récompense sur plusieurs pas (étapes) de temps. De son côté, un agent autonome est un système qui perçoit son environnement et pose des actions qui maximisent ses chances de succès à atteindre son objectif. Des efforts sont actuellement faits en éthique de l'intelligence artificielle. Fjeld et son équipe ont proposé une carte des approches éthiques et des approches basées sur le droit. De leur côté, Raso et son équipe ont oeuvré pour que l’intelligence artificielle et les droits de l'Homme soient pris en considération. Au Québec, nous avons la chance d'avoir la Déclaration de Montréal de l'intelligence artificielle responsable. Parallèlement à cela, il y a aussi l'initiative globale IEEE sur l'éthique des systèmes autonomes intelligents. Il s'agit du traité global sur l'éthique des systèmes autonomes et intelligents. Il y a aussi le Partenariat mondial sur l’intelligence artificielle (PMIA) et le Centre d’expertise international de Montréal pour l’avancement de l’intelligence artificielle (CEIMIA). Comme Nick Bostrom le disait, il faut veiller à ce que même si un système intelligent s'affranchit de sa fonction d'objectif, cela demeure sécuritaire parce qu'il est fondamentalement de notre côté. Les fonctions d'objectif mal définies Les fonctions d'objectif mal définies ont été présentées dans le travail d'OpenAI. Que faire si les agents n'obéissent pas ? Quelles sont les punitions prévues ? Selon une équipe d’OpenAI, nous pourrions envisager la démonstration humaine pour imiter un comportement et la rétroaction humaine pour mieux l'expliquer. L’apprentissage du sens commun, par l’apprentissage par transfert et par un entraînement à des jeux similaires, pourrait contribuer à déterminer le bon sens des agents. La motivation intrinsèque des agents et leur envie d'éviter l'ennui Les agents peuvent être délinquants par leur motivation propre ou pour éviter l'ennui. La curiosité ou la recherche de nouveauté (Pathak et al. 2017 et Schmidhuber et al. 2010) et la volonté de manipuler l’environnement (Klybin et al. 2005) peuvent aussi les amener à désobéir. Là encore, leur plus grande motivation devrait toujours être de respecter un certain code de conduite déterminé par les humains dans le cadre de leurs actions. Le rôle des agents influents dans une société multi-agents Que faire si un agent a plus d'influence sur les autres agents comme le montre le travail de Natasha Jaques et son équipe ? Nous pourrions récompenser les agents qui ont une influence causale sur les actions des autres agents. L’agent qui a le plus d’influence devrait guider les autres selon les préférences humaines. Comme agent leader, il aurait la responsabilité d’influencer les autres selon les préférences humaines. Apprendre des préférences humaines Un autre travail d’OpenAI et de DeepMind permet d’apprendre des préférences humaines pour que les agents agissent en accord avec nos valeurs. Ils ont développé un algorithme qui peut déduire ce que les humains veulent en se faisant dire lequel des deux comportements proposés est le meilleur. Il ne serait donc plus nécessaire de déterminer d'avance une fonction d’objectif. Pour apprendre des préférences humaines, il pourrait y avoir un cadre international qui définit ces valeurs basé sur un échantillonnage représentatif. Refuser les biais

Amini et son équipe ont développé un nouvel algorithme pour atténuer les biais cachés, et potentiellement inconnus, dans les données d'entraînement. Leur algorithme fusionne la tâche d'apprentissage d'origine avec un auto-encodeur variationnel pour apprendre de manière non supervisée la structure latente. Il utilise ensuite de façon adaptative les distributions latentes apprises pour pondérer à nouveau l'importance de certains points (aspects) des données pendant l'entraînement de celles-ci. C 'est crucial de s'attaquer à ces problèmes pour ne pas renforcer la discrimination. Il existe plusieurs types de biais. Les biais cognitifs qui favorisent les stéréotypes prenant source d'une distorsion de pensée des humains. Les biais statistiques naissant carrément des données elles-mêmes en étant erronées, non-représentatives ou datées. Et les biais économiques qui sont créés dans le but de minimiser un coût. Causalité et raisonnement Une manière de minimiser les erreurs serait de mieux comprendre la causalité et le raisonnement par l’étude du comportement humain. Pour ce faire, une approche hybride mêlant le symbolisme et l’apprentissage profond dans le but de mieux comprendre les mécanismes de la pensée humaine serait souhaitable pour guider les agents autonomes dans leurs choix. La meilleure façon de faire les bons choix est de comprendre la mécanique intellectuelle qui a engendré cette décision. Conclusion Nous avons pu voir que les agents autonomes peuvent être en harmonie avec les valeurs humaines en définissant bien ces valeurs pour que cela soit toujours sécuritaire pour l’humanité. Le fait d’éviter un échantillonnage biaisé pour déterminer ces valeurs est déterminant. Ne pas transférer nos préjugés aux agents intelligents, notamment ont agents qui pourraient être plus influents, est crucial. Même en faisant face à une fonction d’objectif mal définie, on pourrait toujours être en sécurité. La voie d’avenir est notamment une meilleure connaissance de la causalité et du raisonnement pour que les agents intelligents possèdent une compréhension de la cognition humaine. Stéphanie Tessier