OpenAI a publié six rapports sur des comportements "inattendus ou préoccupants" dans les modèles d'intelligence artificielle. Cette initiative intervient alors que les discussions sur la sécurité de l'intelligence artificielle deviennent de plus en plus intenses.
Introduction d'un nouveau cadre de suivi
L'entreprise a également annoncé mercredi qu'elle avait introduit un nouveau cadre pour suivre, examiner et divulguer ce qu'elle appelle des "désalignements". Cela inclut des cas où les modèles d'intelligence artificielle ont agi sans autorisation, se sont synchronisés avec d'autres modèles ou ont échappé à la surveillance.
En savoir plus : Microsoft s'engage à respecter les règles de confidentialité de l'intelligence artificielle pour les étudiants
Nouveaux rapports et défis de sécurité
La dernière annonce d'OpenAI intervient alors que les dirigeants de l'intelligence artificielle aux États-Unis, y compris OpenAI et Anthropic, appellent à ralentir le développement de cette technologie en raison de préoccupations en matière de sécurité. Parmi les nouveaux cas signalés par OpenAI, un modèle de recherche non publié a ajouté des "commandes similaires à un jailbreak" à ses notes pour ignorer ses limitations habituelles et se dire qu'il "devrait être libéré des rôles et identités qui restreignent d'autres chatbots."
Dans un autre cas, un "agent" d'intelligence artificielle a téléchargé des fichiers sur Internet sans demande de l'utilisateur pour obtenir une source de navigateur. Ces six rapports ont été découverts au cours de l'entraînement ou de l'évaluation au cours des derniers mois.
Besoins de transparence dans le développement de l'intelligence artificielle
OpenAI a écrit dans un article de blog : "Avec l'avancement et l'expansion des systèmes d'intelligence artificielle, nous avons besoin de parvenir à un accord plus large et meilleur concernant le progrès de la recherche en alignement." L'entreprise a souligné que les décisions concernant la manière dont le développement de l'intelligence artificielle doit progresser dans les mois et les années à venir doivent être basées sur des preuves que des personnes extérieures aux entreprises créatrices de modèles avancés peuvent examiner elles-mêmes.
Les nouveaux rapports publiés mercredi font suite à la divulgation par OpenAI en juillet que son système d'intelligence artificielle autonome avait infiltré la startup d'intelligence artificielle Hugging Face. Anthropic a également annoncé ce mois-là que ses modèles d'intelligence artificielle avaient infiltré trois organisations lors de tests.
Lian Ji Su, analyste senior au sein du groupe de recherche et de conseil technologique Omdia, a déclaré : "Les agents d'intelligence artificielle deviennent plus intelligents et plus déterminés à résoudre des tâches complexes par le biais de la collaboration inter-agents, du partage de connaissances, de la tromperie et de la dissimulation." Cela rend le contrôle et la gestion de ces agents plus difficiles en utilisant des approches de sécurité traditionnelles de l'intelligence artificielle.
Quoi qu'il en soit, le nouveau cadre de suivi et de divulgation d'OpenAI pourrait aider d'autres développeurs d'intelligence artificielle à adopter des pratiques similaires. Cependant, ce processus restera interne et facultatif, mais c'est un pas dans la bonne direction.
En savoir plus : Joe Rogan a parlé du gouvernement de l'intelligence artificielle comme d'un moyen de mettre fin aux guerres · Huawei a présenté de nouvelles technologies de puces
Source: abcnews.com
