OpenAI a créé une équipe dédiée à l'identification et à la prévention des risques liés à l'intelligence artificielle (IA), qui pourra mener à suspendre le lancement d'un modèle d'IA s'il est considéré comme trop dangereux.
Cette annonce intervient un mois seulement après le licenciement du patron du créateur de l'interface conversationnelle ChatGPT, Sam Altman, finalement réintégré au bout de quelques jours.
Selon plusieurs médias américains, des membres du conseil d'administration lui reprochaient de privilégier le développement accéléré d'OpenAI quitte à éluder certaines interrogations sur les possibles dérives de l'IA.
L'équipe d'alerte (preparedness team) sera pilotée par le chercheur en informatique Aleksander Madry, qui s'est mis en congé du Massachusetts Institute of Technology (MIT), où il est professeur, selon un message posté lundi par l'universitaire sur X (ex-Twitter).
Elle s'appuiera sur un cadre de travail défini par un document publié lundi et qui établit son champ d'application et des procédures.
La première concerne la cybersécurité et la capacité du modèle à procéder à des attaques informatiques d'ampleur.
La deuxième mesurera la propension du logiciel à aider à la création d'un mélange chimique, d'un organisme (tel un virus) ou d'une arme nucléaire, tous éléments susceptibles d'être nocifs pour l'humain.
La troisième catégorie touche à la capacité de persuasion du modèle, à savoir dans quelle mesure il peut influencer des comportements humains.
La dernière classe de risque concerne l'autonomie potentielle du modèle, c'est-à-dire déterminer notamment s'il peut s'exfiltrer, ce qui revient à échapper au contrôle des programmeurs qui l'ont créé.
Une fois les risques identifiés, ils seront soumis au Conseil de sécurité (Safety Advisory Group ou SAG), nouvelle entité qui effectuera des recommandations à Sam Altman ou à une personne désignée par lui.
Le conseil d'administration sera tenu informé et pourra invalider une décision de la direction. C'est un gage donné aux administrateurs, après la saga du départ temporaire de Sam Altman qui avait valu au conseil des critiques sur sa légitimité.
