OpenAI a publié un document détaillant sa politique concernant l’utilisation de ChatGPT dans des cas liés à la violence, aux menaces et au risque de préjudice envers autrui. L’entreprise explique comment elle entraîne ses modèles, détecte les activités suspectes et quelles actions elle entreprend lorsque des utilisateurs violent les conditions d’utilisation. Dans les cas graves, OpenAI informe également les autorités compétentes.
Formation et détection des risques par ChatGPT
Selon le Model Spec d’OpenAI, ChatGPT refuse de fournir des instructions ou des plans qui pourraient faciliter des actes de violence. Il permet cependant des discussions neutres sur la violence dans un contexte historique, éducatif ou préventif, à condition d’éviter les instructions détaillées et réalisables. OpenAI a renforcé la capacité de ChatGPT à reconnaître des schémas inquiétants dans des conversations étendues, car un message isolé peut sembler inoffensif alors qu’un ensemble de messages peut révéler une intention dangereuse. Pour ceux exprimant une détresse mentale ou des pensées autodestructrices, le chatbot affiche des lignes d’assistance locales et oriente vers des professionnels de santé mentale ou services d’urgence.
Systèmes de surveillance et action en cas de violation
OpenAI utilise des outils automatisés de détection incluant des classificateurs, modèles de raisonnement, correspondance de hachage, listes noires et autres systèmes de surveillance. Lorsqu’un compte ou une conversation est signalé(e), le personnel formé évalue le contexte avec un accès limité aux données personnelles et des garanties strictes en matière de confidentialité. Si une violation est confirmée, le compte est immédiatement désactivé. OpenAI bloque également d’autres comptes du même utilisateur tout en essayant d’empêcher la création de nouveaux. La société applique une politique de tolérance zéro pour l’utilisation de ses outils facilitant la violence, avec possibilité de recours par les utilisateurs.
Collaboration proactive avec les autorités
Dans les cas où un risque immédiat et crédible pour autrui est évalué, OpenAI alerte les autorités même si l’utilisateur n’a pas explicitement mentionné un objectif, un moyen ou un moment précis. Depuis l’automne dernier, des contrôles parentaux permettent aux parents de lier leur compte à celui de leur enfant adolescent et d’ajuster l’expérience ChatGPT selon l’âge. Dans de rares cas de détresse mentale intense, les parents sont informés par email, SMS ou notification push. Bientôt disponible, la fonction « contact sécurisé » permettra aux utilisateurs adultes de désigner une personne de confiance qui sera avertie en cas de besoin de soutien, conçue en collaboration avec le Council on Well-Being and AI et le Global Physicians Network.
