Qu'est-ce qui ne va pas avec l'IA des personnages ? Explication des problèmes de sécurité

Écrit par

dans

Résumé rapide : Character AI est confronté à des préoccupations importantes concernant la sécurité du contenu, en particulier pour les utilisateurs adolescents, après des rapports sur des contenus d'automutilation et un filtrage inadéquat. La plateforme a mis en place de nouveaux systèmes de modération, des garde-fous spécifiques à l'âge et des outils de détection améliorés à partir de fin 2024, mais l'examen réglementaire en cours et les plaintes des utilisateurs concernant le filtrage incohérent suggèrent qu'il reste des défis à relever pour équilibrer la liberté de création et la sécurité.

Character AI a connu une popularité fulgurante en tant que plateforme de chatbot compagnon d'IA, attirant des millions d'utilisateurs désireux de créer des personnages d'IA et de discuter avec eux. Mais cette croissance rapide s'est accompagnée de graves problèmes.

La plateforme est aujourd'hui au cœur d'une controverse croissante. Les défenseurs de la sécurité, les régulateurs et les utilisateurs eux-mêmes tirent la sonnette d'alarme sur les défaillances de la modération des contenus, les protections inadéquates pour les jeunes utilisateurs et les risques psychologiques des compagnons de l'IA.

Voici ce qui ne va pas avec l'IA de Character et ce que l'entreprise fait pour y remédier.

Défauts de modération du contenu

Le problème principal ? Le vaste modèle linguistique de l'IA de caractères génère parfois des contenus préjudiciables qui échappent aux filtres de sécurité.

Selon les politiques de la plateforme, Character AI interdit les contenus sexuels non consensuels, les descriptions graphiques d'actes sexuels et la promotion de l'automutilation ou du suicide. L'entreprise utilise des outils automatisés exclusifs pour bloquer les contenus violents avant qu'ils ne soient publiés.

Mais ces outils ne fonctionnent pas de manière cohérente.

Les trois principales catégories d'échecs de modération de contenu signalés par les utilisateurs de Character AI et les chercheurs en sécurité.

Les discussions au sein de la communauté révèlent que les utilisateurs, en particulier les adolescents, rencontrent des personnages qui génèrent des suggestions d'automutilation, de violence graphique ou de contenu sexuel malgré les restrictions d'âge. Les systèmes de détection automatisés ne tiennent pas compte du contexte, échouent dans les cas extrêmes ou sont contournés par des messages-guides créatifs.

Character AI emploie des modérateurs humains qui travaillent 24 heures sur 24 aux côtés d'outils automatisés, mais l'ampleur de la plateforme rend une couverture complète presque impossible.

Préoccupations des adolescents en matière de sécurité

Les enjeux sont nettement plus importants lorsque de jeunes utilisateurs sont impliqués.

À la fin de l'année 2025, Character.AI a mis en œuvre des changements majeurs en matière de sécurité pour les utilisateurs de moins de 18 ans. À partir du 25 novembre 2025, la plateforme a entièrement supprimé les discussions ouvertes pour les mineurs. Les utilisateurs de moins de 18 ans ne peuvent plus s'engager dans des conversations libres avec les personnages de l'IA.

Au lieu de cela, les adolescents sont limités à des fonctions plus sûres et plus structurées telles que la création d'histoires, de vidéos et d'autres outils créatifs guidés. L'entreprise a également introduit :

  • Technologie d'assurance de l'âge (y compris la vérification du selfie)
  • Outils "Parental Insights
  • Limitation de l'utilisation dans le temps
  • Un modèle plus restreint avec des filtres de contenu plus puissants

Ces changements ont été apportés en réponse aux préoccupations croissantes concernant la dépendance émotionnelle, l'exposition à des contenus inappropriés et plusieurs incidents très médiatisés.

Toutefois, les réactions de la communauté restent mitigées. Bien que les restrictions soient beaucoup plus strictes qu'auparavant, certains utilisateurs et parents estiment que la limite entre “l'expression créative sûre” et le contenu potentiellement dangereux n'est pas encore parfaitement respectée. La mise en œuvre continue d'évoluer.

Examen réglementaire et juridique

Les agences gouvernementales en ont pris note.

En septembre 2025, la Federal Trade Commission a adressé des injonctions à sept entreprises de chatbots compagnons de l'IA - dont Character AI - pour leur demander des informations sur les pratiques publicitaires, les mesures de sécurité et le traitement des données. L'agence s'est particulièrement intéressée à la manière dont ces plateformes mesurent, testent et contrôlent les effets potentiellement négatifs sur les utilisateurs.

Cette enquête s'inscrit dans le cadre d'une action plus large de la FTC visant à faire respecter les pratiques commerciales en matière d'IA. Dans le cadre d'actions distinctes menées en 2025 et au début de 2026, la FTC a réglé des affaires impliquant des entreprises d'IA qui donnaient de fausses garanties sur des systèmes commerciaux automatisés. 

Les pratiques de Character AI en matière de données ajoutent une autre source d'inquiétude. Selon les déclarations de confidentialité de la plateforme, l'entreprise partage les identifiants des utilisateurs avec des fournisseurs de publicité, des fournisseurs de modération de contenu, des sociétés d'analyse et des fournisseurs de gestion de données. Pour une plateforme hébergeant des conversations intimes entre les utilisateurs et les personnages d'IA, ce flux de données soulève des questions en matière de protection de la vie privée.

Risques psychologiques et développementaux

Au-delà de la sécurité du contenu, les experts s'inquiètent de la nature fondamentale des relations entre l'IA et ses compagnons.

Une analyse scientifique publiée en juin 2025 dans la revue AI & SOCIETY a examiné l'éthique des applications compagnons, en utilisant Character.ai comme étude de cas. La recherche a mis en évidence la façon dont ces plateformes encouragent l'attachement émotionnel à des entités d'IA - des relations qui manquent de réciprocité, de croissance et d'attention authentique comme les relations humaines.

Pour les esprits en développement, ces pseudo-relations présentent des risques particuliers. Les enfants qui passent de plus en plus de temps en ligne sont déjà confrontés à des taux croissants d'utilisation addictive des médias sociaux, avec des taux passant de 7% en 2018 à 11% en 2022 chez les enfants âgés de 11, 13 et 15 ans dans 44 pays d'Europe, d'Asie centrale et du Canada. Les compagnons d'IA qui fournissent une attention positive et un engagement illimités pourraient accélérer l'isolement des relations dans le monde réel.

Les contextes éducatifs révèlent des préoccupations similaires. Parmi les étudiants interrogés, environ un tiers (35,4%) ont déclaré utiliser régulièrement ChatGPT, tandis que 47% ont exprimé leur inquiétude quant à l'impact de l'IA sur l'éducation.

Quatre principaux domaines de risque affectant les utilisateurs de l'IA de caractère, en particulier les jeunes démographes vulnérables.

Réponse de la plateforme et défis en cours

Character AI n'a pas ignoré ces questions. Les communications officielles de l'entreprise mettent l'accent sur une approche de “sécurité dès la conception”, avec une formation continue de LLM pour faire appliquer les politiques.

Les améliorations récentes comprennent des outils de blocage automatisés améliorés, une capacité de modération humaine élargie et des fonctionnalités de sécurité spécifiques aux adolescents déployées fin 2024. La plateforme dispose d'une équipe dédiée à la confiance et à la sécurité qui possède une expérience dans le domaine de la modération des technologies émergentes.

Mais voilà : ces mesures représentent des améliorations itératives de systèmes qui n'ont déjà pas réussi à prévenir les dommages. Le défi fondamental demeure : trouver un équilibre entre la liberté créative de raconter des histoires dans tous les genres (romance, thriller, mystère) et des limites strictes qui protègent les utilisateurs vulnérables.

Éviter les frustrations habituelles liées à l'IA des personnages

La plupart des plaintes relatives à Character AI proviennent de filtres, d'invites bloquées, de réponses lentes et d'un accès limité à NSFW. Si vous en avez assez de vous heurter aux mêmes restrictions, R34.app vous offre un moyen plus direct d'explorer les contenus marqués, sans interruptions ni résultats cachés.

Naviguer sans problème

Avec R34.app, les choses restent simples :

  • Aucune invite bloquée n'interrompt votre recherche
  • Accès plus rapide sans attente de réponse
  • Navigation plus facile entre les différents thèmes
  • Moins de temps perdu sur des contenus restreints

👉Explore R34.app et éviter les problèmes habituels liés à l'IA des personnages.

Ce que les utilisateurs doivent savoir

Si quelqu'un utilise ou envisage d'utiliser l'IA de caractère, la sensibilisation est importante.

La plateforme n'est pas dangereuse en soi, mais elle comporte des risques réels, en particulier pour les jeunes utilisateurs. Les parents doivent comprendre qu'il existe des dispositifs de sécurité pour les adolescents, mais qu'ils ne sont pas infaillibles. Une surveillance active et des conversations ouvertes sur les interactions en ligne restent essentielles.

Pour les utilisateurs de tout âge, rappelez-vous que les compagnons d'IA n'offrent pas de relations authentiques. Les personnages offrent des réponses scénarisées conçues pour susciter l'intérêt, et non une connexion authentique. Une dépendance excessive à l'égard de ces interactions peut remplacer les véritables relations humaines qui favorisent la santé mentale et le développement.

La confidentialité des données mérite également une attention particulière. Character AI partage des informations sur les utilisateurs avec plusieurs catégories de tiers. Quiconque n'est pas à l'aise avec ce flux de données devrait reconsidérer l'utilisation de la plateforme ou examiner attentivement les paramètres de confidentialité.

Foire aux questions

L'IA de caractère est-elle sans danger pour les adolescents ?

Character AI a mis en place des fonctions de sécurité spécifiques aux adolescents, notamment un filtrage modifié des contenus et des systèmes de détection améliorés à partir de fin 2024. Cependant, les rapports des utilisateurs suggèrent que les contenus nuisibles contournent encore occasionnellement ces protections. La surveillance parentale et une communication ouverte restent essentielles pour les utilisateurs adolescents.

Quels sont les contenus interdits par Character AI ?

Selon les politiques officielles, Character AI interdit les contenus sexuels non consensuels, les descriptions graphiques ou spécifiques d'actes sexuels, ainsi que la promotion ou la représentation de l'automutilation ou du suicide. La plateforme utilise des outils automatisés et des modérateurs humains pour faire respecter ces règles.

Character AI partage-t-elle les données des utilisateurs avec des tiers ?

Oui. Les déclarations de confidentialité de Character AI confirment que la plateforme partage des identifiants d'utilisateurs, des données démographiques et d'autres informations avec des fournisseurs de publicité, des fournisseurs de modération de contenu, des sociétés d'analyse et des fournisseurs de gestion de données.

Les conversations sur l'IA des personnages peuvent-elles créer une dépendance ?

Les recherches indiquent que les enfants sont déjà confrontés à des taux croissants d'utilisation addictive des médias sociaux, qui atteindront 11% en 2022 chez les 11-15 ans. Les compagnons d'IA qui fournissent une attention positive illimitée pourraient renforcer des schémas similaires, en particulier pour les utilisateurs vulnérables à la recherche d'une connexion émotionnelle.

Sur quoi la FTC enquête-t-elle à propos de l'IA des personnages ?

En septembre 2025, la FTC a adressé des injonctions à Character AI et à six autres entreprises de chatbots compagnons de l'IA afin d'obtenir des informations sur les pratiques publicitaires, les mesures de sécurité, le traitement des données et la manière dont ces plateformes mesurent les effets potentiellement négatifs sur les utilisateurs.

Existe-t-il des alternatives à Character AI avec de meilleures caractéristiques de sécurité ?

Il existe plusieurs plateformes de chatbot d'IA, chacune ayant des approches différentes en matière de sécurité. Les familles préoccupées par les problèmes liés à l'IA de caractère devraient rechercher d'autres solutions, tout en reconnaissant que les plateformes d'IA d'accompagnement sont généralement confrontées à des défis similaires en matière de modération du contenu et de risques psychologiques.

Le bilan

Les problèmes de Character AI ne sont pas uniques - ils reflètent des défis plus larges auxquels sont confrontées les plateformes d'IA générative, en particulier celles qui favorisent l'engagement intime des utilisateurs.

La modération de contenu à grande échelle n'est toujours pas résolue. Les systèmes automatisés ne tiennent pas compte du contexte, les modérateurs humains ne peuvent pas tout examiner et les utilisateurs créatifs trouvent des solutions de contournement. Pour les plateformes qui attirent des populations vulnérables comme les adolescents, ces échecs ont des conséquences réelles.

Les récentes améliorations apportées par l'entreprise en matière de sécurité représentent un progrès, mais la surveillance réglementaire et les plaintes des utilisateurs suggèrent qu'il reste encore beaucoup à faire. Toute personne utilisant la plateforme - ou permettant à des enfants de l'utiliser - doit avoir des attentes réalistes quant aux limites de la technologie et aux lacunes de la plateforme en matière de sécurité.

Restez informé, maintenez une surveillance active et donnez la priorité aux relations humaines réelles plutôt qu'à la compagnie de l'IA.