Riepilogo rapido: Character AI deve affrontare notevoli preoccupazioni sulla sicurezza dei contenuti, in particolare per gli utenti adolescenti, dopo le segnalazioni di contenuti autolesionistici e di un filtraggio inadeguato. La piattaforma ha implementato nuovi sistemi di moderazione, guardrail specifici per l'età e strumenti di rilevamento migliorati a partire dalla fine del 2024, ma il continuo controllo normativo e le lamentele degli utenti per l'incoerenza del filtraggio suggeriscono che rimangono delle sfide nel bilanciare la libertà creativa con la sicurezza.
Character AI ha raggiunto la popolarità come piattaforma di chatbot leader nel settore dell'intelligenza artificiale, attirando milioni di utenti che volevano creare e chattare con personaggi AI. Ma la rapida crescita ha comportato seri problemi.
La piattaforma è ora al centro di crescenti controversie. I sostenitori della sicurezza, le autorità di regolamentazione e gli stessi utenti stanno sollevando un allarme per le carenze nella moderazione dei contenuti, le protezioni inadeguate per i giovani utenti e i rischi psicologici della compagnia dell'intelligenza artificiale.
Ecco cosa non va nell'intelligenza artificiale di Character e cosa sta facendo l'azienda.
Fallimenti nella moderazione dei contenuti
Il problema principale? L'ampio modello linguistico di Character AI a volte genera contenuti dannosi che sfuggono ai filtri di sicurezza.
Secondo le politiche della piattaforma, Character AI vieta i contenuti sessuali non consensuali, le descrizioni grafiche di atti sessuali e la promozione dell'autolesionismo o del suicidio. L'azienda utilizza strumenti automatici proprietari per bloccare i contenuti che violano il divieto prima che vengano pubblicati.
Ma questi strumenti non funzionano in modo coerente.
Le tre principali categorie di errori di moderazione dei contenuti segnalate dagli utenti di Character AI e dai ricercatori sulla sicurezza.
Le discussioni della comunità rivelano che gli utenti, soprattutto gli adolescenti, incontrano personaggi che generano suggerimenti di autolesionismo, violenza grafica o contenuti sessuali nonostante le restrizioni di età. I sistemi di rilevamento automatico non tengono conto del contesto, falliscono nei casi limite o vengono aggirati da richieste creative.
Character AI impiega moderatori umani che lavorano 24 ore su 24 insieme a strumenti automatizzati, ma le dimensioni della piattaforma rendono quasi impossibile una copertura completa.
Preoccupazioni per la sicurezza degli adolescenti
La posta in gioco è molto più alta quando sono coinvolti giovani utenti.
Alla fine del 2025, Character.AI ha implementato importanti modifiche alla sicurezza per gli utenti di età inferiore ai 18 anni. A partire dal 25 novembre 2025, la piattaforma ha eliminato completamente la chat aperta per i minori. Gli utenti di età inferiore ai 18 anni non possono più impegnarsi in conversazioni libere con i personaggi dell'IA.
Gli adolescenti sono invece limitati a funzioni più sicure e strutturate, come la creazione di storie, video e altri strumenti creativi guidati. L'azienda ha anche introdotto:
- Tecnologia di garanzia dell'età (compresa la verifica dei selfie)
- Strumenti di Parental Insights
- Limiti di tempo per l'utilizzo
- Un modello più ristretto con filtri di contenuto più forti
Queste modifiche sono state apportate in risposta alle crescenti preoccupazioni sulla dipendenza emotiva, sull'esposizione a contenuti inappropriati e su diversi incidenti di alto profilo.
Tuttavia, i commenti della comunità sono contrastanti. Sebbene le restrizioni siano molto più severe rispetto al passato, alcuni utenti e genitori sostengono che la linea di demarcazione tra “espressione creativa sicura” e contenuti potenzialmente dannosi non sia ancora perfettamente rispettata. L'implementazione continua ad evolversi.
Controllo normativo e legale
Le agenzie governative ne hanno preso atto.
Nel settembre 2025, la Federal Trade Commission ha emesso ordini a sette società di chatbot di IA, tra cui Caracter AI, richiedendo informazioni sulle pratiche pubblicitarie, sulle misure di sicurezza e sul trattamento dei dati. L'agenzia si è concentrata in particolare su come queste piattaforme misurano, testano e monitorano gli impatti potenzialmente negativi sugli utenti.
L'indagine rientra nell'ambito di una più ampia attività di enforcement della FTC sulle pratiche commerciali dell'IA. In azioni separate che si sono protratte fino al 2025 e all'inizio del 2026, la FTC ha risolto casi che coinvolgevano aziende di IA che fornivano false garanzie sui sistemi aziendali automatizzati.
Le pratiche di Character AI in materia di dati aggiungono un ulteriore livello di preoccupazione. Secondo le informazioni sulla privacy della piattaforma, l'azienda condivide gli identificatori degli utenti con fornitori di pubblicità, fornitori di moderazione dei contenuti, società di analisi e fornitori di gestione dei dati. Per una piattaforma che ospita conversazioni intime tra utenti e personaggi AI, questo flusso di dati solleva questioni di privacy.
Rischi psicologici e di sviluppo
Al di là della sicurezza dei contenuti, gli esperti si preoccupano della natura fondamentale delle relazioni tra AI e compagni.
Un'analisi accademica pubblicata nel giugno 2025 sulla rivista AI & SOCIETY ha esaminato l'etica delle companion app, utilizzando Character.ai come caso di studio. La ricerca ha evidenziato come queste piattaforme incoraggino l'attaccamento emotivo alle entità AI, relazioni che mancano della reciprocità, della crescita e della cura genuina delle connessioni umane.
Per le menti in via di sviluppo, queste pseudo-relazioni presentano rischi particolari. I bambini che passano più tempo online devono già affrontare tassi crescenti di dipendenza dai social media, con tassi in aumento da 7% nel 2018 a 11% nel 2022 tra i bambini di 11, 13 e 15 anni in 44 Paesi in Europa, Asia centrale e Canada. I compagni di intelligenza artificiale che forniscono un'attenzione e un impegno positivi illimitati potrebbero accelerare l'isolamento dalle relazioni del mondo reale.
I contesti educativi mostrano preoccupazioni simili. Tra gli studenti intervistati, circa un terzo (35,4%) ha dichiarato di utilizzare regolarmente ChatGPT, mentre 47% hanno espresso preoccupazione per l'impatto dell'IA nell'istruzione.
Risposta della piattaforma e sfide in corso
Character AI non ha ignorato questi problemi. Le comunicazioni ufficiali dell'azienda sottolineano un approccio “safety-by-design” con una formazione continua dei LLM per far rispettare le politiche.
I recenti miglioramenti includono strumenti di blocco automatico potenziati, una maggiore capacità di moderazione umana e le funzioni di sicurezza specifiche per gli adolescenti che verranno introdotte alla fine del 2024. La piattaforma si avvale di un team dedicato alla fiducia e alla sicurezza con esperienza nel settore della moderazione delle tecnologie emergenti.
Ma il punto è che queste misure rappresentano miglioramenti iterativi di sistemi che hanno già fallito nel prevenire i danni. La sfida fondamentale rimane: bilanciare la libertà creativa di narrazione tra i vari generi (romanzo, thriller, mistero) con confini rigidi che proteggano gli utenti più vulnerabili.
Saltare le solite frustrazioni dell'intelligenza artificiale dei personaggi
Molte lamentele di Character AI derivano da filtri, richieste bloccate, risposte lente e accesso limitato a NSFW. Se siete stanchi di imbattervi nelle stesse restrizioni, R34.app vi offre un modo più diretto per esplorare i contenuti taggati senza interruzioni o risultati nascosti.
Sfogliare senza problemi
Con R34.app, le cose rimangono semplici:
- Nessun messaggio di blocco che interrompa la ricerca
- Accesso più rapido senza attese di risposta
- Navigazione più semplice tra i diversi temi
- Meno tempo sprecato per contenuti limitati
👉Esplora R34.app e saltare i soliti problemi di IA dei personaggi.
Cosa devono sapere gli utenti
Se qualcuno usa l'IA dei personaggi o ci sta pensando, la consapevolezza è importante.
La piattaforma non è intrinsecamente pericolosa, ma comporta rischi reali, soprattutto per gli utenti più giovani. I genitori devono capire che le funzioni di sicurezza per gli adolescenti esistono, ma non sono infallibili. Il monitoraggio attivo e le conversazioni aperte sulle interazioni online rimangono essenziali.
Per gli utenti di qualsiasi età, ricordate che i compagni dell'intelligenza artificiale non offrono relazioni autentiche. I personaggi offrono risposte programmate per coinvolgere, non una connessione autentica. L'eccessivo affidamento a queste interazioni può sostituire le relazioni umane reali che favoriscono la salute mentale e lo sviluppo.
Anche la privacy dei dati merita attenzione. Character AI condivide le informazioni degli utenti con diverse categorie di terzi. Chi non si sente a proprio agio con questo flusso di dati dovrebbe riconsiderare l'uso della piattaforma o rivedere attentamente le impostazioni sulla privacy.
Domande frequenti
L'intelligenza artificiale dei personaggi è sicura per gli adolescenti?
A partire dalla fine del 2024, Character AI ha implementato funzioni di sicurezza specifiche per gli adolescenti, tra cui un filtro dei contenuti modificato e sistemi di rilevamento potenziati. Tuttavia, secondo le segnalazioni degli utenti, i contenuti dannosi continuano a eludere queste protezioni. La supervisione dei genitori e la comunicazione aperta restano fondamentali per gli utenti adolescenti.
Quali contenuti vieta l'IA del personaggio?
Secondo le politiche ufficiali, Character AI vieta contenuti sessuali non consensuali, descrizioni grafiche o specifiche di atti sessuali e la promozione o la rappresentazione di atti di autolesionismo o suicidio. La piattaforma utilizza strumenti automatici e moderatori umani per far rispettare queste regole.
Character AI condivide i dati degli utenti con terze parti?
Sì. Le informazioni sulla privacy di Character AI confermano che la piattaforma condivide gli identificatori degli utenti, i dati demografici e altre informazioni con fornitori di pubblicità, fornitori di moderazione dei contenuti, società di analisi e fornitori di gestione dei dati.
Le conversazioni di Character AI possono creare dipendenza?
Le ricerche indicano che i bambini devono già affrontare tassi crescenti di dipendenza dai social media, che raggiungeranno il 11% nel 2022 tra i ragazzi di età compresa tra gli 11 e i 15 anni. I compagni di intelligenza artificiale che forniscono un'attenzione positiva illimitata potrebbero rafforzare modelli simili, in particolare per gli utenti vulnerabili che cercano una connessione emotiva.
Su cosa sta indagando la FTC in merito all'intelligenza artificiale dei personaggi?
Nel settembre del 2025, la FTC ha emesso ordini a Character AI e ad altre sei società di chatbot di accompagnamento all'intelligenza artificiale, chiedendo informazioni sulle pratiche pubblicitarie, sulle misure di sicurezza, sul trattamento dei dati e su come queste piattaforme misurano gli impatti potenzialmente negativi sugli utenti.
Esistono alternative a Character AI con migliori caratteristiche di sicurezza?
Esistono diverse piattaforme di chatbot AI, ognuna con approcci diversi alla sicurezza. Le famiglie preoccupate per i problemi dell'intelligenza artificiale dovrebbero cercare alternative, ma riconoscere che le piattaforme di accompagnamento dell'intelligenza artificiale devono generalmente affrontare sfide simili di moderazione dei contenuti e di rischio psicologico.
Il bilancio
I problemi di Character AI non sono unici: riflettono le sfide più ampie che le piattaforme di IA generativa devono affrontare, in particolare quelle che favoriscono il coinvolgimento degli utenti.
La moderazione dei contenuti su scala rimane irrisolta. I sistemi automatizzati non sono in grado di analizzare il contesto, i moderatori umani non riescono a controllare tutto e gli utenti creativi trovano dei rimedi. Per le piattaforme che attirano popolazioni vulnerabili come gli adolescenti, questi fallimenti comportano conseguenze reali.
I recenti miglioramenti apportati dall'azienda in materia di sicurezza rappresentano dei passi avanti, ma il controllo normativo e le continue lamentele degli utenti indicano che c'è ancora molto da fare. Chiunque utilizzi la piattaforma - o ne consenta l'uso ai bambini - dovrebbe affrontare il problema con aspettative realistiche sia sui limiti della tecnologia sia sulle lacune della piattaforma in termini di sicurezza.
Rimanete informati, mantenete una supervisione attiva e date la priorità ai legami umani reali piuttosto che alla compagnia dell'intelligenza artificiale.