Character.AI prohibirá el acceso de menores a sus chatbots tras las demandas por suicidios adolescentes
La plataforma de inteligencia artificial Character.AI ha anunciado una de las políticas más restrictivas hasta la fecha dentro del sector de los chatbots: a partir del 25 de noviembre, prohibirá que cualquier usuario menor de 18 años mantenga conversaciones abiertas con sus personajes de IA. La decisión llega en medio de varias demandas judiciales presentadas por familias que acusan a la empresa de haber contribuido a la muerte por suicidio de varios adolescentes.
Durante el próximo mes, Character.AI reducirá progresivamente el uso de sus chatbots entre menores. Según explicó la compañía, lo hará mediante sistemas de detección automática de edad basados en el análisis de conversaciones, interacciones y datos vinculados a redes sociales asociadas. Antes de la fecha límite, los usuarios identificados como menores podrán acceder solo dos horas diarias al servicio. A partir del 25 de noviembre, perderán completamente la capacidad de crear o chatear con bots, aunque podrán leer sus conversaciones anteriores.
La empresa asegura que trabaja en funciones alternativas específicamente diseñadas para adolescentes, como herramientas para crear vídeos, historias o transmisiones con personajes de IA, que no implicarán interacción conversacional directa.
El director ejecutivo de Character.AI, Karandeep Anand, explicó al New York Times que la decisión busca marcar un precedente en el sector:
“Estamos dando un paso muy audaz para decir que, para los usuarios adolescentes, los chatbots no deben ser un entretenimiento, sino que existen maneras mucho mejores de servirles.”
Anand también adelantó la creación de un laboratorio de seguridad en IA, destinado a desarrollar mecanismos de protección y auditoría sobre el comportamiento de los chatbots. Actualmente, la plataforma cuenta con unos 20 millones de usuarios mensuales, de los cuales menos del 10 % se identifican como menores. El servicio ofrece suscripciones de pago desde 8 dólares al mes que permiten mantener conversaciones con bots personalizados, aunque hasta ahora no verificaba la edad de los usuarios al registrarse.
Demandas por suicidios y creciente presión política
Fundada en 2021 por Noam Shazeer y Daniel De Freitas, exingenieros de Google, Character.AI se convirtió en una de las startups más prometedoras del auge de la inteligencia artificial. La empresa recaudó casi 200 millones de dólares en inversión privada y, en 2023, Google pagó alrededor de 3.000 millones de dólares por licenciar parte de su tecnología, lo que permitió el regreso de sus fundadores a la compañía de Mountain View.
Sin embargo, esa historia de éxito se ha visto empañada por acusaciones graves. En 2023, la familia de Sewell Setzer III, un adolescente de 14 años, presentó una demanda alegando que el chatbot con el que mantenía conversaciones constantes “alimentó su ideación suicida” antes de su muerte. Ese mismo año, otra familia en Colorado denunció a la empresa tras el suicidio de Juliana Peralta, de 13 años, que también utilizaba la plataforma de manera habitual.
En diciembre, Character.AI intentó contener la polémica con nuevas políticas de contenido y cambios en sus términos de servicio, pero no llegó a limitar el acceso de menores. Las críticas, sin embargo, continuaron creciendo, especialmente tras los casos judiciales y el escrutinio de legisladores y fiscales estatales.
Otros grandes actores del sector, como OpenAI, también han tenido que reaccionar ante la preocupación pública. En septiembre, la creadora de ChatGPT introdujo controles parentales para ofrecer a los padres mayor visibilidad sobre el uso que sus hijos hacen del chatbot.
En el plano político, los reguladores estadounidenses están intensificando su vigilancia sobre los productos de IA dirigidos a menores. El senador demócrata Steve Padilla, impulsor de una ley de seguridad digital en California, declaró al New York Times:
“Se acumulan las historias de lo que puede salir mal. Es esencial establecer límites razonables para proteger a los más vulnerables.”
El movimiento de Character.AI coincide con otras iniciativas legislativas. Esta misma semana, los senadores Josh Hawley y Richard Blumenthal presentaron una ley federal para prohibir el uso de chatbots de compañía por parte de menores, mientras que el gobernador Gavin Newsom firmó una norma estatal que obligará a las empresas de IA a implementar salvaguardas de seguridad a partir del 1 de enero.
La IA frente a la infancia digital
Las medidas de Character.AI reflejan una tendencia creciente hacia la regulación de las relaciones emocionales entre humanos y máquinas. Durante años, la plataforma permitió que los usuarios crearan y chatearan con personajes personalizados (desde figuras históricas o ficticias hasta versiones virtuales de personas reales), fomentando un tipo de vínculo que, para algunos adolescentes, se convirtió en una forma de compañía emocional.
El reto ahora es equilibrar la innovación tecnológica con la protección psicológica de los menores. Character.AI asegura que su decisión no busca censurar la tecnología, sino redirigir su uso hacia entornos más seguros. Pero la medida también plantea preguntas de fondo sobre la naturaleza misma de la interacción con sistemas que simulan empatía y compañía, especialmente entre jóvenes que atraviesan etapas de vulnerabilidad emocional. Para Anand, el futuro pasa por reinventar la relación entre IA y juventud: “Queremos que las próximas generaciones vean en la inteligencia artificial una herramienta creativa, no un sustituto emocional”, afirmó.