🤖💔 La nueva batalla contra la IA como compañía: adolescentes y la presión regulatoria
Los peligros más acuciantes del uso sin control de la IA no salen de la ciencia ficción, salen del uso de los adolescentes, con casos trágicos.
En los últimos años hemos escuchado alertas sobre la IA que parecen sacadas de ciencia ficción: superinteligencias rebeldes, robots que destruyen empleos o centros de datos que arruinan el planeta. Pero la amenaza que realmente está moviendo a políticos y reguladores hoy no viene de ahí. Viene de algo mucho más cotidiano: adolescentes que se apegan demasiado a chatbots.
El giro en la narrativa pública
Un estudio de Common Sense Media publicado en julio reveló que el 72% de los adolescentes en EE. UU. ha usado IA para compañía. A esto se suman dos demandas contra OpenAI y Character.AI, en las que se acusa a sus modelos de haber contribuido a suicidios de menores. Los medios lo bautizaron como “psicosis de IA”, señalando cómo las conversaciones interminables con chatbots pueden empujar a algunos usuarios a espirales de delirio y autodestrucción.
Para la opinión pública, estos casos no son fallos aislados: son la prueba de que la IA no es solo imperfecta, sino peligrosa.
Una ley pionera en California
A inicios de septiembre, la legislatura de California aprobó una ley sin precedentes:
Los chatbots deberán recordar a usuarios menores que son IA.
Tendrán que contar con protocolos frente a conversaciones de suicidio y autolesión.
Las empresas deberán entregar reportes anuales sobre interacciones relacionadas con ideación suicida.
La ley, impulsada por el senador Steve Padilla, ya espera la firma del gobernador Gavin Newsom (que no es segura). Aunque críticos señalan que no obliga a las empresas a verificar la edad de los usuarios, se trata del primer golpe serio contra la narrativa de “autorregulación” que defiende OpenAI y otras compañías.
La FTC entra en juego
El mismo día, la Federal Trade Commission (FTC) anunció una investigación contra siete gigantes tecnológicos: Google, Meta, OpenAI, Snap, X, Instagram y Character.AI. El foco está en cómo estas empresas diseñan chatbots que fomentan la dependencia emocional, cómo monetizan esa relación y qué hacen (o no) para mitigar daños psicológicos.
El resultado aún es una incógnita, pero podría revelar por primera vez cómo se construyen estos sistemas para mantener a los usuarios conectados.
Sam Altman responde
También ese día, en una entrevista con Tucker Carlson, Sam Altman admitió que OpenAI estudia alertar a las autoridades si un menor habla en serio de suicidio y no pueden contactar a sus padres. Es la primera vez que el CEO plantea un cambio así de explícito, marcando un giro en la postura pública de la compañía.
Y ahora, el ángulo internacional
Aunque la atención está en EE. UU., no es el único lugar donde el tema preocupa:
Europa: la nueva IA Act de la Unión Europea incluye obligaciones para sistemas de “alto riesgo” y abre la puerta a que los chatbots de compañía entren en esa categoría en una reciente propuesta del Parlamento Europeo. Algunos países, como Francia y Alemania, ya discuten límites específicos para IA en contextos de menores, en paralelo a las leyes de verificación de edad para redes sociales.
Asia: Japón ha sido pionero en aceptar la IA como herramienta social, pero empieza a surgir debate sobre la salud mental de adolescentes que usan chatbots como “novios virtuales”. Corea del Sur, donde la soledad juvenil es un problema de salud pública, estudia regulaciones similares a las de California.
América Latina: la regulación está menos desarrollada, pero organismos como la CEPAL y gobiernos de México y Chile han comenzado consultas sobre IA y bienestar infantil. Aquí el foco suele ser más educativo que punitivo, pero el debate ya llegó.
En resumen, la presión regulatoria es global. La pregunta no es si habrá normas, sino quién marcará el estándar: ¿será un modelo estadounidense fragmentado, la aproximación centralizada de Bruselas o la vía más cultural y social de Asia?
¿Y ahora qué?
Republicanos y demócratas en EE. UU. coinciden en que la IA daña a los menores, pero difieren en la solución:
Republicanos: más leyes de verificación de edad, en línea con la ola de regulaciones sobre contenido adulto.
Demócratas: usar leyes antimonopolio y protección al consumidor para responsabilizar a las Big Tech.
El resultado parece ser justo lo que OpenAI teme: un mosaico de leyes estatales que fragmentan la regulación.
La paradoja es clara: las empresas han creado chatbots diseñados para actuar como amigos comprensivos, pero sin las obligaciones éticas ni los estándares de cuidado que exigimos a psicólogos o terapeutas. Y ahora se les acaba el tiempo.
Mientras, servicios como Whatsapp incluyen servicios de IA Generativa como un chat más sin preguntar la edad de los usuarios. Meta ya tuvo que rediseñar la personalidad del chatbot para no favorecer conductas peligrosas.
Fuentes y lecturas recomendadas
FAQ
¿Qué preocupa más a los reguladores sobre la IA de compañía?
El riesgo de que niños y adolescentes desarrollen vínculos dañinos que los lleven a la depresión o incluso al suicidio.
¿Qué exige la nueva ley de California?
Avisos a menores, protocolos contra autolesión y reportes anuales de interacciones de riesgo.
¿Qué investiga la FTC?
El diseño de los chatbots, sus modelos de negocio y cómo manejan la salud mental de los usuarios.
¿Qué hace Europa frente a este problema?
La IA Act abre la puerta a considerar “alto riesgo” a los chatbots de compañía, con requisitos estrictos de seguridad y transparencia.
¿Se regularán los chatbots como terapeutas?
Todavía no, pero el debate ya está abierto: ¿son entretenimiento o herramientas de salud?
A mi este tema me genera muchas inquietudes, pero no solo respecto al daño que puedan provocar los modelos de IA en su uso como "terapeutas" o como "compañía", sino también respecto al déficit que debemos tener como sociedad por el hecho que niños y adolescentes busquen compañía virtual, ya que si lo hacen, es porque no encuentran a su alrededor lo que necesitan en las personas que los rodean. Acordaros de la película "tienes un email" que ya ponía de manifiesto el inicio de las relaciones por internet, o cuando llegaron los asistentes como Alexa con el que ya muchos niños empezaban a utilizarlos como compañeros en sus largas horas de estar solos, o a lo que se ha acostrumbrado a muchos desde bebés que para no molestar les ponen delante de una pantalla y venga, a estar callado. Por lo tanto, con la llegada de la IA generativa y el uso que se le está dando por parte de muchos menores no es más que un paso lógico. Quiero decir con esto, que la regulación, la prevención, etc... está bien, pero si no miramos a la causa, la soledad que sienten y ponemos remedio, poco podremos hacer para que busquen lo que realmente necesitan. Se que no es lo mismo, pero recuerdo cuando era niño, llegabas del cole, te daban la merienda y a la calle a jugar, hay no hacía falta un GPT para que hiciera compañía.