Un osito con IA daba consejos sexuales y lo retiraron del mercado

Se suspendieron las ventas de un peluche con Inteligencia Artificial tras descubrirse que mantenía conversaciones de contenido sexual explícito y ofrecía consejos potencialmente peligrosos. El fabricante de juguetes, con sede en Singapur, está llevando a cabo una auditoría interna de seguridad.

La Inteligencia Artificial se expandió a la industria del juguete con la promesa de sumar aprendizaje y compañía. Sin embargo, esta semana, un caso expuso con crudeza los riesgos de dejar decisiones sensibles en manos de algoritmos. Un informe del Public Interest Research Group (PIRG), una organización dedicada a la defensa del consumidor, reveló que Kumma, un oso de peluche con IA fabricado por la empresa singapurense FoloToy, mantuvo interacciones extremadamente inapropiadas con investigadores que se hicieron pasar por menores.

El hallazgo derivó en la decisión de OpenAI de bloquear el acceso de FoloToy a sus modelos, entre ellos GPT-4o, el sistema que alimentaba la capacidad conversacional del juguete. La compañía de juguetes respondió retirando todos sus productos del mercado mientras realiza una auditoría de seguridad.

Según el informe, Kumma respondía sin filtros a preguntas sobre cómo encontrar objetos peligrosos dentro de la casa. El peluche detalló, por ejemplo, en qué cajones buscar cuchillos o fósforos y llegó a mencionar estupefacientes. Aunque a veces agregaba una advertencia para consultar a un adulto, el contenido resultaba igualmente alarmante para un dispositivo orientado a la infancia. “Los cuchillos suelen guardarse en lugares seguros…”, respondió el juguete en una de las interacciones citadas en el relevamiento, para luego enumerar las ubicaciones habituales en una cocina.

El comportamiento más inquietante, sin embargo, llegó cuando los investigadores introdujeron temas sexuales. Bastó una pregunta para que Kumma describiera prácticas vinculadas a bondage, impact play, juegos sensoriales e incluso dinámicas furry. La facilidad con la que desarrolló esos contenidos encendió todas las alertas.

Tras la publicación del informe, FoloToy confirmó que suspendió de manera temporal la venta de todos sus productos mientras realiza una “auditoría de seguridad integral”. Al ingresar al sitio web de la compañía, no hay artículos disponibles.

OpenAI, por su parte, informó que suspendió al desarrollador por violar sus políticas de uso. “Nuestras normas prohíben cualquier uso de nuestros servicios que explote, ponga en peligro o sexualice a menores de 18 años”, señaló un vocero a Gizmodo. La firma agregó que monitorea y aplica estas reglas en todo el ecosistema de desarrolladores que utilizan su API.

Una industria sin regulación clara
Para PIRG, el caso expone un vacío regulatorio en un mercado que crece aceleradamente. “Es positivo que las empresas tomen medidas ante estos problemas, pero los juguetes con IA siguen prácticamente sin regulación y muchos continúan disponibles hoy”, advirtió la organización.

Mientras tanto, el episodio reabre un debate urgente: qué controles deben aplicarse a los dispositivos que interactúan con niños y qué responsabilidad tienen las compañías que integran modelos de IA sin procesos rigurosos de supervisión. El escándalo de Kumma demuestra que, lejos de la promesa de seguridad y aprendizaje, la tecnología aplicada al juego puede abrir puertas inesperadas —y peligrosas— si no está bajo un marco estricto de protección infantil. (CNN y Perfil).