Contratista de crisis para OpenAI, Anthropic considera un movimiento para combatir el extremismo

SÍDNEY, Australia – Las personas que muestren tendencias extremistas violentas en ChatGPT serán dirigidas a apoyo de desradicalización basado en humanos y chatbots a través de una nueva herramienta en desarrollo en Nueva Zelanda, dijeron sus creadores.

La iniciativa es el último intento de abordar las preocupaciones de seguridad ante un número creciente de demandas que acusan a las empresas de IA de no detener, e incluso permitir, la violencia.

OpenAI fue amenazada con intervención por parte del gobierno canadiense en febrero después de revelar que una persona que llevó a cabo un tiroteo mortal en una escuela había sido prohibida en la plataforma sin que se informara a las autoridades.

ThroughLine, una startup contratada en los últimos años por OpenAI, propietaria de ChatGPT, así como por sus rivales Anthropic y Google, para redirigir a los usuarios a apoyo en crisis cuando se detecta que están en riesgo de autolesión, violencia doméstica o un trastorno alimentario, también está explorando formas de ampliar su oferta para incluir la prevención del extremismo violento, dijo su fundador y ex trabajador juvenil Elliot Taylor.

La empresa está en conversaciones con The Christchurch Call, una iniciativa para erradicar el odio en línea formada después del peor ataque terrorista de Nueva Zelanda en 2019, que implicaría que el grupo antiextremismo brinde orientación mientras ThroughLine desarrolla el chatbot de intervención, dijo el ex trabajador juvenil.

"Es algo hacia lo que nos gustaría avanzar y hacer un mejor trabajo cubriendo y luego poder brindar un mejor apoyo a las plataformas", dijo Taylor en una entrevista, agregando que no se ha establecido un plazo.

OpenAI confirmó la relación con ThroughLine pero se negó a hacer más comentarios. Anthropic y Google no respondieron de inmediato a las solicitudes de comentarios.

La empresa de Taylor, que dirige desde su casa en la Nueva Zelanda rural, se ha convertido en una referencia para las empresas de IA con su oferta de una red constantemente verificada de 1.600 líneas de ayuda en 180 países.

Una vez que la IA detecta signos de una posible crisis de salud mental, dirige al usuario a ThroughLine, que los conecta con un servicio dirigido por humanos disponible cerca.

Pero el alcance de ThroughLine se ha limitado a categorías específicas, dijo el fundador. La amplitud de las dificultades de salud mental que las personas revelan en línea ha explotado con la popularidad de los chatbots de IA, y ahora incluye coqueteos con el extremismo, agregó.

Más chatbots, más problemas

La herramienta antiextremismo probablemente sería un modelo híbrido que combina un chatbot entrenado para responder a personas que muestran signos de extremismo y referencias a servicios de salud mental del mundo real, dijo Taylor.

"No estamos usando los datos de entrenamiento de un LLM base", dijo, refiriéndose a los conjuntos de datos genéricos que utilizan las plataformas de modelos de lenguaje grandes para formar texto coherente. "Estamos trabajando con los expertos correctos". La tecnología se está probando actualmente, pero no se ha establecido una fecha para su lanzamiento.

Galen Lamphere-Englund, un asesor antiterrorista que representa a The Christchurch Call, dijo que esperaba implementar el producto para moderadores de foros de juegos y para padres y cuidadores que quieran eliminar el extremismo en línea.

Una herramienta de redirección de chatbot era "una idea buena y necesaria porque reconoce que no es solo el contenido el problema, sino las dinámicas de relación", dijo Henry Fraser, un investigador de IA en la Universidad de Tecnología de Queensland.

El éxito del producto puede depender de preguntas sobre "qué tan buenos son los mecanismos de seguimiento y qué tan buenas son las estructuras y relaciones hacia las que dirigen a las personas para abordar el problema", dijo.

Taylor dijo que las funciones de seguimiento, incluidas posibles alertas a las autoridades sobre usuarios peligrosos, aún estaban por determinarse, pero tendrían en cuenta cualquier riesgo de desencadenar un comportamiento escalado.

Dijo que las personas en dificultades tendían a compartir cosas en línea que les daba demasiada vergüenza decir a una persona, y los gobiernos corrían el riesgo de aumentar el peligro si presionaban a las plataformas para cortar a los usuarios que participaban en conversaciones sensibles.

La moderación intensificada asociada con la militancia por parte de plataformas bajo presión de las fuerzas del orden ha visto a los simpatizantes moverse a alternativas menos reguladas como Telegram, según un estudio de 2025 del Stern Center for Business and Human Rights de la Universidad de Nueva York.

"Si hablas con una IA y revelas la crisis y cierra la conversación, nadie sabe que eso sucedió, y esa persona podría seguir sin apoyo", dijo Taylor. – Rappler.com