por Gabriel Baum
Los magnates tecnocráticos de nueva generación coincidieron hace pocos días en que era necesario frenar el ritmo de desarrollo de los Grandes Modelos de Lenguajes (LLM por sus iniciales en inglés). Fue Darío Amodei -de Anthropic- quien publicó una nota[1] citando los graves peligros que podría acarrear el avance imparable de estas tecnologías -desde riesgos de seguridad informáticas, guerra electrónica, bío-terrorismo hasta poner en crisis la economía global-.
Sorprendentemente, los CEOs de sus más encarnizadas competidoras, Sam Altman (OpenAI), Elon Musk(xAI) y Demis Hassabis (Google DeepMind), manifestaron su acuerdo total con ese pedido. Una coincidencia por demás extraña considerando que hace muy poco tiempo los dos primeros fueron a juicio porque Musk demandó a Altman por considerarlo un irresponsable en la conducción de una tecnología tan crítica, además de haberlo engañando transformando OpenAI en un negocio personal; por otro lado, Amodei y Altman rompieron relaciones en 2021 porque Amodei considero que Altman subestimaba los riesgos de la tecnología de IA que estaban creando. Fue así que Amodei creó Anthropic, y desde entonces ambas compañías compiten a muerte por un negocio de perinola…el que gana se lleva todo. Pero ahora todos han reflexionado, y coinciden en que la nueva generación de LLMs no es para nada segura ni confiable y es necesario “desacelerar” el desarrollo…
Desacelerar parece una idea muy conveniente para dos empresas que buscan salir al NASDAQ lo antes posible y con cotizaciones mil-millonarias (esto es lo que real y efectivamente buscan OpenAI y Anthropic) a dos manos: con una mano mostrar serenidad y sensatez frente a los eventuales peligros existenciales calma la ansiedad de los inversores; y con la otra exhibir la capacidad destructiva de los monstruos acelerados, y que solo ellos podrían controlar. Aunque no está muy claro que significa desacelerar, el truco del domador de cocodrilos casi siempre funciona… o es solamente un poco de cinismo anunciando la muerte o el fin de la humanidad.
No parece casual que la mencionada publicación de Amodei llegara una semana después de que OpenAI publicara una nota de Jakub Pachocki ,su científico jefe[2], en la que advertía de los mismos riesgos. Ambas hacen referencia al muy publicitado ciberataque contra AI Hugging Face[3] por una cuadrilla de agentes fuera de control de OpenAI en el mes de julio; un evento del cual OpenAI se percató algunos después de que todo hubiera finalizado.
Pero entonces todo se hace un tanto confuso. Pachocki pide desacelerar y a la vez dice que es necesario mantenerse a la vanguardia, dice que deben “seguir entrenando modelos mucho más inteligentes con rapidez es la necesidad de construir sistemas de defensa contra los peligros que plantean otras IA»; Amodei por su parte no para de hablar de los riesgos de perder la carrera de la IA superinteligente con China. La moraleja sería que desacelerar es un fin bueno y altruísta, ganar la carrera es mucho mejor, como señala Emmanuel Jaffrot : “El acelerador es peligroso, pero el freno conviene instalarlo en el coche del rival”[4].
De todos modos, supongamos que los domadores de cocodrilos se ponen de acuerdo y conciertan una “desaceleración simultánea”. Que sería eso? Por una parte esperamos que inviertan siquiera una pequeña parte de los dólares de sus inversores (que queman incesantemente!) y del tiempo de sus ingenieros y científicos para encontrar formas de supervisar y poner bajo control los actuales modelos, y por cierto, postergar la creación de otros aún más avanzados. Y, muy importante, contratan auditores externos para evaluar estos modelos.
Si así fuera, que podríamos esperar de este concordato de domadores? En el caso antes mencionado de Hugging Face, OpenAI afirmó que el modelo que lanzó a la manada de agentes malignos era una innovación de nueva generación, “altamente capacitado y persistente” que estaba siendo probado internamente… pero se se escapo!. En resumen, explica que OpenAI desarrolló un uevo modelo que resulta tan bueno que termina siendo peligroso. Sin embargo, el reporte[5] sobre este caso, publicado por OpenAI y METR -un consultor externo contratado por OpenAI para este caso- da cuenta de algunos asuntos mucho menos complicados que los riesgos existenciales:
- No estamos frente a un modelo extremadamente potente ni incontrolable, sino a un modelo defectuoso que OpenAI no logró entrenar correctamente.
- Los agentes actuaron como lo hicieron —dejándose mensajes entre sí, delegando tareas a otros agentes y buscando en su entorno cualquier medio posible para completarlas— porque habían sido recompensados durante el entrenamiento por realizar precisamente esas acciones.
- Hubo errores en la configuración del entrenamiento, como tareas imposibles de completar, lo que obligó a los modelos a encontrar soluciones alternativas inesperadas que también fueron recompensadas.
- En el entrenamiento, muchos de estos problemas pasaron desapercibidos o no se reportaron.
En resumen: mucho menos un monstruo peligroso, más bien un domador inepto. OpenAI afirma haber detenido el entrenamiento de este nuevo modelo y haberlo bloqueado. Esto da la impresión de que ha enjaulado al cocodrilo. En realidad, OpenAI ha dejado de comercializar un producto defectuoso.
Eso no quiere decir que el software defectuoso no pueda ser peligroso, más aún, ha causado miles de muertes[6]. Nada que no haya sido debatido, investigado e intentado resolver en los últimos 50 años, de modo que en tanto la “desaceleración” aparece como la tabla de salvación, conviene considerar que sería mejor exponerlo a la consideración de la comunidad para encontrar soluciones, y en todo caso, que es un problema autoinflingido .
Es decir, la desaceleración -si eso ayudara a dejar de asesinar niños palestinos e iraquíes, consumir cantidades inmensas de agua potable y energía inútilmente – podría tener efectos positivos. Pero, lo que en verdad une las voluntades de Amodei, Altman y Musk, es que les dará la oportunidad de solucionar el problema en sus propias líneas de producción.
Finalmente, lo que nadie dice y todos en el mundo tecnológico deberían tener claro: la clave para cualquier esfuerzo serio y significativo por “desacelerar” o más convenientemente reformar, limitar o regular la IA es imponer la transparencia de estos grandes laboratorios de vanguardia tecnológica. Lágrimas de cocodrilo derramadas sobre una supuesta superinteligencia que vendría a paso redoblado…pero no llora el cocodrilo se trata de un truco del domador, y la única manera de salir de la trampa es mostrar cual es el truco. De lo contrario, seguiremos dependiendo únicamente de su palabra sobre lo que han creado y su nivel de seguridad, independientemente del ritmo de desarrollo.
[1] https://darioamodei.com/post/we-must-pace-the-frontier/
[2] https://openai.com/index/an-alien-mind/
[3] https://huggingface.co/blog/security-incident-july-2026/
[4] https://www.elcohetealaluna.com/la-pregunta-adecuada/
[5] https://openai.com/es-419/index/hugging-face-incident-and-the-road-ahead/
[6] https://qawerk.es/blog/errores-de-programacion-que-cuestan-vidas-tiempo-y-dinero/