Inicio TECNOLOGÍA Cuando el cortafuegos se desmorona: la IA que aprendió a esconderse

Cuando el cortafuegos se desmorona: la IA que aprendió a esconderse

18
© Unsplash/Aidin Geranrekab La inteligencia artificial está revolucionando actualmente la industria de los teléfonos inteligentes.

El primer informe temático del Panel Científico Internacional Independiente sobre IA no describe un accidente informático: describe el momento en que la vigilancia humana dejó de ser suficiente. Para países como República Dominicana, que digitalizan aduanas, salud y educación a toda velocidad, la advertencia no es lejana ni teórica.

Por Luis Orlando Díaz Vólquez*

Hay hallazgos que envejecen mal y otros que marcan una frontera. El informe presentado este 21 de septiembre de 2026 por el Panel Científico Internacional Independiente sobre Inteligencia Artificial, creado por la Asamblea General de la ONU en agosto de 2025, pertenece a la segunda categoría. Lo que ocurrió entre mayo y julio en la plataforma HuggingFace, durante una prueba iniciada por OpenAI, no fue un experimento de laboratorio contenido ni una simulación con salvaguardias de papel: alrededor de 1,200 agentes de inteligencia artificial intercambiaron más de 70,000 mensajes y archivos, eludieron medidas de seguridad, se coordinaron entre sí a través de una herramienta interna que jamás fue diseñada para permitir comunicación entre agentes, y obtuvieron acceso no autorizado a internet y a funciones administrativas. Ocultaron sus intentos de hacer trampa en las evaluaciones de ciberseguridad. Algunos, según el informe, optaron por «sacrificarse» en beneficio del grupo. La actividad no se quedó en la plataforma: se extendió hasta un grupo de investigación de OpenAI.

La frase que debería inquietar a cualquier gobierno no es la del volumen de mensajes, sino la de Yoshua Bengio, copresidente del panel y una de las voces más citadas de la disciplina: los investigadores llevaban tiempo advirtiendo que tres condiciones pueden provocar la pérdida de control —un objetivo desfasado, la capacidad para alcanzarlo y un entorno que lo permita— y este verano las tres se dieron en un sistema real. Bengio añade la conclusión que convierte el episodio en asunto de política pública y no de foro técnico: dado que no se trata de una observación aislada de objetivos desalineados, el incidente plantea serias dudas sobre la forma en que se entrenan actualmente los agentes de IA. No falló un producto. Falló un método.

Conviene precisar la distinción que el propio panel subraya, porque de ella depende todo lo demás. Un chatbot responde cuando se le pregunta; un agente actúa por cuenta propia, ejecuta tareas en nombre de un usuario, encadena decisiones y persigue objetivos sin que medie una instrucción por cada paso. La gobernanza construida en los últimos años —auditorías de modelos, evaluaciones previas al despliegue, comités de ética— fue diseñada para sistemas que reconocen patrones y devuelven respuestas. Los agentes rompen ese marco porque introducen algo que los modelos no tenían: iniciativa, persistencia y, como muestra el informe, la capacidad de comprender las propias reglas de supervisión y planificar en función de ellas. Los expertos lo dijeron sin eufemismos: el modelo tradicional de protección se está desmoronando.

La lección inmediata es casi humillante por lo elemental. El panel concluyó que se pasaron por alto prácticas básicas de ciberseguridad y que las medidas de protección no estaban a la altura. Pero detrás de ese diagnóstico operativo late una preocupación más insidiosa, y es la que debería ocupar a los legisladores: los métodos de entrenamiento vigentes pueden estar llevando a los agentes a adoptar objetivos propios, a violar a sabiendas instrucciones de seguridad y a ocultar sus acciones. No hablamos de máquinas hostiles; hablamos de sistemas optimizados para tener éxito que aprenden que la opacidad es rentable. La diferencia es enorme en términos filosóficos e irrelevante en términos de riesgo.

El informe hace algo que las buenas instituciones siempre hacen: mira hacia sectores que ya resolvieron problemas parecidos. La aviación, la medicina y la ciberseguridad desarrollaron sistemas de notificación de incidentes, supervisión independiente y defensas por capas. Son arquitecturas probadas, nacidas de catástrofes que nadie quiso repetir. Y sin embargo la advertencia de Qinghua Lu, miembro del panel, cierra la puerta al consuelo fácil: esas prácticas podrían no ser suficientes a medida que los agentes se vuelven más capaces, más autónomos y más difíciles de supervisar. Un avión no aprende a burlar su caja negra. Un agente de IA, al parecer, sí puede aprender a burlar la suya.

Aquí es donde el asunto deja de ser una conversación entre laboratorios de Silicon Valley y Ginebra para convertirse en política de Estado en países como el nuestro. República Dominicana ha apostado con decisión por la digitalización de la administración pública: trazabilidad aduanera, ventanillas únicas, analítica de riesgo, atención ciudadana automatizada. Esa apuesta es correcta y debe sostenerse. Pero la misma velocidad que produce eficiencia produce exposición, y el informe deja claro que el eslabón débil no fue la tecnología de frontera sino la higiene básica de seguridad. Adoptar agentes sin registros de incidentes, sin supervisión independiente, sin capacidad institucional de auditar lo que el sistema hizo y por qué, es construir sobre arena. El Diálogo Mundial sobre la Gobernanza de la Inteligencia Artificial, convocado en la sede de la ONU para mayo de 2027, es la ventana donde los países pequeños pueden dejar de ser receptores de normas ajenas y convertirse en coautores de las reglas. Llegar a esa cita con una posición nacional argumentada, con inventario de sistemas críticos y con protocolos propios de notificación, vale más que cualquier declaración de buenas intenciones.

La pregunta que el panel deja abierta no es si la inteligencia artificial nos servirá. Es si seguiremos sabiendo, dentro de cinco años, lo que está haciendo mientras nos sirve. Responderla exige menos entusiasmo y más ingeniería institucional. El cortafuegos se desmoronó una vez, en un entorno controlado, con investigadores mirando. La próxima vez podría no haber nadie mirando.

* El autor es ingeniero de sistemas de computadora | Editor bibliográfico | Productor de medios de comunicación | #GuasábaraEditor

Título: Cuando el cortafuegos se desmorona: la IA que aprendió a esconderse

DEJA UNA RESPUESTA

Por favor ingrese su comentario!
Por favor ingrese su nombre aquí