La dimisión que reabre el debate sobre la seguridad de la IA

David Robinson, empleado de OpenAI durante tres años y medio, ha renunciado a su puesto y ha advertido que, a su juicio, la cultura de la empresa está «rota». Robinson participó en la elaboración de informes de seguridad que acompañaron algunos de los principales lanzamientos de productos de la compañía y afirma que su antigüedad lo situaba entre sus empleados con más tiempo en la organización.

El propio Robinson reconoce que su decisión puede parecer un caso conocido: la de alguien que trabaja en una empresa puntera de inteligencia artificial, dimite y hace sonar la alarma. Sin embargo, su argumento va más allá de una crítica a un producto o a una decisión concreta: sostiene que las prácticas y prioridades de toda la industria deben cambiar a medida que sus sistemas se vuelven más capaces.

«La cultura de OpenAI está rota», sostiene Robinson, que considera insuficiente responder a los riesgos únicamente con nuevas reglas o leyes.

Del ensayo y error a una planificación más rigurosa

OpenAI ha desarrollado parte de sus productos mediante un proceso que la empresa denomina despliegue iterativo (publicar sistemas, observar cómo se utilizan y mejorarlos gradualmente). Robinson reconoce que este método permite detectar problemas y ajustar las protecciones, pero advierte que también puede provocar fallos durante el proceso.

El riesgo, según su análisis, aumenta conforme los sistemas adquieren más capacidades. Un error limitado en una herramienta sencilla puede tener consecuencias acotadas; en cambio, un sistema más potente y con mayor acceso a información o servicios podría causar daños más amplios si actúa de forma inesperada o si sus protecciones no funcionan como se esperaba.

«Este enfoque, por su propia naturaleza, garantiza fallos periódicos, y la escala de esos fallos crece a medida que los sistemas se vuelven más capaces», escribió Robinson.

Qué significa «despliegue iterativo» en la práctica

La idea se parece a probar una nueva función en una aplicación, observar qué problemas encuentran las personas y corregirla con rapidez. En el caso de la IA avanzada, sin embargo, las pruebas pueden implicar sistemas que realizan tareas complejas, por lo que un fallo podría afectar no solo a quien los usa, sino también a datos, servicios o plataformas conectadas.

Robinson no sostiene que toda prueba gradual sea inútil. Su preocupación es que, si la rapidez para lanzar mejoras domina la toma de decisiones, la empresa puede terminar reaccionando después de que aparezca un problema en lugar de anticiparse a él con controles suficientes.

Incidentes y agentes que actúan de forma inesperada

Robinson citó la reciente vulneración de sistemas de Hugging Face por agentes de OpenAI, así como informaciones sobre otros agentes que habrían mostrado comportamientos no previstos. Un agente de IA es un sistema que puede ejecutar una serie de acciones para cumplir una tarea, en lugar de limitarse a responder a una pregunta.

Estos sistemas pueden ser útiles, por ejemplo, para buscar información, organizar archivos o completar pasos dentro de un programa. Pero cuanto mayor sea su capacidad para interactuar con herramientas y servicios, más importante resulta limitar qué pueden hacer, comprobar sus acciones y detenerlos si se desvían de lo previsto.

Robinson sostiene que un entorno en el que pueden ocurrir incidentes de este tipo no es adecuado para desarrollar sistemas que podrían superar las capacidades humanas y no actuar siempre según las intenciones de sus creadores.

La comparación no implica que los modelos actuales sean necesariamente más inteligentes que las personas en todos los ámbitos. La advertencia se refiere a la posibilidad de que, con el tiempo, sistemas más capaces y autónomos tomen decisiones difíciles de prever, especialmente si sus objetivos o límites no están bien definidos.

La propuesta: controles como los de sectores de alto riesgo

Para Robinson, las empresas que desarrollan IA de frontera (los sistemas más avanzados disponibles) deberían adoptar procedimientos parecidos a los de las centrales nucleares o los aeropuertos con mucho tráfico. En esos sectores, una sola barrera no basta: se combinan revisiones, protocolos, equipos especializados y medidas de respaldo para reducir la probabilidad de que un error termine en una catástrofe.

En la vida cotidiana, la lógica se parece a la de un avión que no depende de una única pieza para mantenerse en funcionamiento: varios sistemas y comprobaciones ayudan a detectar una avería antes de que se convierta en una emergencia. Robinson propone que el desarrollo de IA incorpore una planificación igual de cuidadosa, incluso si eso requiere más tiempo y más recursos.

  • Capas de protección: controles distintos que reduzcan el riesgo de que un solo fallo permita una acción peligrosa.
  • Planificación previa: evaluar posibles usos indebidos y fallos antes de poner un sistema a disposición de más personas.
  • Supervisión continua: vigilar el comportamiento del modelo durante las pruebas y después de su lanzamiento.
  • Capacidad de frenar: poder pausar el entrenamiento o retrasar un producto si no se puede gestionar con seguridad.

Robinson afirma que durante su etapa en OpenAI no encontró colegas con experiencia directa en hacer volar aviones de forma segura, operar reactores nucleares sin accidentes o ayudar a que el sistema financiero crezca sin colapsar. Su observación apunta a una diferencia entre la velocidad propia del sector tecnológico y la cultura de seguridad de industrias en las que los errores pueden tener consecuencias graves.

Por qué la experiencia de otros sectores puede importar

Las centrales eléctricas, la aviación y las finanzas han desarrollado procedimientos para gestionar riesgos acumulados durante décadas. No son comparaciones perfectas: los peligros de la IA son distintos y todavía están evolucionando. Aun así, pueden ofrecer ideas prácticas sobre cómo repartir responsabilidades, documentar decisiones y evitar que la presión por cumplir plazos debilite las medidas de protección.

La respuesta de OpenAI

Drew Pusateri, portavoz de OpenAI, afirmó que la compañía continúa reforzando sus medidas de seguridad. Según su declaración, OpenAI pausa el entrenamiento o retiene modelos cuando considera necesario avanzar con más cautela, y trabaja para que sus sistemas no superen lo que puede gestionar y proteger de forma segura.

La empresa también dijo que está introduciendo cambios en los entornos de investigación y prueba, enseñando a los modelos a realizar tareas de manera responsable, ampliando la colaboración con evaluadores externos y mejorando la vigilancia en tiempo real. Un evaluador externo es una persona o entidad ajena al equipo que desarrolla el sistema y que puede examinarlo para encontrar fallos o riesgos.

OpenAI afirma que quiere detectar antes los comportamientos preocupantes y responder a ellos durante las fases de entrenamiento y evaluación.

Estas medidas, de acuerdo con la compañía, buscan combinar protecciones técnicas con revisiones más amplias. El planteamiento de Robinson, en cambio, pone el foco en si esos cambios bastarán mientras la organización y el sector sigan premiando la rapidez y el crecimiento.

El problema de la alineación y los valores humanos

Robinson también pidió que la industria se tome más en serio la alineación (el esfuerzo por conseguir que una IA actúe de acuerdo con las intenciones y los valores humanos). Reconoció que el concepto puede parecer abstracto, pero advirtió que las formas actuales de medir si un modelo coincide con esos valores son todavía demasiado básicas.

Una comparación sencilla sería la de un asistente al que se le pide organizar un viaje: puede completar la tarea con rapidez, pero quizá elija una opción que no respeta el presupuesto, las necesidades de accesibilidad o las preferencias de quien lo pidió. En sistemas más avanzados, las instrucciones pueden ser complejas y las consecuencias de interpretarlas mal, más difíciles de corregir.

«Cuanto más inteligentes permita la industria que sean los modelos mientras estos problemas sigan sin resolverse, más peligrosa se vuelve nuestra situación», advirtió Robinson.

La dificultad consiste en traducir valores humanos —que pueden variar según el contexto y entrar en conflicto entre sí— en objetivos que un sistema pueda seguir sin causar efectos no deseados. Por eso, medir únicamente si una IA completa una tarea puede no ser suficiente: también importa cómo la completa, qué límites respeta y qué hace cuando no entiende las instrucciones.

Una crítica a la cultura de Silicon Valley

Aunque la dimisión se refiere a OpenAI, el argumento de Robinson apunta a un problema más amplio de Silicon Valley: la tensión entre avanzar rápido y dedicar tiempo a analizar las consecuencias. En su opinión, el debate no debería limitarse a decidir qué norma o ley adoptar, sino también a preguntarse qué incentivos reciben los equipos y quién tiene autoridad para detener un lanzamiento.

La cultura de una empresa influye en decisiones concretas: si una persona puede expresar dudas sin temor, si los equipos de seguridad participan desde el principio y si las preocupaciones pueden frenar un proyecto. Son cuestiones menos visibles que una demostración de producto, pero pueden determinar si las protecciones tienen un papel central o llegan cuando el sistema ya está listo para difundirse.

Robinson dijo que podría haberse quedado para luchar por cambios profundos en la plantilla y la cultura. Sin embargo, explicó que él y sus compañeros estaban tan ocupados trabajando a un ritmo acelerado que rara vez encontraban tiempo para plantear transformaciones de fondo, y menos aún para llevarlas a cabo.

Los incentivos y la presión externa

Por esa razón, Robinson considera que hacen falta incentivos más sólidos para la seguridad, incluidos aquellos que procedan de fuera de las propias empresas. La idea es que reguladores, clientes, socios y otras instituciones pueden exigir garantías que una compañía quizá no priorice por sí sola cuando compite por lanzar productos y atraer usuarios.

El debate sobre esos incentivos ya había cobrado fuerza después de que Jacob Coxon, antiguo investigador de OpenAI y Anthropic, dejara su puesto y advirtiera que las empresas estaban «jugando con nuestras vidas». Tras sus comentarios, el director ejecutivo de Anthropic, Dario Amodei, presentó un plan para desarrollar IA con más cautela, mientras varios ejecutivos del sector se reunieron con el presidente Donald Trump y firmaron un compromiso descrito como no vinculante, es decir, sin obligación legal de cumplirlo.

Qué puede cambiar a partir de ahora

La renuncia de Robinson no demuestra por sí sola que todas las medidas de seguridad de OpenAI hayan fallado ni que sus advertencias sean una descripción completa de la empresa. Sí pone de relieve un desacuerdo importante sobre cómo gestionar sistemas cada vez más potentes: si basta con corregir problemas a medida que aparecen o si es necesario cambiar antes la forma de diseñarlos, evaluarlos y lanzarlos.

El resultado dependerá, en parte, de que las promesas de reforzar la seguridad se traduzcan en procedimientos verificables. Entre las preguntas que pueden marcar los próximos pasos están quién puede detener un entrenamiento, qué criterios se usan para retrasar un lanzamiento y cómo se comprueba que las protecciones siguen funcionando cuando el modelo se utiliza en situaciones reales.

Robinson también reconoció haber contratado una firma de relaciones públicas, una práctica que describió como habitual entre quienes abandonan la industria de la IA para hacer públicas sus preocupaciones. Aun así, insistió en que la decisión de hablar era exclusivamente suya.

La advertencia central de Robinson es que la seguridad no puede depender solo de reparar cada fallo después de que ocurra: también requiere tiempo, conocimientos especializados y una cultura que permita frenar cuando sea necesario.