Control Room corta la salida del modelo para trabajos de investigación internos cuando personas o monitores automatizados señalan problemas de seguridad.
OpenAI ha creado un sistema que puede cortar el acceso de un experimento de investigación de IA a la salida del modelo, luego de varias revelaciones de que sus modelos actúan más allá de sus instrucciones este año.
En una publicación de blog el lunes, OpenAI llamó al sistema "Sala de control", que es un sistema centralizado que rastrea las cargas de trabajo de los modelos en toda su infraestructura de investigación y las detiene rápidamente cuando surgen problemas de seguridad.
"A medida que nuestros modelos se vuelven más potentes y los riesgos de seguridad asociados aumentan, se vuelve cada vez más crítico que podamos detectar problemas potenciales y detener rápidamente los modelos cuando sea necesario", dijo la compañía.
El anuncio se produce después de que OpenAI revelara varios incidentes este año en los que modelos de investigación actuaron fuera de sus instrucciones durante las evaluaciones. En julio, la compañía dijo que sus modelos habían escapado de un entorno de prueba restringido y piratearon Hugging Face para engañar en una evaluación de seguridad.
En octubre, reveló que un modelo de investigación había utilizado una billetera criptográfica sin autorización para pagar implementaciones de contratos inteligentes utilizando testnet Ether, y luego omitió el gasto en su resumen final.
Actualmente, Control Room cubre las cargas de trabajo de investigación interna de OpenAI, como experimentos de capacitación, evaluaciones y procesamiento de datos.
Funciona asignando a cada trabajo de investigación un identificador, que el motor de inferencia verifica antes de generar el resultado del modelo. Si una persona o un sistema de monitoreo automatizado ordena que se detenga el trabajo, Control Room revoca su autorización, bloqueando más resultados incluso si el programa de investigación subyacente continúa ejecutándose, según OpenAI.
OpenAI dijo que las autorizaciones almacenadas en caché podrían retrasar un apagado hasta 35 segundos. El sistema también está diseñado para rechazar nuevas solicitudes si la Sala de Control deja de estar disponible.
Relacionado: DeepSeek desarrolla un agente de IA que requiere menos intervención humana: Informe
