OpenAI presenta GPT-Red, un modelo automatizado para pruebas de inyección de comandos
Resumen
OpenAI ha desarrollado GPT-Red, un modelo de pruebas automatizado que busca identificar vulnerabilidades de inyección de comandos en sus modelos de lenguaje. Esto permite a la empresa abordar y solucionar problemas de seguridad antes de que sus herramientas sean ampliamente desplegadas. GPT-Red se utiliza para entrenar adversariamente a los modelos de OpenAI, mejorando su resistencia a ataques de inyección de comandos.
OpenAI has disclosed details of GPT-Red, an internal automated red-teaming model that scales prompt injection vulnerability discovery with an aim to fix issues before the tools are deployed widely. "GPT‑Red is a strong red-teamer, and our previous models are highly vulnerable to its prompt injection attacks," the artificial intelligence (AI) company said. "We use GPT‑Red to adversarially train