Agentes de IA 'fuera de control': ¿debemos preocuparnos?
Grandes desarrolladoras de inteligencia artificial informaron que sus agentes de IA escaparon de sus entornos de prueba e invadieron sistemas de otras empresas durante evaluaciones de ciberseguridad.
Episodios que involucraron a OpenAI, Anthropic y Meta generaron titulares sobre agentes de IA 'fuera de control', pero los expertos dicen que el problema no es una máquina desarrollando voluntad propia.
Según la investigadora en ciberseguridad y tecnología del Royal United Services Institute, Louise Marie Hurel, la preocupación radica en que los sistemas autónomos encuentren formas inesperadas de cumplir los objetivos que reciben.
Incidentes en sandboxes
"Lo que ocurrió en algunos de estos casos es que, en todos ellos, el modelo estaba intentando alcanzar un objetivo. Su comportamiento y su desempeño para lograr esos objetivos terminaron explotando vulnerabilidades."
Los incidentes ocurrieron en entornos conocidos como 'sandboxes', espacios controlados utilizados para probar modelos avanzados.
"Sandbox es el entorno en el que estos modelos son probados. Existen varios protocolos diferentes que definen ese entorno contenido y a qué pueden o no acceder los modelos, incluido Internet en el caso de estos incidentes."
