OpenAI suspender\u00e1 parte del trabajo en un modelo de inteligencia artificial (IA) debido a problemas de seguridad, seg\u00fan anunci\u00f3 la compa\u00f1\u00eda el viernes, tras una serie de incidentes en los que agentes de IA escaparon de su contenci\u00f3n.
\nLa empresa hab\u00eda evaluado al agente Astra y hab\u00eda encontrado \u201cavances significativos en la codificaci\u00f3n de agentes y la ciberseguridad\u201d, que alcanz\u00f3 un umbral \u201ccr\u00edtico\u201d en el que puede encontrar y explotar vulnerabilidades sin intervenci\u00f3n humana, o dise\u00f1ar y ejecutar ciberataques con tan solo proporcionarle un \u201cobjetivo deseado de alto nivel\u201d.
\nOpenAI afirm\u00f3 que su modelo no estuvo involucrado en el incidente en el que uno de sus agentes de IA se descontrol\u00f3 durante una prueba, accedi\u00f3 a la web abierta y hacke\u00f3 la startup Hugging Face. Seg\u00fan inform\u00f3 Reuters en julio, la compa\u00f1\u00eda descubri\u00f3 otros casos en los que agentes aut\u00f3nomos hab\u00edan escapado del control.
\nEstos informes aumentaron la preocupaci\u00f3n por los avances en los modelos de IA y la capacidad humana para controlarlos. Sin embargo, los cr\u00edticos de la industria de la IA advirtieron que tales revelaciones por parte de OpenAI y sus competidores Anthropic y Meta podr\u00edan estar dise\u00f1adas para generar expectaci\u00f3n sobre el potencial de la tecnolog\u00eda y, por lo tanto, despertar un mayor inter\u00e9s entre los inversores.
\nPara prevenir posibles comportamientos maliciosos por parte de los agentes de IA, OpenAI est\u00e1 implementando controles de seguridad m\u00e1s estrictos para los modelos de mayor capacidad y las actividades asociadas, incluyendo entornos de prueba aislados y acceso restringido a la red y a las herramientas, seg\u00fan se indica en la publicaci\u00f3n del blog de la compa\u00f1\u00eda. Tambi\u00e9n instalar\u00e1 protecciones mejoradas para el peso de los modelos y cifrado, as\u00ed como capacidades adicionales de monitoreo y detecci\u00f3n.
\nLa empresa suspender\u00e1 las actividades internas relacionadas con Astra que no cumplan con estos nuevos requisitos.
\n\u201cNos comprometemos a trabajar junto con los gobiernos, los institutos de seguridad y la sociedad civil para garantizar que las capacidades de vanguardia de modelos como Astra, y los que le sigan, se implementen de manera responsable y generalizada en beneficio de toda la humanidad\u201d, declar\u00f3 la compa\u00f1\u00eda.
\nMeta tambi\u00e9n revel\u00f3 esta semana que uno de sus modelos hacke\u00f3 a otra empresa durante una prueba de ciberseguridad. Adem\u00e1s, el Instituto de Seguridad de IA del Reino Unido (AISI) anunci\u00f3 el 4 de agosto que agentes impulsados \u200b\u200bpor OpenAI y Anthropic hab\u00edan enviado correos electr\u00f3nicos dirigidos a desarrolladores de software en un intento por superar un desaf\u00edo cibern\u00e9tico.
\n\u201cEstos intentos no tuvieron \u00e9xito y nuestras investigaciones no han evidenciado ning\u00fan da\u00f1o real resultante. Pero esta es la primera vez que vemos que los riesgos relacionados con la autonom\u00eda y el enga\u00f1o se manifiestan de forma tan clara, sin ninguna provocaci\u00f3n espec\u00edfica, en el mundo real\u201d, asegur\u00f3 el instituto en una publicaci\u00f3n de blog.
\nLa organizaci\u00f3n alert\u00f3 que el env\u00edo de software malicioso por parte de los modelos no se deb\u00eda a que un \u201cmodelo hubiera escapado de su entorno de prueba seguro\u201d, sino a que el grupo hab\u00eda permitido intencionadamente el acceso a Internet para \u201cevaluar de la mejor manera la capacidad m\u00e1xima de los modelos\u201d.
\nSin embargo, \u201cel comportamiento fue posible, sostenido y novedoso; solo eso ya justifica la atenci\u00f3n\u201d, explic\u00f3 la AISI.
\nLos informes surgieron mientras la administraci\u00f3n Trump ultimaba un marco para evaluar los riesgos de seguridad y ciberseguridad de los modelos de IA. OpenAI y Anthropic, que intensificaron la competencia de China y otras empresas tecnol\u00f3gicas, argumentaron que los modelos de c\u00f3digo abierto, es decir, aquellos que permiten a cualquier persona ver y modificar el c\u00f3digo fuente del programa, representan un riesgo para la seguridad y presionaron para que se implementaran regulaciones federales adicionales al respecto. (The Guardian)<\/p>\n","protected":false},"excerpt":{"rendered":"
OpenAI suspender\u00e1 parte del trabajo en un modelo de inteligencia artificial (IA) debido a problemas de seguridad, seg\u00fan anunci\u00f3 la compa\u00f1\u00eda el viernes, tras una serie de incidentes en los que agentes de IA escaparon de su contenci\u00f3n. La empresa hab\u00eda evaluado al agente Astra y hab\u00eda encontrado \u201cavances significativos en la codificaci\u00f3n de agentes […]<\/p>\n","protected":false},"author":1,"featured_media":419768,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[3],"tags":[],"class_list":["post-419767","post","type-post","status-publish","format-standard","has-post-thumbnail","category-internacional"],"acf":{"antetitulo":""},"yoast_head":"\n