Con la rápida evolución de la tecnología de inteligencia artificial, los agentes inteligentes, como un vehículo importante para la integración profunda de la inteligencia artificial y la economía real, están influyendo profundamente en la producción y el estilo de vida, y reconstruyendo los límites de la seguridad.
Con la rápida evolución de la tecnología de inteligencia artificial, los agentes inteligentes, como un vehículo importante para la integración profunda de la inteligencia artificial y la economía real, están influyendo profundamente en la producción y el estilo de vida, y reconstruyendo los límites de la seguridad.
En la 14.ª Conferencia sobre Seguridad en Internet celebrada recientemente, expertos afirmaron que debemos emplear tecnologías fundamentales para abordar problemas clave, fortalecer nuestras capacidades internas, construir una barrera sólida mediante la creación de sistemas y normas, y liderar las normas industriales mediante la construcción de sistemas estandarizados, con el fin de trazar un camino de desarrollo coordinado y seguro en la era de los agentes.
Los agentes inteligentes generan nuevos riesgos
Actualmente, la inteligencia artificial está experimentando una transición crucial desde modelos grandes hacia agentes inteligentes. Cuando los agentes inteligentes comienzan a tomar decisiones autónomas, invocar herramientas y ejecutar tareas, también surgen riesgos de seguridad.
«En comparación con los sistemas de información anteriores, los agentes ya no son una herramienta de preguntas y respuestas para la ejecución pasiva, sino que cuentan con capacidades de percepción, toma de decisiones y ejecución independientes. Este avance en las características tecnológicas ha transformado profundamente la situación ofensiva y defensiva de la ciberseguridad.» afirmó Zhao Zhiguo, vicepresidente de la Asociación de Internet de China y exingeniero jefe del Ministerio de Industria y Tecnología de la Información.
Con la penetración acelerada de los agentes inteligentes en sectores clave como la fabricación, las finanzas y la energía, cualquier riesgo de seguridad podría desencadenar una reacción en cadena a través de redes e industrias en un breve período de tiempo, gracias a la capacidad de programación autónoma de los agentes inteligentes, lo que impone requisitos más exigentes en materia de prevención de riesgos y respuesta ante emergencias.
Zhao Zhiguo afirmó que, una vez que los agentes inteligentes adquieren capacidades autónomas de toma de decisiones, los riesgos de seguridad se amplían desde «fallos técnicos» hasta «pérdida de control sobre la toma de decisiones». Si surgen desviaciones o perturbaciones, los agentes inteligentes podrían adoptar acciones que se aparten de las expectativas humanas, y las consecuencias resultantes serían impredecibles. Este riesgo endógeno plantea un desafío fundamental para la capacidad de garantizar la seguridad y el control. Además, los agentes inteligentes operan de forma autónoma dentro del sistema con un alto grado de antropomorfismo, lo que pone en peligro los mecanismos tradicionales de confianza basados en la identidad. Cuando los agentes inteligentes firman contratos, ejecutan transacciones y acceden a recursos de forma autónoma, definir las responsabilidades de seguridad y caracterizar el comportamiento no autorizado se han convertido en problemas prácticos urgentes que requieren solución.
Según Wu Hequan, académico de la Academia China de Ingeniería (CAE) y presidente honorario de la Conferencia sobre Seguridad en Internet, los ataques mediante agentes presentan las características técnicas de toma de decisiones independiente, colaboración en grupo y evolución continua. Los ciberataques tradicionales dependen en gran medida de operaciones manuales, mientras que los ataques impulsados por agentes transforman fundamentalmente este patrón.
Concretamente, los agentes inteligentes pueden percibir de forma autónoma el entorno, planificar rutas de ataque y ejecutar tareas de penetración; además, varios agentes pueden compartir información y colaborar. Este tipo de ataque en grupo puede lanzarse simultáneamente desde múltiples entradas en un período muy breve, agotando así los sistemas de defensa al tener que responder constantemente. Lo que requiere aún mayor vigilancia es que los agentes inteligentes poseen la capacidad de aprender e iterar continuamente: cada enfrentamiento entre ataque y defensa se convierte en material para su optimización, y los métodos de ataque cambian constantemente con el tiempo.
Zhou Hongyi, fundador del Grupo 360 y presidente de la Conferencia sobre Seguridad en Internet, considera que la IA ha revolucionado la industria de la ciberseguridad. Tomando como ejemplo el modelo Mythos, sus capacidades totalmente automatizadas para la detección de vulnerabilidades y la construcción de cadenas de ataque han incrementado la velocidad de descubrimiento de vulnerabilidades en dos órdenes de magnitud y reducido los costos a menos de una milésima parte.
La transformación del pensamiento sobre seguridad digital
Suplantación de identidad, fallos del modelo, vulnerabilidades en la gestión de permisos, extorsión maliciosa... A medida que los agentes inteligentes entran en la fase de aplicación comercial, surgen continuamente diversos riesgos nuevos. Al mismo tiempo, riesgos como la extracción oculta de datos impulsada por inteligencia artificial también afectan la precisión del modelo y la fiabilidad de las decisiones.
Zhao Chunjiang, académico de la Academia China de Ingeniería y vicepresidente de la Asociación China de Inteligencia Artificial, explicó que los riesgos de seguridad de los sistemas de IA abarcan cuatro dimensiones: capa de datos, capa de modelos, capa de aplicaciones y capa fundamental. Los problemas de seguridad a los que se enfrentan estas distintas dimensiones también difieren, por lo que deben adoptarse medidas específicas.
Según Wu Hequan, durante mucho tiempo la mentalidad en materia de trabajo de seguridad ha consistido en apagar incendios allí donde surgen. Este modo de respuesta pasiva puede resistir ataques humanos, pero ante ataques masivos provenientes de grupos de agentes inteligentes, la velocidad de respuesta siempre se retrasa medio paso.
¿Quién era más fuerte en el pasado y quién será más rápido en el futuro? China debe desarrollar capacidades propias y controlables para la detección de vulnerabilidades en IA.”, afirmó Zhou Hongyi.
El paradigma de seguridad debe cambiar de la defensa pasiva a la inmunidad activa", dijo Wu Hequan. Necesitamos construir un marco de operaciones de seguridad sistemático que cubra todo el ciclo de vida de predicción, defensa, detección, respuesta y recuperación. Necesitamos integrar procesos, personal y tecnología en una capacidad de circuito cerrado, para que el sistema de seguridad también pueda tener percepción de agentes inteligentes, predicción y capacidades de adaptación, y lograr un cambio de la remediación posterior a la alerta previa y el bloqueo en el proceso.
Esto no es sólo la guinda del pastel, sino una reconstrucción de vida y muerte de capacidades. Sin inmunidad activa, no puede haber seguridad digital en la era de los agentes inteligentes", dijo Wu Hequan.
Zhao Zhiguo considera necesario destacar la investigación y el desarrollo de tecnologías fundamentales para la seguridad de los agentes inteligentes, reforzar la inversión en I+D en áreas clave como la interpretabilidad de algoritmos, la protección de la privacidad de los datos y la robustez del sistema, potenciar las capacidades de defensa proactiva desde el origen y asumir la iniciativa en el desarrollo. Es preciso acelerar la creación de normas de seguridad y mecanismos de evaluación y certificación adaptados a las características de los agentes inteligentes, aplicar una gestión escalonada y clasificada a los agentes inteligentes de alto riesgo, precisar los límites de responsabilidad en las fases de investigación y desarrollo, despliegue y operación, y garantizar que existan reglas y regulaciones que seguir. En el marco de las normas nacionales, se debe promover la integración profunda entre industria, academia, investigación y aplicación, y acelerar la formulación de estándares de protección que abarquen todo el ciclo de vida de la investigación y el desarrollo, la implementación, la operación y el mantenimiento de los agentes inteligentes.
Pasar de vender productos a vender capacidades
Según un informe del International Data Corporation (IDC), el mercado cibernético chino ha mantenido un crecimiento constante gracias al fortalecimiento continuo de las políticas y regulaciones, al aumento de la disposición de las empresas a invertir en seguridad y a la aplicación acelerada de nuevas tecnologías. Se prevé que, para 2026, el tamaño total del mercado supere los 80 000 millones de yuanes, con una tasa anual compuesta de crecimiento del 8,9 % entre 2024 y 2029. La ciberseguridad se ha convertido en una capacidad fundamental esencial para el desarrollo de la economía digital.
Actualmente, los agentes inteligentes están acelerando su penetración en industrias verticales como las finanzas, la fabricación y la atención sanitaria, convirtiéndose en componentes centrales de sistemas empresariales reales. Sin embargo, la mayoría de los usuarios industriales aún no tienen la capacidad de desarrollar sus propios sistemas inteligentes de defensa, y los proveedores tradicionales de seguridad siguen acostumbrados a vender firewalls, herramientas de detección, etc., lo que genera una clara desconexión entre la oferta y la demanda.
«Quien logre completar primero la transformación de proveedor de productos a proveedor de servicios podrá liderar el nuevo campo de la seguridad de los agentes inteligentes», afirmó Wu Hequan. Las empresas de seguridad digital en la era de los agentes inteligentes deben pasar de vender productos a vender capacidades, lo que implica ofrecer servicios gestionados de seguridad que abarquen todo el ciclo de vida de los agentes inteligentes: revisar la seguridad durante la fase de desarrollo, realizar monitoreo en tiempo real y respuesta ante anomalías durante la fase de operación, y llevar a cabo evaluaciones de riesgo y proponer recomendaciones de refuerzo durante la fase de iteración. Se trata de un cambio de paradigma y un obstáculo que la industria debe superar.
Zhao Zhiguo sugirió establecer una plataforma colaborativa de seguridad entre la industria, las universidades y los centros de investigación para integrar los recursos de red y fomentar una cooperación profunda entre empresas, universidades e instituciones de investigación en el desarrollo tecnológico de la seguridad de los agentes inteligentes, la colaboración en la respuesta ante emergencias y la promoción de las mejores prácticas. Se debe construir un modelo de gobernanza con orientación gubernamental, responsabilidad empresarial y participación social, abordando los desafíos comunes con una actitud abierta y colaborativa.
Actualmente, las empresas del sector pertinentes están tomando medidas para acelerar la formación de nuevos profesionales para la era de los agentes inteligentes. Durante la 14.ª Conferencia sobre Seguridad en Internet, se lanzaron simultáneamente el proceso de otorgamiento de la certificación de Instructor en Ingeniería de Agentes de Inteligencia Artificial (ADE) de 360 y la Beca Especial para Talentos en IA de la Fundación de Beneficencia 360, lo que brinda un vehículo práctico para la colaboración profunda entre industria, universidad e investigación en materia de formación de talentos y educación inclusiva.
Zhao Zhiguo afirmó que es necesario promover activamente que los departamentos gubernamentales, las empresas líderes y los institutos de investigación aceleren el desarrollo de normas industriales y normas grupales en ámbitos como la evaluación de la capacidad de seguridad de los agentes inteligentes, la clasificación de riesgos y el cumplimiento de la seguridad de los datos, brindando una base institucional para el desarrollo normalizado del sector y abordando la incertidumbre de los riesgos de seguridad mediante la certeza del desarrollo de alta calidad. Además, debemos participar activamente en la formulación y coordinación de las normas globales de gobernanza de la seguridad de la IA, construir una plataforma de diálogo sobre la seguridad de los agentes inteligentes y explorar conjuntamente vías colaborativas para la gobernanza de la ciberseguridad a escala mundial en la era de la inteligencia, trabajando juntos para construir una comunidad de futuro compartido en el ciberespacio y aportando sabiduría y fuerza chinas al desarrollo saludable de la industria global de agentes inteligentes.