Avec l’itération rapide des technologies d’intelligence artificielle, les agents intelligents — vecteurs essentiels de l’intégration approfondie de l’IA et de l’économie réelle — transforment profondément les modes de production et de vie, tout en redéfinissant les frontières de la sécurité.
Avec l’itération rapide des technologies d’intelligence artificielle, les agents intelligents — vecteurs essentiels de l’intégration approfondie de l’IA et de l’économie réelle — transforment profondément les modes de production et de vie, tout en redéfinissant les frontières de la sécurité.
Lors de la 14e Conférence sur la sécurité Internet, récemment organisée, des experts ont souligné la nécessité d’exploiter les technologies fondamentales pour résoudre les problèmes critiques, de renforcer les compétences internes, de construire une barrière solide grâce à l’élaboration de systèmes et de règles, et de guider les normes sectorielles par la mise en place d’un système de normes, afin de tracer une voie de développement coordonné entre progrès et sécurité à l’ère des agents.
Les agents intelligents engendrent de nouveaux risques
Actuellement, l’intelligence artificielle traverse une transition cruciale, passant des grands modèles aux agents intelligents. Dès lors que ces derniers commencent à prendre des décisions autonomes, à invoquer des outils et à exécuter des tâches, des risques sécuritaires émergent également.
« Par rapport aux anciens systèmes d’information, les agents ne sont plus simplement un outil passif de question-réponse, mais se voient dotés de capacités de perception, de prise de décision et d’exécution autonomes. Cette avancée technologique a profondément modifié la situation offensive et défensive en matière de cybersécurité. » a déclaré Zhao Zhiguo, vice-président de l’Association chinoise de l’internet et ancien ingénieur en chef du ministère de l’Industrie et des Technologies de l’information.
Avec la pénétration accélérée des agents intelligents dans des domaines clés tels que la fabrication, la finance et l’énergie, tout risque de sécurité peut, en peu de temps, déclencher une réaction en chaîne à travers les réseaux et les secteurs industriels, grâce à la capacité d’ordonnancement autonome des agents intelligents, ce qui impose des exigences accrues en matière de prévention des risques et de réponse aux urgences.
Zhao Zhiguo a déclaré que, dès lors que des agents intelligents disposent de capacités autonomes de prise de décision, les risques liés à la sécurité s’étendent des « défaillances techniques » à la « perte de contrôle sur la prise de décision ». Dès qu’apparaissent des écarts ou des perturbations, ces agents intelligents peuvent entreprendre des actions contraires aux attentes humaines, dont les conséquences sont imprévisibles. Ce risque endogène constitue un défi fondamental pour la maîtrise de la sécurité. En outre, les agents intelligents opèrent de façon autonome au sein du système, avec un degré d’anthropomorphisme élevé, ce qui expose les mécanismes traditionnels de confiance fondés sur l’identité au risque d’échec. Lorsque ces agents signent des contrats, exécutent des transactions ou sollicitent des ressources de manière autonome, définir clairement les responsabilités en matière de sécurité et caractériser les comportements non autorisés sont devenus des problèmes pratiques urgents à résoudre.
Selon Wu Hequan, académicien de l’Académie chinoise d’ingénierie (CAE) et président honoraire de la Conférence sur la sécurité Internet, les attaques menées par des agents présentent les caractéristiques techniques suivantes : prise de décision autonome, collaboration en essaim et évolution continue. Les cyberattaques traditionnelles dépendent fortement d’opérations manuelles, tandis que les attaques pilotées par des agents transforment fondamentalement ce schéma.
Plus précisément, les agents intelligents peuvent percevoir de manière autonome leur environnement, planifier des itinéraires d’attaque et exécuter des tâches de pénétration ; plusieurs agents peuvent également partager des informations et collaborer. Cette attaque coordonnée peut être lancée simultanément depuis de multiples points d’entrée en un laps de temps très court, épuisant ainsi les systèmes de défense face à la nécessité de réagir. Ce qui requiert une vigilance accrue, c’est que les agents intelligents possèdent la capacité d’apprendre et de s’auto-améliorer en continu : chaque confrontation entre attaque et défense devient une source d’optimisation pour eux, et leurs méthodes d’attaque évoluent constamment au fil du temps.
Zhou Hongyi, fondateur du groupe 360 et président de la Conférence sur la sécurité Internet, estime que l’IA a bouleversé le secteur de la sécurité réseau. Prenant pour exemple le modèle Mythos, ses capacités entièrement automatisées d’exploitation de vulnérabilités et de construction de chaînes d’attaque ont accru la vitesse de détection des vulnérabilités de deux ordres de grandeur et réduit les coûts à moins d’un millième.
La transformation de la réflexion en matière de sécurité numérique
Usurpation d’identité, défaillance des modèles, vulnérabilités liées à la gestion des autorisations, extorsion malveillante… À mesure que les agents intelligents entrent dans la phase d’application commerciale, divers nouveaux risques continuent d’émerger. Parallèlement, des risques tels que l’exploration clandestine de données pilotée par l’intelligence artificielle affectent également la précision des modèles et la fiabilité des décisions.
Zhao Chunjiang, académicien de l’Académie chinoise d’ingénierie (CAE) et vice-président de l’Association chinoise de l’intelligence artificielle, a expliqué que les risques liés à la sécurité des systèmes d’IA couvrent quatre dimensions : la couche des données, la couche des modèles, la couche des applications et la couche fondamentale. Les problèmes de sécurité auxquels sont confrontées ces différentes dimensions varient également, ce qui exige des mesures ciblées.
Selon Wu Hequan, pendant longtemps, l’approche du travail en matière de sécurité a consisté à éteindre les incendies au fur et à mesure de leur apparition. Ce mode de réponse passif permet de résister aux attaques humaines, mais face à des attaques massives provenant de grappes d’agents intelligents, la vitesse de réaction reste toujours en retard d’un demi-rythme.
Qui était le plus fort par le passé et qui sera le plus rapide à l’avenir ? La Chine doit développer des capacités nationales autonomes et maîtrisées en matière de détection des vulnérabilités de l’IA. » a déclaré Zhou Hongyi.
Le paradigme de la sécurité doit passer d’une défense passive à une immunité active", a déclaré Wu Hequan. Nous devons construire un cadre systémique d’opérations de sécurité couvrant l’ensemble du cycle de vie : prédiction, défense, détection, réponse et reprise. Nous devons intégrer processus, personnel et technologies au sein d’une capacité en boucle fermée, afin que le système de sécurité puisse également disposer de capacités intelligentes de perception, de prédiction et d’adaptation, et réaliser ainsi un passage de la correction post-incident à l’alerte préventive et au blocage en temps réel.
Il ne s’agit pas simplement d’un ajout superflu, mais bien d’une reconstruction vitale des capacités. Sans immunité active, il ne peut y avoir de sécurité numérique à l’ère des agents intelligents", a déclaré Wu Hequan.
Zhao Zhiguo estime qu’il est nécessaire de mettre l’accent sur la recherche et le développement des technologies fondamentales en matière de sécurité des agents intelligents, de renforcer les investissements dans des domaines clés tels que l’interprétabilité des algorithmes, la protection de la confidentialité des données et la robustesse des systèmes, d’améliorer les capacités de défense proactive à la source et de prendre l’initiative dans le développement. Il faut accélérer la mise en place de normes de sécurité et de mécanismes d’évaluation et de certification adaptés aux caractéristiques des agents intelligents, appliquer une gestion graduée et catégorisée aux agents intelligents à haut risque, clarifier les frontières de responsabilité entre la recherche et le développement, le déploiement et l’exploitation, et garantir l’existence de règles et de réglementations applicables. Dans le cadre des normes nationales, il convient de promouvoir une intégration approfondie entre l’industrie, le milieu universitaire, la recherche et les applications, et d’accélérer l’élaboration de normes de protection couvrant l’ensemble du cycle de vie de la recherche et du développement, de la mise en œuvre, de l’exploitation et de la maintenance des agents intelligents.
Passer de la vente de produits à la vente de compétences
Selon un rapport de l’International Data Corporation (IDC), le marché chinois de la cybersécurité a connu une croissance stable, portée par le renforcement continu des politiques et réglementations, la volonté accrue des entreprises d’investir dans la sécurité, et l’application accélérée de nouvelles technologies. D’ici 2026, la taille globale du marché devrait dépasser 80 milliards de yuans, avec un taux de croissance annuel composé de 8,9 % entre 2024 et 2029. La cybersécurité est devenue une capacité fondamentale essentielle au développement de l’économie numérique.
Actuellement, les agents intelligents accélèrent leur pénétration dans des secteurs verticaux tels que la finance, la fabrication et la santé, devenant ainsi des composants centraux de systèmes commerciaux réels. Toutefois, la plupart des utilisateurs industriels ne disposent pas encore de la capacité à développer leurs propres systèmes intelligents de défense, tandis que les fournisseurs traditionnels de solutions de sécurité continuent de privilégier la vente de pare-feu, d’outils de détection, etc., ce qui engendre un désaccord manifeste entre l’offre et la demande.
« Celui qui parviendra le premier à accomplir la transformation d’un fournisseur de produits en fournisseur de services pourra prendre les devants dans le nouveau domaine de la sécurité des agents intelligents », a déclaré Wu Hequan. Les entreprises de sécurité numérique à l’ère des agents intelligents doivent passer de la vente de produits à la vente de capacités, c’est-à-dire proposer des services de sécurité externalisés couvrant l’ensemble du cycle de vie des agents intelligents : examen de la sécurité durant la phase de développement, surveillance en temps réel et réponse aux anomalies durant la phase d’exploitation, évaluation des risques et propositions de recommandations de renforcement durant la phase d’itération. Il s’agit d’un changement de paradigme et d’un obstacle que le secteur doit impérativement surmonter.
Zhao Zhiguo a suggéré la création d’une plateforme collaborative en matière de sécurité, réunissant les secteurs industriel, universitaire et de la recherche, afin d’intégrer les ressources réseau et de favoriser une coopération approfondie entre entreprises, universités et instituts de recherche dans les domaines du développement de technologies de sécurité pour agents intelligents, de la collaboration en matière de réponse aux urgences et de la promotion des meilleures pratiques. Un modèle de gouvernance devrait être mis en place, fondé sur l’orientation gouvernementale, la responsabilité des entreprises et la participation sociale, afin de relever collectivement les défis communs avec une attitude ouverte et collaborative.
Actuellement, les entreprises concernées du secteur prennent des mesures pour accélérer la formation de nouveaux talents adaptés à l’ère des agents intelligents. Lors de la 14e Conférence sur la sécurité Internet, le processus de décernement des titres de « formateur certifié en ingénierie des agents d’intelligence artificielle (ADE) 360 » et de la bourse spéciale « Talents en IA » de la Fondation caritative 360 a été lancé simultanément, offrant un support concret à la collaboration approfondie entre industrie, université et recherche, tant du point de vue de la formation des talents que de l’inclusion éducative.
Zhao Zhiguo a déclaré qu’il est nécessaire de promouvoir activement les départements gouvernementaux, les entreprises leaders et les instituts de recherche afin d’accélérer l’élaboration de normes industrielles et de normes de groupe dans des domaines tels que l’évaluation des capacités de sécurité des agents intelligents, la classification des risques, la conformité en matière de sécurité des données, etc., fournissant ainsi une base institutionnelle au développement normalisé du secteur et permettant de répondre à l’incertitude des risques liés à la sécurité grâce à la certitude d’un développement de haute qualité. En outre, il convient de participer activement à l’élaboration et à la coordination des règles mondiales de gouvernance de la sécurité de l’intelligence artificielle, de créer une plateforme de dialogue sur la sécurité des agents intelligents, d’explorer conjointement les voies de collaboration en matière de gouvernance mondiale de la cybersécurité à l’ère de l’intelligence, de construire ensemble une communauté de destin partagé dans le cyberespace et d’apporter la sagesse et la force chinoises au développement sain de l’industrie mondiale des agents intelligents.