Met de snelle evolutie van kunstmatige-intelligentietechnologie beïnvloeden intelligente agents, als belangrijke dragers voor de diepe integratie van kunstmatige intelligentie en de reële economie, productie- en levenswijzen op diepe wijze en herbouwen ze veiligheidsgrenzen.
Met de snelle evolutie van kunstmatige-intelligentietechnologie beïnvloeden intelligente agents, als belangrijke dragers voor de diepe integratie van kunstmatige intelligentie en de reële economie, productie- en levenswijzen op diepe wijze en herbouwen ze veiligheidsgrenzen.
Tijdens de onlangs gehouden 14de Internetveiligheidsconferentie stelden experts dat we kerntechnologie moeten inzetten om cruciale problemen aan te pakken en interne vaardigheden te versterken, een solide barrière moeten opbouwen via systeem- en regelopbouw, en brancheverrichtingen moeten leiden via standaardsysteemopbouw, om zo een traject te creëren waarbij ontwikkeling en veiligheid in de agententijd hand in hand gaan.
Intelligente agents brengen nieuwe risico’s met zich mee
Op dit moment ondergaat kunstmatige intelligentie een cruciale overgang van grote modellen naar intelligente agents. Zodra intelligente agents autonome beslissingen gaan nemen, tools gaan aanroepen en taken gaan uitvoeren, ontstaan er ook veiligheidsrisico’s.
„In vergelijking met eerdere informatiesystemen zijn agents niet langer een passief vraag-en-antwoordhulpmiddel, maar beschikken nu over het vermogen tot zelfstandige waarneming, besluitvorming en uitvoering. Deze technologische doorbraak heeft de aanval- en verdedigingspositie op het gebied van netwerkbeveiliging grondig gewijzigd.“ aldus Zhao Zhiguo, vicevoorzitter van de China Internet Association en voormalig hoofdingenieur van het Ministerie van Industrie en Informatietechnologie.
Met de versnelde doordringing van intelligente agents in cruciale sectoren zoals productie, financiën en energie kan elk beveiligingsrisico binnen korte tijd via de autonome planningcapaciteit van intelligente agents een kettingreactie veroorzaken die zich uitstrekt over netwerken en sectoren, wat hogere eisen stelt aan risicopreventie en noodrespons.
Zhao Zhiguo stelde dat, zodra intelligente agents autonome besluitvormingscapaciteiten hebben, de veiligheidsrisico’s zich uitstrekken van ‘technische storingen’ tot ‘verlies van controle over besluitvorming’. Zodra afwijkingen of verstoringen optreden, kunnen intelligente agents acties ondernemen die afwijken van menselijke verwachtingen, en de gevolgen zijn onvoorspelbaar. Dit endogene risico vormt een fundamentele uitdaging voor de veiligheidsbeheersbaarheid. Bovendien opereren intelligente agents op autonome wijze in het systeem op een zeer antropomorfe manier, waardoor traditionele vertrouwensmechanismen op basis van identiteit het risico lopen te mislukken. Wanneer intelligente agents autonoom contracten ondertekenen, transacties uitvoeren en bronnen aanroepen, is het definiëren van veiligheidsverantwoordelijkheden en het karakteriseren van niet-geautoriseerd gedrag geworden een dringend praktisch probleem dat moet worden opgelost.
Volgens Wu Hequan, lid van de Chinese Academie voor Technologie (CAE) en erevoorzitter van de Internet Security Conference, kenmerken agentaanvallen zich door onafhankelijk besluitvormingsvermogen, groepscoöperatie en continue evolutie. Traditionele cyberaanvallen zijn sterk afhankelijk van handmatige operaties, terwijl agentgestuurde aanvallen dit patroon fundamenteel veranderen.
Specifiek kunnen intelligente agents zelfstandig hun omgeving waarnemen, aanvalsroutes plannen en penetratietaken uitvoeren; bovendien kunnen meerdere agents informatie delen en samenwerken. Deze gegroepeerde aanval kan binnen een zeer korte tijd gelijktijdig vanuit meerdere toegangspunten worden gestart, waardoor defensiesystemen overbelast raken door het voortdurend reageren. Wat extra waakzaamheid vereist, is dat intelligente agents in staat zijn om continu te leren en zich te verbeteren: elke confrontatie tussen aanval en verdediging wordt materiaal voor hun optimalisatie, zodat aanvalsmethoden zich voortdurend ontwikkelen.
Zhou Hongyi, oprichter van 360 Group en voorzitter van de Internet Security Conference, is van mening dat AI onderhoud heeft gebracht naar de netwerkbeveiligingssector. Neem als voorbeeld het Mythos-model: de volledig geautomatiseerde mogelijkheden voor kwetsbaarheidsdetectie en aanvalsketenopbouw hebben de snelheid van kwetsbaarheidsontdekking met twee ordes van grootte verhoogd en de kosten tot minder dan een duizendste teruggebracht.
De transformatie van digitale beveiligingsdenken
Identiteitsvervalsing, modelstoringen, kwetsbaarheden in toegangsbeheer, kwaadaardige afpersing… Naarmate intelligente agents de commerciële toepassingsfase binnengaan, blijven diverse nieuwe risico’s zich manifesteren. Tegelijkertijd hebben risico’s zoals verborgen datamining, aangestuurd door kunstmatige intelligentie, ook invloed op de nauwkeurigheid van modellen en de betrouwbaarheid van besluitvorming.
Zhao Chunjiang, lid van de Chinese Academie voor Technische Wetenschappen (CAE) en vicevoorzitter van de Chinese Vereniging voor Kunstmatige Intelligentie, legde uit dat de veiligheidsrisico’s van AI-systemen vier dimensies omvatten: de gegevenslaag, de modelslaag, de toepassingslaag en de basislaag. De veiligheidsproblemen waarmee de verschillende dimensies worden geconfronteerd, zijn eveneens verschillend, waardoor gerichte maatregelen nodig zijn.
Volgens Wu Hequan is het veiligheidsdenkbeeld gedurende lange tijd geweest om branden te blussen waar ze ook opdoken. Deze passieve reactiemanier kan menselijke aanvallen weerstaan, maar bij verzadigde aanvallen door clusters van intelligente agents blijft de reactiesnelheid altijd een halve slag achter.
Wie was er vroeger sterker en wie zal er in de toekomst sneller zijn? China moet onafhankelijke en beheersbare capaciteiten ontwikkelen voor het opsporen van kwetsbaarheden in AI-systemen.” Zei Zhou Hongyi.
Het veiligheidsparadigma moet verschuiven van passieve verdediging naar actieve immuniteit," zei Wu Hequan. "We moeten een systematisch kader voor beveiligingsoperaties opbouwen dat de gehele levenscyclus bestrijkt: voorspelling, verdediging, detectie, reactie en herstel. We moeten processen, personeel en technologie integreren in een gesloten luscapaciteit, zodat het beveiligingssysteem ook intelligente agentwaarneming, voorspellings- en adaptieve capaciteiten heeft, en zo een verschuiving bewerkstelligt van nabetrekking naar voorafgaande waarschuwing en blokkering tijdens de uitvoering.
Dit is niet zomaar een extra toevoeging, maar een levens- en doodreconstructie van capaciteiten. Zonder actieve immuniteit kan er in het tijdperk van intelligente agents geen digitale veiligheid bestaan," zei Wu Hequan.
Zhao Zhiguo is van mening dat het noodzakelijk is om de onderzoek- en ontwikkelingsinspanningen op het gebied van kerntechnologieën voor de beveiliging van intelligente agents nadrukkelijk te ondersteunen, de R&D-investeringen in cruciale domeinen zoals algoritme-interpretatie, bescherming van gegevensprivacy en systeemrobustheid te versterken, proactieve verdedigingsmogelijkheden aan de bron te verbeteren en het initiatief in de ontwikkeling te nemen. De opstelling van beveiligingsnormen en evaluatie- en certificeringsmechanismen die aansluiten bij de kenmerken van intelligente agents moet worden versneld; er moet een gegradeerde en geclassificeerde aanpak worden toegepast voor intelligente agents met een hoog risico, de verantwoordelijkheidsgebieden voor onderzoek en ontwikkeling, implementatie en exploitatie moeten duidelijk worden omschreven, en er moet worden gewaarborgd dat regels en voorschriften bestaan om aan te houden. Binnen het kader van de nationale normen moet de diepe integratie van industrie, academie, onderzoek en toepassing worden bevorderd, en moet de opstelling van beschermingsnormen die de volledige levenscyclus van onderzoek en ontwikkeling, implementatie, exploitatie en onderhoud van intelligente agents bestrijken, worden versneld.
Schakelen van het verkopen van producten naar het verkopen van vaardigheden
Volgens een rapport van International Data Corporation (IDC) heeft de Chinese cybersecuritymarkt een stabiele groei gehandhaafd dankzij de voortdurende versterking van beleid en regelgeving, een grotere bereidheid van bedrijven om in beveiliging te investeren en een versnelde toepassing van nieuwe technologieën. Er wordt verwacht dat de totale marktomvang tegen 2026 meer dan 80 miljard yuan zal bedragen, met een samengestelde jaarlijkse groeivoet van 8,9% van 2024 tot 2029. Cybersecurity is uitgegroeid tot een essentiële basisvaardigheid voor de ontwikkeling van de digitale economie.
Op dit moment dringen intelligente agents steeds sneller door in verticale sectoren zoals financiën, productie en gezondheidszorg, en worden zij de kerncomponenten van echte zakelijke systemen. De meeste gebruikers in deze sectoren beschikken echter nog niet over de mogelijkheid om hun eigen intelligente beveiligingssystemen te ontwikkelen, terwijl traditionele beveiligingsaanbieders nog steeds gewend zijn om brandmuren, detectiehulpmiddelen en dergelijke te verkopen, wat leidt tot een duidelijke mismatch tussen vraag en aanbod.
Wie als eerste de omzetting van productleverancier naar dienstverlener voltooit, zal de leiding kunnen nemen op het nieuwe gebied van beveiliging van intelligente agents", zei Wu Hequan. Digitale beveiligingsbedrijven in het tijdperk van intelligente agents moeten overstappen van het verkopen van producten naar het verkopen van capaciteiten, wat betekent dat zij beveiligingshostingservices moeten aanbieden die de gehele levenscyclus van intelligente agents bestrijken: beveiligingsbeoordeling tijdens de ontwikkelingsfase, real-time bewaking en reactie op afwijkingen tijdens de operationele fase, en risicobeoordelingen uitvoeren en versterkingsvoorstellen doen tijdens de iteratiefase. Dit is een paradigma-shift en een hindernis die de sector moet overwinnen.
Zhao Zhiguo stelde voor om een samenwerkingsplatform voor veiligheid tussen industrie, onderwijs en onderzoek op te zetten, om netwerkbronnen te integreren en diepgaande samenwerking tussen bedrijven, universiteiten en onderzoeksinstituten te bevorderen op het gebied van onderzoek en ontwikkeling van beveiligingstechnologie voor intelligente agents, samenwerking bij noodsituaties en verspreiding van beste praktijken. Er dient een bestuursmodel te worden opgebouwd met overheidsleiding, verantwoordelijkheid van bedrijven en maatschappelijke participatie, om gezamenlijke uitdagingen met een open en samenwerkende houding aan te pakken.
Op dit moment nemen relevante bedrijven uit de branche maatregelen om de opleiding van nieuwe talenten voor het tijdperk van intelligente agents te versnellen. Tijdens de 14de Internet Security Conference werden tegelijkertijd de certificeringsprocedure voor 360 Artificial Intelligence Agent Engineer (ADE)-docenten en de 360 Public Welfare Foundation AI Talent Special Scholarship gelanceerd, wat een praktische basis biedt voor diepgaande samenwerking op onderwijsgebied tussen industrie, universiteit en onderzoek, vanuit de perspectieven van talentontwikkeling en inclusief onderwijs.
Zhao Zhiguo verklaarde dat het noodzakelijk is om overheidsinstanties, toonaangevende ondernemingen en onderzoeksinstituten actief te steunen bij het versnellen van de ontwikkeling van branche- en groepsstandaarden op gebieden als beveiligingscapaciteitsbeoordeling van intelligente agents, risicoclassificatie, naleving van gegevensbeveiliging, enzovoort, om een institutionele basis te bieden voor de gestandaardiseerde ontwikkeling van de sector en de onzekerheid rond beveiligingsrisico’s aan te pakken met de zekerheid van hoogwaardige ontwikkeling. Daarnaast moeten we actief deelnemen aan de opstelling en coördinatie van wereldwijde regels voor AI-beveiligingsbestuur, een dialoogplatform voor beveiliging van intelligente agents opzetten, gezamenlijk de samenwerkingsweg voor wereldwijd netwerkbeveiligingsbestuur in het tijdperk van intelligentie verkennen, gezamenlijk een gemeenschap van gedeelde toekomst in cyberspace opbouwen en Chinese kennis en kracht bijdragen aan de gezonde ontwikkeling van de wereldwijde industrie van intelligente agents.