Z hitrim razvijanjem tehnologije umetne inteligence umetni agenti, kot pomembni nosilci globoke integracije umetne inteligence in dejanske ekonomije, globoko vplivajo na proizvodnjo in način življenja ter ponovno oblikujejo meje varnosti.
Z hitrim razvijanjem tehnologije umetne inteligence umetni agenti, kot pomembni nosilci globoke integracije umetne inteligence in dejanske ekonomije, globoko vplivajo na proizvodnjo in način življenja ter ponovno oblikujejo meje varnosti.
Na nedavno odigrani 14. konferenci o internetni varnosti so strokovnjaki poudarili, da moramo z osnovnimi tehnologijami reševati ključne probleme, utrditi notranje spretnosti, zgraditi trdno pregrado s sistemsko in pravilno gradnjo ter voditi industrijske standarde z izgradnjo standardnega sistema, da ustvarimo pot usklajenega razvoja in varnosti v dobi agentov.
Umetni agenti prinašajo nove tveganja
Trenutno umetna inteligenca prehaja ključen prehod od velikih modelov k umetnim agentom. Ko umetni agenti začnejo samostojno odločati, klicati orodja in izvajati naloge, se pojavijo tudi varnostna tveganja.
"V primerjavi s preteklimi informacijskimi sistemi agenti niso več orodje za vprašanja in odgovore za pasivno izvajanje, temveč jim je dana sposobnost samostojnega zaznavanja, odločanja in izvajanja. Ta skok v tehnoloških značilnostih je globoko spremenil napadalno in obrambno situacijo v omrežni varnosti." je dejal Zhao Zhiguo, podpredsednik Kitajskega interneta in nekdanji glavni inženir Ministrstva za industrijo in informacijsko tehnologijo.
Z pospešeno prodorom pametnih agentov v ključna področja, kot so proizvodnja, finance in energija, lahko vsak varnostni tveganje v kratkem času sproži verižno reakcijo po omrežjih in panogah prek avtonomne razporeditvene sposobnosti pametnih agentov, kar postavlja višje zahteve za preprečevanje tveganj in izvrševanje izrednih ukrepov.
Zhao Zhiguo je izjavil, da se ko imajo inteligentni agenti avtonomne odločitvene sposobnosti, varnostna tveganja razširijo od »tehničnih napak« do »izgube nadzora nad odločanjem«. Ko pride do odstopanj ali motenj, lahko inteligentni agenti izvajajo ukrepe, ki se razlikujejo od človeških pričakovanj, posledice pa so nepredvidljive. To notranje tveganje predstavlja temeljni izziv za varnostno nadzorljivost. Poleg tega delujejo inteligentni agenti v sistemu avtonomno in zelo antropomorfno, kar ogroža tradicionalne mehanizme zaupanja, ki temeljijo na identiteti. Ko inteligentni agenti samostojno sklepajo pogodbe, izvajajo transakcije in kličejo vire, postane določitev varnostnih odgovornosti ter opis neavtoriziranega obnašanja nujen praktični problem, ki ga je treba rešiti.
Po mnenju Wu Hequana, člana Kitajske akademije inženirstva (CAE) in častnega predsednika Konference o varnosti v internetu, napadi s posredniki kažejo tehnične značilnosti neodvisnega odločanja, skupinske sodelovanja in neprekinjene evolucije. Tradicionalni kibernetski napadi močno temeljijo na ročnih operacijah, medtem ko napadi, ki jih sprožajo posredniki, temeljno spremenijo ta vzorec.
Natančneje: pametni posredniki lahko samostojno zaznavajo okolje, načrtujejo poti napadov in izvajajo prodorne naloge; več posrednikov lahko deli informacije in sodeluje. Takšni skupinski napadi se lahko izvedejo hkrati iz več vhodov v zelo krajšem časovnem okviru, kar obrambne sisteme izčrpa pri odzivanju. Še bolj pozorni moramo biti na dejstvo, da imajo pametni posredniki sposobnost neprekinjenega učenja in ponavljajočega se izboljševanja; vsak napad in vsaka obrambna konfrontacija postaneta gradivo za njihovo optimizacijo, pri čemer se napadalne metode s časom neprestano spreminjajo.
Čou Hongji, ustanovitel skupine 360 in predsednik konference o varnosti v spletu, meni, da je umetna inteligenca prinesla preobrazbo varnostnega sektorja. Na primer model Mitos omogoča popolnoma samodejno iskanje ranljivosti in gradnjo napadalnih verig, kar poveča hitrost odkrivanja ranljivosti za dve velikostni reda in zmanjša stroške na manj kot tisočinko.
Preobrazba miselnega modela digitalne varnosti
Falsifikacija identitete, odpoved modela, ranljivosti pri upravljanju dovoljenj, zlorabna izsilitev … Ko inteligentni agenti vstopajo v komercialno fazo uporabe, se nadaljuje pojav novih tveganj. Hkrati tveganja, kot je skrito kopanje podatkov z uporabo umetne inteligence, vplivajo tudi na natančnost modela in zanesljivost odločitev.
Zhao Chunjiang, član Akademije za inženirstvo Kitajske (CAE) in podpredsednik Kitajskega združenja za umetno inteligenco, je predstavil, da varnostna tveganja AI-sistemov zajemajo štiri dimenzije: plast podatkov, plast modela, plast uporabe in osnovno plast. Varnostni problemi, s katerimi se soočajo različne dimenzije, so prav tako različni, zato so potrebne ciljne ukrepe.
Po mnenju Wu Hequana je bila ideja varnostnega dela dolgo časa usmerjena v gašenje požarov tam, kjer izbruhnejo. Ta pasivni način odziva lahko vzdrži človeške napade, vendar ob nasititvenih napadih skupin pametnih agentov hitrost odziva vedno zaostaja za pol koraka.
Kdo je bil prej močnejši in kdo bo v prihodnosti hitrejši? Kitajska mora razviti neodvisne in nadzorljive sposobnosti za odkrivanje ranljivosti AI. »Je povedal Zhou Hongyi.
Varnostni paradigma mora preiti s pasivne obrambe na aktivno imunost,« je dejal Wu Hequan. »Potrebujemo sistemski okvir za varnostne operacije, ki zajema celotno življenjsko dobo napovedovanja, obrambe, zaznavanja, odziva in obnovitve. Potrebujemo integracijo procesov, osebja in tehnologije v zaprtoločno sposobnost, da varnostni sistem pridobi tudi inteligentne zaznavne, napovedne in prilagodljive sposobnosti ter doseže premik od popravka po incidentu k opozorilom pred incidentom in blokiranju med izvajanjem.
To ni le dodatna izboljšava, temveč rekonstrukcija sposobnosti, od katere je odvisna samostalna obstojnost. Brez aktivne imunosti ne more biti digitalne varnosti v dobi inteligentnih agentov,« je dejal Wu Hequan.
Zhao Zhiguo verjame, da je nujno poudariti raziskave in razvoj jedrnih tehnologij za varnost inteligentnih agentov, okrepiti naložbe v raziskave in razvoj na ključnih področjih, kot so razlagljivost algoritmov, zaščita zasebnosti podatkov in odpornost sistemov, izboljšati sposobnosti proaktivne obrambe že na izvirni ravni ter prevzeti pobudo pri razvoju. Pospešiti ustanavljanje varnostnih standardov in mehanizmov za ocenjevanje in potrjevanje, ki ustrezajo značilnostim inteligentnih agentov, izvajati razvrstitev in klasifikacijo visoko tveganih inteligentnih agentov, pojasniti meje odgovornosti za raziskave in razvoj, namestitev ter obratovanje ter zagotoviti, da obstajajo pravila in predpisi, ki jih je mogoče upoštevati. V okviru nacionalnih standardov spodbujati globoko integracijo industrije, akademije, raziskav in uporabe ter pospeševati oblikovanje zaščitnih standardov, ki pokrivajo celoten življenjski cikel raziskav in razvoja, izvedbe, obratovanja in vzdrževanja inteligentnih agentov.
Premik s prodaje izdelkov na prodajo sposobnosti
Glede na poročilo Mednarodnega podatkovnega centra (IDC) se kitajski trg za kibernetsko varnost zaradi stalnega okrepljanja politik in predpisov, povečane pripravljenosti podjetij za naložbe v varnost ter pospešene uporabe novih tehnologij redno razvija. Pričakuje se, da bo do leta 2026 skupna velikost trga presegla 80 milijard juanov, s povprečno letno stopnjo rasti 8,9 % v obdobju od leta 2024 do leta 2029. Kibernetska varnost je postala bistvena temeljna sposobnost pri razvoju digitalne ekonomije.
Trenutno se pametni agenti vse hitreje vpeljujejo v vertikalne industrije, kot so finance, proizvodnja in zdravstvo, kjer postajajo jedro dejanskih poslovnih sistemov. Večina industrijskih uporabnikov pa še vedno nima sposobnosti razvijati lastnih pametnih varnostnih sistemov, tradicionalni varnostni ponudniki pa so še naprej navajeni prodaje požarnih zidov, orodij za zaznavanje itd., kar povzroča očitno neskladje med ponudbo in povpraševanjem.
Tisti, ki bo najprej uspel izvrniti prehod od ponudnika izdelkov k ponudniku storitev, bo lahko vodil na novem področju varnosti inteligentnih agentov," je dejal Wu Hequan. Podjetja za digitalno varnost v dobi inteligentnih agentov morajo prekiniti prodajo izdelkov in začeti prodajati sposobnosti, kar pomeni, da morajo ponujati gostitvene storitve varnosti, ki pokrivajo celotno življenjsko dobo inteligentnih agentov: pregled varnosti v fazi razvoja, spremljanje v realnem času in odzivanje na nenavadne dogodke v fazi obratovanja ter ocenjevanje tveganj in predlaganje ukrepov za okrepitev v fazi nadgrajevanja. To je sprememba paradigme in ovira, ki jo industrija mora premagati.
Zhao Zhiguo je predlagal ustanovitev sodelovalne varnostne platforme med industrijo, akademijo in raziskavami za integracijo omrežnih virov ter spodbujanje globokega sodelovanja podjetij, univerz in raziskovalnih institucij pri razvoju tehnologije varnosti inteligentnih agentov, sodelovanju pri izrednih ukrepih ter spodbujanju najboljših praks. Treba je zgraditi upravljalni model z vodstvom vlade, odgovornostjo podjetij in sodelovanjem družbe, da se skupni izzivi rešujejo z odprtim in sodelovalnim pristopom.
Trenutno so podjetja v povezanih panogah sprejela ukrepe za pospeševanje izobraževanja novih strokovnjakov za dobo inteligentnih agentov. Med 14. konferenco o internetni varnosti so hkrati zagnali postopek podelitve certifikata 360 inženirja za umetne inteligentne agente (ADE) ter posebne štipendije ustanove 360 za razvoj talenta na področju umetne inteligence, s čimer so zagotovili praktično platformo za podrobno sodelovanje industrije, univerz in raziskovalnih institucij pri izobraževanju kadrov in vključujočem izobraževanju.
Zhao Zhiguo je izjavil, da je potrebno aktivno spodbujati vladne oddelke, vodilna podjetja in raziskovalne inštitute, da pospešijo razvoj industrijskih standardov in skupinskih standardov na področjih ocenjevanja varnostnih zmogljivosti inteligentnih agentov, razvrščanja tveganj in skladnosti z varnostjo podatkov ter s tem zagotovijo institucionalno osnovo za standardiziran razvoj panoge in z določenostjo kakovostnega razvoja obravnavajo nezanesljivost varnostnih tveganj. Poleg tega naj aktivno sodelujemo pri oblikovanju in usklajevanju globalnih pravil za varnost umetne inteligence, ustanovimo platformo za dialog o varnosti inteligentnih agentov ter skupaj raziskujemo sodelovalne poti globalnega upravljanja varnosti omrežij v dobi inteligence, da skupaj ustvarimo skupno bodočnost v kibernetski prostor in prispevamo kitajsko modrost in moč k zdravemu razvoju globalne panoge inteligentnih agentov.