S rýchlym vývojom technológií umelej inteligencie sa inteligentné agenti, ktoré sú dôležitým nositeľom hlbokého prepojenia umelej inteligencie a reálnej ekonomiky, výrazne ovplyvňujú výrobné a životné štýly a prekonštruujú bezpečnostné hranice.
S rýchlym vývojom technológií umelej inteligencie sa inteligentné agenti, ktoré sú dôležitým nositeľom hlbokého prepojenia umelej inteligencie a reálnej ekonomiky, výrazne ovplyvňujú výrobné a životné štýly a prekonštruujú bezpečnostné hranice.
Na nedávno konanej 14. konferencii o internetovej bezpečnosti odborníci uviedli, že by sme mali využívať základné technológie na riešenie kľúčových problémov, posilniť vnútorné kompetencie, vytvoriť pevnú bariéru prostredníctvom systémov a pravidiel a viesť normy odvetvia prostredníctvom vytvárania štandardného systému, aby sme tak vytvorili cestu súčasného rozvoja a bezpečnosti v ére agentov.
Inteligentné agenti prinášajú nové riziká.
V súčasnosti prechádza umelej inteligencia kľúčovým prechodom od veľkých modelov k inteligentným agentom. Keď začínajú inteligentné agenti rozhodovať samostatne, vyvolávať nástroje a vykonávať úlohy, vznikajú aj bezpečnostné riziká.
"V porovnaní s predchádzajúcimi informačnými systémami agenti už nie sú pasívnym nástrojom na kladenie otázok a poskytovanie odpovedí, ale majú schopnosť nezávislého vnímania, rozhodovania a vykonávania. Tento technologický skok výrazne zmenil ofenzívnu a defenzívnu situáciu v oblasti kybernetickej bezpečnosti." uviedol Zhao Zhiguo, podpredseda Čínskej internetovej asociácie a bývalý hlavný inžinier Ministerstva priemyslu a informačných technológií.
S rýchlym prenikaním inteligentných agentov do kľúčových odvetví, ako sú výroba, financie a energetika, môže akékoľvek bezpečnostné riziko v krátkom čase spôsobiť reťazovú reakciu cez siete a odvetvia prostredníctvom schopnosti inteligentných agentov samostatne plánovať a riadiť operácie, čo kladie vyššie požiadavky na prevenciu rizík a núdzové opatrenia.
Zhao Zhiguo uviedol, že ak majú inteligentné agenti schopnosť autonómneho rozhodovania, bezpečnostné riziká sa rozširujú od „technických zlyhaní“ po „stratu kontroly nad rozhodovaním“. Ak dôjde k odchýlkam alebo poruchám, inteligentné agenti môžu podniknúť kroky, ktoré sa odchyľujú od ľudských očakávaní, a ich následky sú nepredvídateľné. Toto endogénne riziko predstavuje základnú výzvu pre bezpečnostnú kontrolovateľnosť. Okrem toho inteligentné agenti v systéme pôsobia autonómne veľmi antropomorfickým spôsobom, čo ohrozuje tradičné dôverové mechanizmy založené na identite. Keď inteligentné agenti samostatne uzatvárajú zmluvy, vykonávajú transakcie a volajú prostriedky, vznikajú naliec praktické problémy, ktoré je potrebné okamžite vyriešiť: ako definovať bezpečnostné zodpovednosti a charakterizovať neoprávnené správanie.
Podľa Wu Hequana, člena Čínskej akadémie inžinierstva (CAE) a počestného predsedu Konferencie o bezpečnosti v internete, útoky prostredníctvom agentov vykazujú technické charakteristiky nezávislého rozhodovania, klastrového spolupôsobenia a nepretržitého vývoja. Tradičné kybernetické útoky veľmi závisia od manuálnych operácií, zatiaľ čo útoky riadené agentmi tento vzor zásadne menia.
Konkrétne inteligentné agenty dokážu samostatne vnímať prostredie, plánovať útočné trasy a vykonávať prienikové úlohy; navyše viaceré agenty môžu zdieľať informácie a spolupracovať. Takýto klastrový útok je možné spustiť súčasne z viacerých vstupov v veľmi krátkom čase, čím sa obranné systémy vyčerpajú odpovedaním. Ďalšou vecou, na ktorú je potrebné byť ešte pozornejší, je schopnosť inteligentných agentov neustále sa učiť a iterovať: každá konfrontácia medzi útokom a obranou sa stáva materiálom pre ich optimalizáciu, pričom útočné metódy sa v priebehu času neustále menia.
Čou Chung-i, zakladateľ skupiny 360 a predseda Konferencie o bezpečnosti v internete, sa domnieva, že umelej inteligencii sa podarilo znížiť údržbu v odvetví bezpečnosti sietí. Na príklade modelu Mythos plne automatizované schopnosti hľadania zraniteľností a zostavovania reťazcov útokov zvýšili rýchlosť objavovania zraniteľností o dve rádové veličiny a znížili náklady na menej ako jednu tisícinu.
Premena myslenia o digitálnej bezpečnosti
Podvod s totožnosťou, zlyhanie modelu, zraniteľnosti v správe oprávnení, záškodnícke vyhýbanie sa... Keď sa inteligentné agenti dostávajú do komerčnej aplikačnej fázy, neustále vznikajú rôzne nové riziká. Súčasne riziká, ako je skryté ťaženie údajov riadené umelej inteligenciou, ovplyvňujú aj presnosť modelov a spoľahlivosť rozhodnutí.
Zhao Chunjiang, člen Čínskej akadémie inžinierstva a podpredseda Čínskej asociácie umelej inteligencie, uviedol, že riziká bezpečnosti systémov umelej inteligencie sa týkajú štyroch dimenzií: vrstvy údajov, vrstvy modelov, vrstvy aplikácií a základnej vrstvy. Bezpečnostné problémy, s ktorými sa jednotlivé dimenzie stretávajú, sa navzájom líšia, a preto je potrebné prijať cieľové opatrenia.
Podľa Wu Hequana sa myšlienka bezpečnostnej práce dlhodobo zameriavala na hasenie požiarov tam, kde vzniknú. Tento pasívny režim reakcie dokáže odolať ľudským útokom, avšak v prípade nasýtených útokov zo strany klastrov inteligentných agentov je rýchlosť reakcie vždy o pol kroku pomalšia.
Kto bol v minulosti silnejší a kto bude v budúcnosti rýchlejší? Čína musí vybudovať nezávislé a kontrolovateľné schopnosti využívania zraniteľností umelej inteligencie.“ povedal Zhou Hongyi.
Paradigma bezpečnosti sa musí posunúť od pasívnej obrany k aktívnej imunite, "povedal Wu Hequan." Potrebujeme vytvoriť systematický rámec prevádzky bezpečnosti, ktorý pokrýva celý životný cyklus predikcie, obrany, detekcie, reakcie a obnovy. Potrebujeme integrovať procesy, personál a technológie do uzavretého cyklu schopností, aby bezpečnostný systém mohol tiež disponovať inteligentnými agentnými schopnosťami vnímania, predikcie a adaptácie a dosiahnuť posun od následnej opravy k predbežnému upozorneniu a blokovaniu počas procesu.
Toto nie je len ozdobenie, ale otázka života a smrti pri prebudovaní schopností. Bez aktívnej imunity nemôže v ére inteligentných agentov existovať žiadna digitálna bezpečnosť, "povedal Wu Hequan.
Zhao Zhiguo verí, že je nevyhnutné zamerať sa na výskum a vývoj kľúčových technológií pre bezpečnosť inteligentných agentov, posilniť investície do výskumu a vývoja v kľúčových oblastiach, ako sú interpretovateľnosť algoritmov, ochrana súkromia údajov a robustnosť systémov, zlepšiť schopnosti aktívnej obrany už od zdroja a prebrať iniciatívu vo vývoji. Zrýchliť vytváranie bezpečnostných noriem a mechanizmov hodnotenia a certifikácie prispôsobených špecifikám inteligentných agentov, zaviesť stupňované a klasifikované riadenie vysokorizikových inteligentných agentov, jasne vymedziť hranice zodpovednosti za výskum a vývoj, nasadenie a prevádzku a zabezpečiť, aby existovali pravidlá a predpisy, ktorým sa má dodržiavať. V rámci národného normového systému podporovať hlbokú integráciu priemyslu, akadémie, výskumu a aplikácií a zrýchliť vytváranie ochranných noriem pokrývajúcich celý životný cyklus výskumu a vývoja, implementácie, prevádzky a údržby inteligentných agentov.
Presun od predaja produktov k predaju schopností
Podľa správy International Data Corporation (IDC) čínsky trh s kybernetickou bezpečnosťou udržiava stabilný rast v dôsledku neustáleho posilňovania politík a predpisov, zvýšenej ochoty podnikov investovať do bezpečnosti a zrýchleného využívania nových technológií. Očakáva sa, že do roku 2026 celková veľkosť trhu prekročí 80 miliárd jüanov, pri čom zložená ročná miera rastu bude v období od roku 2024 do roku 2029 dosahovať 8,9 %. Kybernetická bezpečnosť sa stala nevyhnutnou základnou schopnosťou pri rozvoji digitálnej ekonomiky.
V súčasnosti sa inteligentné agenti zrýchľujú v ich proniknutí do odvetví, ako sú financie, výroba a zdravotníctvo, a stávajú sa kľúčovými komponentmi reálnych obchodných systémov. Väčšina odvetvových používateľov však zatiaľ nemá schopnosť vyvíjať vlastné inteligentné systémy ochrany a tradiční dodávatelia bezpečnostných riešení sa stále spoliehajú na predaj firewallov, nástrojov na detekciu atď., čo vedie k jasnému nesúladu medzi ponukou a dopytom.
„Ten, kto najskôr dokáže uskutočniť premenu z poskytovateľa produktov na poskytovateľa služieb, bude môcť viesť v novej oblasti bezpečnosti inteligentných agentov,“ uviedol Wu Hequan. Podniky zamerané na digitálnu bezpečnosť v ére inteligentných agentov musia prejsť od predaja produktov k predaju schopností, čo znamená poskytovanie bezpečnostných hostovaných služieb pokrývajúcich celý životný cyklus inteligentných agentov, kontrolu bezpečnosti počas fázy vývoja, vykonávanie reálneho monitorovania a reakcie na nezvyčajné udalosti počas prevádzkovej fázy, vykonávanie hodnotení rizík a formulovanie návrhov na posilnenie bezpečnosti počas fázy iterácií. Ide o zásadnú zmenu paradigmy a prekážku, ktorú musí priemysel prekonať.
Zhao Zhiguo navrhol vytvoriť spoločnú bezpečnostnú platformu pre priemysel, akadémiu a výskum, ktorá by integrovala sieťové zdroje a podporovala hlbokú spoluprácu medzi podnikmi, univerzitami a výskumnými inštitúciami pri výskume a vývoji bezpečnostných technológií pre inteligentné agenty, spolupráci pri núdzových opatreniach a propagácii najlepších postupov. Mala by sa vytvoriť správna štruktúra s vedením zo strany vlády, zodpovednosťou podnikov a účasťou spoločnosti, aby sa spoločné výzvy riešili otvoreným a spolupracujúcim prístupom.
V súčasnosti príslušné podniky v odvetví prijímajú opatrenia na zrýchlenie výchovy nových odborníkov pre éru inteligentných agentov. Počas 14. konferencie o internetovej bezpečnosti boli súčasne spustené procesy udelenia certifikátu lektora 360 Artificial Intelligence Agent Engineer (ADE) a štipendií Nadácie 360 pre AI talenty, čím sa poskytol praktický nástroj pre hlbokú spoluprácu medzi priemyslom, univerzitami a výskumom v oblasti výchovy odborníkov a inkluzívneho vzdelávania.
Zhao Zhiguo uviedol, že je potrebné aktívne podporovať vládne orgány, vedúce podniky a výskumné inštitúty, aby urýchlili vypracovanie priemyselných noriem a skupinových noriem v oblastiach hodnotenia bezpečnostných schopností inteligentných agentov, klasifikácie rizík a dodržiavania požiadaviek na bezpečnosť údajov atď., čím sa poskytne inštitucionálny základ pre štandardizovaný rozvoj odvetvia a neistota bezpečnostných rizík sa bude riešiť prostredníctvom istoty vysokej kvality rozvoja. Okrem toho by sme mali aktívne participovať na vypracúvaní a koordinácii globálnych pravidiel pre bezpečnostné riadenie umelej inteligencie, vytvoriť platformu pre bezpečnostný dialóg inteligentných agentov a spoločne preskúmavať spolupracujúcu cestu globálneho riadenia kybernetickej bezpečnosti v ére inteligencie, aby sme spoločne vytvorili komunitu zdieľaného budúceho kyberpriestoru a prispeli čínskou múdrosťou a silou k zdravému rozvoju globálneho priemyslu inteligentných agentov.