Všechny kategorie

Vytváření bezpečné obranné linie pro rozvoj inteligentních agentů

2026-11-18
S rychlou iterací technologií umělé inteligence se inteligentní agenti, jako důležitý nosič hluboké integrace umělé inteligence a reálné ekonomiky, výrazně ovlivňují způsoby výroby i životní styl a přeformulují hranice bezpečnosti.
S rychlou iterací technologií umělé inteligence se inteligentní agenti, jako důležitý nosič hluboké integrace umělé inteligence a reálné ekonomiky, výrazně ovlivňují způsoby výroby i životní styl a přeformulují hranice bezpečnosti.
Na nedávno konané 14. konferenci o internetové bezpečnosti odborníci uvedli, že je třeba využít klíčové technologie k řešení zásadních problémů, posílit vnitřní dovednosti, vytvořit pevnou bariéru prostřednictvím systémového a pravidlového rámce a vést normy odvětví prostřednictvím budování standardního systému, aby byla v éře agentů vytvořena cesta koordinovaného rozvoje a bezpečnosti.
  Inteligentní agenti přinášejí nová rizika
V současné době prochází umělá inteligence klíčovým přechodem od velkých modelů k inteligentním agentům. Jakmile začnou inteligentní agenti rozhodovat samostatně, vyvolávat nástroje a provádět úkoly, vznikají také bezpečnostní rizika.
"Ve srovnání s minulými informačními systémy už agenti nejsou pasivní nástroj pro kladení otázek a poskytování odpovědí, ale mají schopnost samostatného vnímání, rozhodování a provádění. Tento technologický skok zásadně změnil obrannou i útočnou situaci v oblasti kybernetické bezpečnosti." uvedl Zhao Zhiguo, místopředseda Čínské internetové asociace a bývalý hlavní inženýr Ministerstva průmyslu a informačních technologií.
S urychleným pronikáním inteligentních agentů do klíčových odvětví, jako jsou výroba, finance a energetika, může jakékoliv bezpečnostní riziko v krátké době vyvolat řetězovou reakci napříč sítěmi a odvětvími prostřednictvím autonomního plánování inteligentních agentů, což klade vyšší požadavky na prevenci rizik a nouzové opatření.
Zhao Zhiguo uvedl, že jakmile inteligentní agenti získají schopnost autonomního rozhodování, bezpečnostní rizika se rozšíří od „technických poruch“ po „ztrátu kontroly nad rozhodováním“. Jakmile dojde k odchylkám nebo poruchám, mohou inteligentní agenti podniknout kroky, které se odchylují od lidských očekávání, a jejich důsledky jsou nepředvídatelné. Toto vnitřní riziko představuje zásadní výzvu pro bezpečnostní řiditelnost. Kromě toho inteligentní agenti v systému působí autonomně velmi antropomorfním způsobem, čímž tradiční důvěryhodné mechanismy založené na identitě čelí riziku selhání. Když inteligentní agenti samostatně uzavírají smlouvy, provádějí transakce a vyvolávají prostředky, stává se naléhavým praktickým problémem definice bezpečnostních odpovědností a charakterizace neoprávněného chování.
Podle Wu Hequana, člena Čínské akademie inženýrství (CAE) a čestného předsedy Konference o bezpečnosti internetu, útoky prostřednictvím agentů vykazují technické charakteristiky nezávislého rozhodování, společné činnosti skupin agentů a neustálého vývoje. Tradiční kybernetické útoky silně závisí na ručních operacích, zatímco útoky řízené agenty tento vzor zásadně mění.
Konkrétně si inteligentní agenti dokáží samostatně vnímat prostředí, plánovat útočné cesty a provádět průnikové úkoly; navíc si více agentů může sdílet informace a spolupracovat. Tento shlukový útok lze spustit současně z několika vstupních bodů v velmi krátkém čase, čímž se obranné systémy vyčerpají reakcí na něj. Je třeba být ještě bdělejší vzhledem k tomu, že inteligentní agenti mají schopnost neustálého učení a iterace – každý útok i každá obranná konfrontace se stává podkladem pro jejich optimalizaci, a proto se útočné metody s časem neustále mění.
Čou Chung-ji, zakladatel skupiny 360 a předseda Konference o bezpečnosti v internetu, se domnívá, že umělá inteligence zásadně změnila údržbu v odvětví kybernetické bezpečnosti. Například model Mythos s plně automatickým vyhledáváním zranitelností a sestavováním řetězců útoků zvýšil rychlost objevování zranitelností o dvě řády a snížil náklady na méně než jednu tisícinu.
  Transformace myšlení v oblasti digitální bezpečnosti
Podvrh totožnosti, selhání modelu, zranitelnosti správy oprávnění, zlomyslné vydírání… Jak inteligentní agenti vstupují do komerčního aplikačního stadia, neustále vznikají nové rizika. Současně mají rizika jako skryté dolování dat řízené umělou inteligencí vliv na přesnost modelů a spolehlivost rozhodování.
Zhao Chunjiang, člen Čínské akademie inženýrství (CAE) a místopředseda Čínské společnosti umělé inteligence, uvedl, že bezpečnostní rizika systémů umělé inteligence zahrnují čtyři rozměry: vrstvu dat, vrstvu modelů, aplikační vrstvu a základní vrstvu. Bezpečnostní problémy, jimž čelí jednotlivé rozměry, se navzájem liší, a proto je nutné uplatňovat cílená opatření.
Podle Wu Hequana byla myšlenka bezpečnostní práce dlouhou dobu zaměřena na hašení požárů, kdekoliv vzniknou. Tento pasivní režim reakce dokáže odolat útokům lidí, avšak před nasycenými útoky inteligentních agentních skupin je rychlost reakce vždy o půl taktu pomalejší.
Kdo byl dříve silnější a kdo bude v budoucnu rychlejší? Čína musí vybudovat nezávislé a ovladatelné schopnosti využívání zranitelností umělé inteligence.“ řekl Zhou Hongyi.
Paradigma zabezpečení se musí posunout od pasivní obrany k aktivní imunitě, řekl Wu Hequan. Musíme vytvořit systematický rámec provozu zabezpečení, který pokrývá celý životní cyklus – předpověď, obranu, detekci, reakci a obnovu. Je třeba integrovat procesy, personál a technologie do uzavřeného cyklu schopností, aby zabezpečovací systém disponoval také inteligentními agenty s vnímkáním, předpovědí a adaptabilními schopnostmi a dosáhl tak posunu od následné opravy k předchozímu varování a blokování během procesu.
Toto není jen zdobení koláče, ale otázka života a smrti při přestavbě schopností. Bez aktivní imunity nemůže v éře inteligentních agentů existovat žádné digitální zabezpečení, řekl Wu Hequan.
Zhao Zhiguo se domnívá, že je nutné zaměřit pozornost na výzkum a vývoj základních technologií pro bezpečnost inteligentních agentů, posílit investice do výzkumu a vývoje v klíčových oblastech, jako je interpretovatelnost algoritmů, ochrana soukromí dat a robustnost systémů, zlepšit schopnosti aktivní obrany již od počátku vývoje a převzít iniciativu ve vývoji. Je třeba urychlit vytváření bezpečnostních standardů a mechanismů pro hodnotící certifikaci přizpůsobených charakteristikám inteligentních agentů, zavést klasifikované a kategorizované řízení vysoce rizikových inteligentních agentů, jasně vymezit hranice odpovědnosti za výzkum a vývoj, nasazení a provoz a zajistit, aby existovaly pravidla a předpisy, kterým lze následovat. V rámci národního standardního rámce je třeba podporovat hlubokou integraci průmyslu, akademické sféry, výzkumu a aplikací a urychlit vytvoření ochranných standardů pokrývajících celý životní cyklus výzkumu a vývoje, implementace, provozu a údržby inteligentních agentů.
 Přesun od prodeje produktů k prodeji schopností
Podle zprávy International Data Corporation (IDC) čínský trh s kyberbezpečností udržuje stabilní růst díky neustálému posilování politik a předpisů, zvýšené ochotě podniků investovat do bezpečnosti a urychlenému nasazování nových technologií. Předpokládá se, že do roku 2026 celková velikost trhu překročí 80 miliard jüanů, přičemž složená roční míra růstu bude v letech 2024 až 2029 činit 8,9 %. Kyberbezpečnost se stala nezbytnou základní schopností pro rozvoj digitální ekonomiky.
V současné době se inteligentní agenti zrychlují ve svém pronikání do vertikálních odvětví, jako jsou finance, průmysl a zdravotnictví, a stávají se klíčovými komponenty skutečných podnikových systémů. Většina uživatelů v těchto odvětvích však zatím nemá schopnost vyvíjet vlastní inteligentní bezpečnostní systémy a tradiční dodavatelé bezpečnostních řešení stále preferují prodej firewallů, nástrojů pro detekci atd., což vede k zřejmému nesouladu mezi nabídkou a poptávkou.
„Kdo první dokáže dokončit přeměnu z dodavatele produktů na poskytovatele služeb, bude mít přednost v novém oboru bezpečnosti inteligentních agentů,“ uvedl Wu Hequan. Podniky zabývající se digitální bezpečností v éře inteligentních agentů musí přejít od prodeje produktů k prodeji schopností, což znamená poskytování služeb spravované bezpečnosti pokrývajících celý životní cyklus inteligentních agentů: kontrolu bezpečnosti v fázi vývoje, provádění reálného monitoringu a reakce na neobvyklé události v provozní fázi, provedení hodnocení rizik a předložení návrhů na posílení bezpečnosti v fázi iterací. Jedná se o změnu paradigmatu i o překážku, kterou musí průmysl překonat.
Zhao Zhiguo navrhl zřízení společné bezpečnostní platformy mezi průmyslem, akademickou sférou a výzkumem za účelem integrace síťových zdrojů a podporování hluboké spolupráce mezi podniky, univerzitami a výzkumnými institucemi při výzkumu a vývoji technologií zabezpečení inteligentních agentů, společné reakci na mimořádné události a propagaci osvědčených postupů. Měl by být vytvořen model správy s vládním vedením, odpovědností podniků a účastí společnosti, aby se společným výzvám čelilo otevřeným a spolupracujícím přístupem.
V současné době příslušné podniky v odvětví podnikají k urychlení výchovy nových odborníků pro éru inteligentních agentů. Během 14. konference o internetové bezpečnosti byly současně spuštěny procesy udílení certifikátu lektora 360 Artificial Intelligence Agent Engineer (ADE) a stipendia Nadace 360 pro talentované specialisty v oblasti umělé inteligence, čímž byl poskytnut praktický nástroj pro podrobnou spolupráci průmyslu, univerzit a výzkumných institucí z hlediska výchovy odborníků i inkluzivního vzdělávání.
Zhao Zhiguo uvedl, že je nutné aktivně podporovat vládní orgány, významné podniky a výzkumné ústavy, aby urychlily vypracování průmyslových norem a skupinových norem v oblastech hodnocení bezpečnostních schopností inteligentních agentů, klasifikace rizik a souladu s požadavky na bezpečnost dat, čímž poskytnou institucionální základ pro standardizovaný rozvoj odvětví a sníží nejistotu bezpečnostních rizik prostřednictvím jistoty vysoce kvalitního rozvoje. Kromě toho bychom měli aktivně účastnit tvorby a koordinace globálních pravidel pro bezpečnostní řízení umělé inteligence, vytvořit platformu pro bezpečnostní dialog inteligentních agentů a společně zkoumat cesty ke spolupráci v oblasti globálního řízení kybernetické bezpečnosti v éře inteligence, abychom společně postavili komunitu sdíleného budoucího prostoru v kyberprostoru a přispěli čínskou moudrostí a silou k zdravému rozvoji globálního průmyslu inteligentních agentů.

Facebook Facebook
Facebook
Whatsapp Whatsapp
Whatsapp