Wszystkie kategorie

Tworzenie bezpiecznej linii obrony dla rozwoju inteligentnych agentów

2026-11-18
Wraz z szybką ewolucją technologii sztucznej inteligencji inteligentne agenty, jako istotny nośnik głębokiej integracji sztucznej inteligencji z rzeczywistą gospodarką, wywierają znaczący wpływ na sposób produkcji i życie codzienne oraz przebudowują granice bezpieczeństwa.
Wraz z szybką ewolucją technologii sztucznej inteligencji inteligentne agenty, jako istotny nośnik głębokiej integracji sztucznej inteligencji z rzeczywistą gospodarką, wywierają znaczący wpływ na sposób produkcji i życie codzienne oraz przebudowują granice bezpieczeństwa.
Na niedawno odbyjącej się 14. Konferencji Bezpieczeństwa Internetowego eksperci stwierdzili, że należy wykorzystywać kluczowe technologie do rozwiązywania podstawowych problemów, wzmocnić kompetencje wewnętrzne, budować solidne bariery poprzez tworzenie systemów i regulaminów oraz kierować normami branżowymi poprzez rozwój systemu standardów, aby stworzyć ścieżkę współbieżnego rozwoju i bezpieczeństwa w erze agentów.
  Inteligentne agenty niosą nowe zagrożenia
Obecnie sztuczna inteligencja przechodzi kluczowy etap przejścia od dużych modeli do inteligentnych agentów. Gdy inteligentne agenty zaczynają podejmować niezależne decyzje, wywoływać narzędzia oraz wykonywać zadania, pojawiają się również ryzyka bezpieczeństwa.
«W porównaniu z poprzednimi systemami informacyjnymi agenty przestali być jedynie narzędziem do zadawania pytań i otrzymywania odpowiedzi w trybie biernego wykonywania poleceń – otrzymali zdolność niezależnego postrzegania, podejmowania decyzji oraz wykonywania działań. Ten skok w cechach technologicznych głęboko zmienił sytuację ofensywną i defensywną w zakresie bezpieczeństwa sieciowego» – powiedział Zhao Zhiguo, wiceprezes Chińskiego Stowarzyszenia Internetu oraz były główny inżynier Ministerstwa Przemysłu i Technologii Informacyjnych.
Wraz z przyspieszoną penetracją inteligentnych agentów do kluczowych obszarów, takich jak przemysł, finanse i energetyka, każde ryzyko bezpieczeństwa może w krótkim czasie wywołać reakcję łańcuchową obejmującą sieci i sektory gospodarki dzięki możliwości autonomicznego planowania działań przez inteligentne agenty, co stawia wyższe wymagania wobec zapobiegania ryzyku oraz reagowania awaryjnego.
Zhao Zhiguo stwierdził, że gdy agenty inteligentne uzyskają zdolność do autonomicznych decyzji, zagrożenia bezpieczeństwa rozszerzają się od „awarii technicznych” do „utraty kontroli nad podejmowaniem decyzji”. Gdy wystąpią odchylenia lub zakłócenia, agenty inteligentne mogą podjąć działania odstające od oczekiwań ludzi, a ich skutki są nieprzewidywalne. To zagrożenie wewnętrzne stawia fundamentalne wyzwanie dla kontrolowalności bezpieczeństwa. Ponadto agenty inteligentne funkcjonują w systemie w sposób autonomiczny i wysoce antropomorficzny, co naraża tradycyjne mechanizmy zaufania oparte na tożsamości na ryzyko awarii. Gdy agenty inteligentne samodzielnie zawierają umowy, realizują transakcje i wywołują zasoby, definiowanie odpowiedzialności za bezpieczeństwo oraz charakterystyka zachowań niedozwolonych stają się pilnymi, praktycznymi problemami wymagającymi rozwiązania.
Zgodnie z Wu Hequanem, członkiem Chińskiej Akademii Inżynierii (CAE) i honorowym przewodniczącym Konferencji Bezpieczeństwa Internetowego, ataki wykonywane przez agenty cechują się technicznymi cechami niezależnego podejmowania decyzji, współpracy w grupach oraz ciągłej ewolucji. Tradycyjne ataki cybernetyczne w dużym stopniu polegają na operacjach wykonywanych ręcznie, podczas gdy ataki napędzane przez agenty fundamentalnie zmieniają ten wzorzec.
Konkretnie inteligentne agenty mogą niezależnie postrzegać otoczenie, planować ścieżki ataku oraz wykonywać zadania penetracyjne, a wiele agentów może dzielić się informacjami i współpracować. Taki skupiony atak może zostać uruchomiony równocześnie z wielu wejść w bardzo krótkim czasie, co doprowadza systemy obronne do wyczerpania w trakcie reagowania. Co wymaga jeszcze większej czujności, to zdolność inteligentnych agentów do ciągłego uczenia się i iterowania – każda konfrontacja między atakiem a obroną staje się materiałem do ich optymalizacji, a metody ataku ulegają ciągłej zmianie wraz z upływem czasu.
Zhou Hongyi, założyciel grupy 360 i przewodniczący Konferencji Bezpieczeństwa Internetowego, uważa, że sztuczna inteligencja zrewolucjonizowała branżę bezpieczeństwa sieciowego. Na przykład model Mythos, dzięki w pełni zautomatyzowanym możliwościom wykrywania luk w zabezpieczeniach i budowy łańcuchów ataków, przyspieszył odkrywanie luk w zabezpieczeniach o dwa rzędy wielkości i obniżył koszty do mniej niż jednej tysięcznej.
  Przemiana myślenia o bezpieczeństwie cyfrowym
Fałszowanie tożsamości, awarie modeli, luki w zarządzaniu uprawnieniami, szkodliwe wymuszanie... W miarę jak agenty inteligentne wchodzą w fazę komercyjnego zastosowania, pojawia się wiele nowych zagrożeń. Jednocześnie ryzyka związane z ukrytym wydobywaniem danych napędzanym sztuczną inteligencją wpływają również na dokładność modeli i niezawodność podejmowanych decyzji.
Zhao Chunjiang, członek Chińskiej Akademii Inżynierii oraz wiceprezes Chińskiego Stowarzyszenia Sztucznej Inteligencji, przedstawił, że zagrożenia bezpieczeństwa systemów sztucznej inteligencji obejmują cztery wymiary: warstwę danych, warstwę modeli, warstwę aplikacji oraz warstwę podstawową. Problemy bezpieczeństwa występujące w poszczególnych wymiarach różnią się od siebie, dlatego konieczne jest stosowanie odpowiednich środków.
Według Wu Hequan, przez długi czas podejście do pracy z zakresu bezpieczeństwa polegało na gaszeniu pożarów tam, gdzie się pojawiły. Taki bierny tryb reagowania może skutecznie przeciwdziałać atakom ludzi, jednak wobec nasyconych ataków ze strony skupisk inteligentnych agentów prędkość reakcji pozostaje zawsze o pół kroku w tyle.
Kto był silniejszy w przeszłości, a kto będzie szybszy w przyszłości? Chiny muszą stworzyć niezależne i kontrolowane możliwości wykrywania luk bezpieczeństwa w systemach sztucznej inteligencji.” – powiedział Zhou Hongyi.
Paradigma bezpieczeństwa musi przesunąć się z biernego zabezpieczenia do aktywnej odporności — powiedział Wu Hequan. Musimy stworzyć systemowy ramowy model operacji bezpieczeństwa obejmujący cały cykl życia: prognozowanie, zabezpieczanie, wykrywanie, reagowanie i przywracanie funkcjonalności. Należy zintegrować procesy, personel i technologie w zamkniętą pętlę zdolnościową, dzięki czemu system bezpieczeństwa będzie także dysponował inteligentnymi możliwościami percepcji, prognozowania i adaptacji, umożliwiając przejście od korekty po incydencie do ostrzegania przed incydentem oraz blokowania w trakcie jego występowania.
Nie chodzi tu jedynie o dodatkowe ulepszenie, lecz o przebudowę zdolności w sposób decydujący o życiu i śmierci. Bez aktywnej odporności nie może istnieć bezpieczeństwo cyfrowe w erze inteligentnych agentów — powiedział Wu Hequan.
Zhao Zhiguo uważa, że konieczne jest przywiązanie szczególnej wagi do badań i rozwoju kluczowych technologii zapewniających bezpieczeństwo inteligentnych agentów, wzmocnienie inwestycji badawczo-rozwojowych w kluczowych obszarach, takich jak objaśnialność algorytmów, ochrona prywatności danych oraz odporność systemu, wzmocnienie zdolności do obrony proaktywnej już na etapie źródłowym oraz przejęcie inicjatywy w zakresie rozwoju. Należy przyspieszyć wprowadzanie standardów bezpieczeństwa oraz mechanizmów oceny i certyfikacji dostosowanych do cech charakterystycznych inteligentnych agentów, zaimplementować zarządzanie stopniowe i kategoryzowane w odniesieniu do inteligentnych agentów stanowiących wysokie ryzyko, jednoznacznie określić granice odpowiedzialności związane z badaniami i rozwojem, wdrażaniem oraz użytkowaniem oraz zapewnić obowiązywanie odpowiednich przepisów i regulaminów. W ramach krajowego systemu standardów należy promować głęboką integrację przemysłu, nauki, badań oraz zastosowań praktycznych oraz przyspieszyć opracowanie standardów ochrony obejmujących cały cykl życia inteligentnych agentów – od badań i rozwoju, przez wdrażanie, aż po eksploatację i konserwację.
 Przejście od sprzedaży produktów do sprzedaży umiejętności
Zgodnie z raportem International Data Corporation (IDC) chiński rynek cyberbezpieczeństwa utrzymuje stabilny wzrost dzięki ciągłemu wzmocnieniu polityk i przepisów, zwiększającej się gotowości przedsiębiorstw do inwestowania w bezpieczeństwo oraz przyspieszonemu wdrażaniu nowych technologii. Oczekuje się, że do 2026 r. ogólna wielkość rynku przekroczy 80 mld juanów, przy średniorocznej stopie wzrostu złożonej na poziomie 8,9% w latach 2024–2029. Cyberbezpieczeństwo stało się niezbędną podstawową umiejętnością w rozwoju gospodarki cyfrowej.
Obecnie inteligentne agenty przyspieszają swoje przenikanie w branże specjalistyczne, takie jak finanse, przemysł i opieka zdrowotna, stając się kluczowymi elementami rzeczywistych systemów biznesowych. Jednak większość użytkowników branżowych nadal nie posiada umiejętności tworzenia własnych inteligentnych systemów obrony, a tradycyjni dostawcy rozwiązań bezpieczeństwa nadal przyzwyczajeni są do sprzedaży zapór sieciowych, narzędzi wykrywania itp., co prowadzi do wyraźnego niezgodności między podażą a popytem.
„Kto pierwszy zdoła przekształcić się z dostawcy produktów w dostawcę usług, ten zajmie czołową pozycję na nowym polu bezpieczeństwa inteligentnych agentów” – powiedział Wu Hequan. Przedsiębiorstwa zajmujące się bezpieczeństwem cyfrowym w erze inteligentnych agentów muszą przejść od sprzedaży produktów do sprzedaży kompetencji, co oznacza zapewnianie usług hostingu bezpieczeństwa obejmujących cały cykl życia inteligentnych agentów: ocenę bezpieczeństwa w fazie rozwoju, monitorowanie w czasie rzeczywistym oraz reagowanie na anomalie w fazie eksploatacji, przeprowadzanie ocen ryzyka i formułowanie propozycji wzmocnienia w fazie iteracji. Jest to zmiana paradygmatu oraz bariera, którą branża musi pokonać.
Zhao Zhiguo zaproponował utworzenie wspólnej platformy bezpieczeństwa między przemysłem, uczelniami i ośrodkami badawczymi w celu zintegrowania zasobów sieciowych oraz promowania głębokiej współpracy przedsiębiorstw, uczelni wyższych i instytucji badawczych w zakresie badań i rozwoju technologii bezpieczeństwa inteligentnych agentów, współpracy w zakresie reagowania na nagłe zdarzenia oraz promowania najlepszych praktyk. Należy stworzyć model zarządzania oparty na kierownictwie rządu, odpowiedzialności przedsiębiorstw i uczestnictwie społecznym, aby wspólnie rozwiązywać powstające wyzwania w duchu otwartości i współpracy.
Obecnie odpowiednie przedsiębiorstwa branżowe podejmują działania mające na celu przyspieszenie przygotowania nowych specjalistów dla ery inteligentnych agentów. Podczas 14. Konferencji Bezpieczeństwa Internetowego zapoczątkowano jednocześnie proces nadawania certyfikatu wykładowcy 360 Artificial Intelligence Agent Engineer (ADE) oraz przyznawania Stypendium Specjalnego Fundacji Dobroczynnej 360 w dziedzinie talentów AI, zapewniając praktyczne narzędzie do pogłębionej współpracy edukacyjnej między przemysłem, uczelniami i ośrodkami badawczymi pod kątem kształcenia kadry oraz powszechnego dostępu do edukacji.
Zhao Zhiguo stwierdził, że konieczne jest aktywne wspieranie działających w tym kierunku instytucji rządowych, wiodących przedsiębiorstw oraz instytutów badawczych w przyspieszeniu opracowywania standardów branżowych i standardów grupowych w dziedzinach oceny zdolności bezpieczeństwa inteligentnych agentów, klasyfikacji ryzyk, zgodności z przepisami dotyczącymi bezpieczeństwa danych itp., zapewniając podstawy instytucjonalne dla standaryzowanego rozwoju branży oraz eliminując niepewność związana z ryzykami bezpieczeństwa poprzez pewność wynikającą z wysokiej jakości rozwoju. Ponadto należy aktywnie uczestniczyć w tworzeniu i koordynowaniu globalnych zasad zarządzania bezpieczeństwem sztucznej inteligencji, budować platformę dialogową w zakresie bezpieczeństwa inteligentnych agentów oraz wspólnie badać ścieżki współpracy w zakresie globalnego zarządzania bezpieczeństwem sieciowym w erze inteligencji, wspólne budowanie społeczności o wspólnej przyszłości w cyberprzestrzeni oraz wkład chińskiej mądrości i siły w zdrowy rozwój globalnej branży inteligentnych agentów.

Facebook Facebook
Facebook
WhatsApp WhatsApp
WhatsApp