Зі швидким оновленням технологій штучного інтелекту інтелектуальні агенти, як важливий інструмент глибокого поєднання штучного інтелекту та реальної економіки, кардинально впливають на виробництво й спосіб життя, а також перебудовують межі безпеки.
Зі швидким оновленням технологій штучного інтелекту інтелектуальні агенти, як важливий інструмент глибокого поєднання штучного інтелекту та реальної економіки, кардинально впливають на виробництво й спосіб життя, а також перебудовують межі безпеки.
На недавньо проведеної 14-ї Конференції з кібербезпеки експерти заявили, що слід використовувати ключові технології для вирішення стратегічних завдань, зміцнювати внутрішні компетенції, створювати надійний бар’єр за рахунок побудови системи й правил, а також формувати галузеві стандарти через розробку стандартної системи, щоб прокласти шлях до узгодженого розвитку й безпеки в епоху агентів.
Інтелектуальні агенти породжують нові ризики
Наразі штучний інтелект переживає ключовий перехід від великих моделей до інтелектуальних агентів. Коли інтелектуальні агенти починають приймати автономні рішення, викликати інструменти та виконувати завдання, виникають і ризики безпеки.
"Порівняно з минулими інформаційними системами, агенти більше не є пасивним інструментом для відповідей на запитання, а отримують здатність до незалежного сприйняття, прийняття рішень та виконання. Цей технологічний стрибок кардинально змінив ситуацію в кібербезпеці з точки зору атак та захисту." — заявив Чжао Чжіго, заступник голови Китайської асоціації Інтернету та колишній головний інженер Міністерства промисловості та інформаційних технологій.
З прискореним проникненням інтелектуальних агентів у ключові сфери, такі як виробництво, фінанси та енергетика, будь-який ризик безпеки може протягом короткого часу викликати ланцюгову реакцію по всіх мережах та галузях завдяки автономному плануванню й координації з боку інтелектуальних агентів, що ставить вищі вимоги до профілактики ризиків та реагування на надзвичайні ситуації.
Чжао Чжіго вказав, що, як тільки інтелектуальні агенти набудуть здатності до автономного прийняття рішень, ризики безпеки поширюються від «технічних збоїв» до «втрати контролю над прийняттям рішень». У разі виникнення відхилень або збурень інтелектуальні агенти можуть вчиняти дії, що відрізняються від людських очікувань, а наслідки цих дій є непередбачуваними. Цей ендогенний ризик створює фундаментальну загрозу для забезпечення безпеки та контролю. Крім того, інтелектуальні агенти функціонують у системі автономно й у надзвичайно антропоморфному режимі, через що традиційні механізми довіри, засновані на ідентифікації, стикаються з ризиком невдачі. Коли інтелектуальні агенти автономно укладають договори, виконують транзакції та викликають ресурси, виникає нагальна практична потреба вирішити такі питання, як визначення відповідальності за безпеку й характеристика несанкціонованої поведінки.
Згідно зі словами У Хецюнь, академіка Китайської академії інженерії та почесного голови Конференції з кібербезпеки Інтернету, атаки за участю агентів демонструють технічні характеристики незалежного прийняття рішень, кластерної співпраці та постійної еволюції. Традиційні кібератаки значною мірою залежать від ручних операцій, тоді як атаки, що здійснюються за допомогою агентів, принципово змінюють цей патерн.
Зокрема, інтелектуальні агенти можуть самостійно сприймати оточення, планувати шляхи атаки та виконувати завдання проникнення; крім того, кілька агентів можуть обмінюватися інформацією й співпрацювати. Такі кластерні атаки можна запускати одночасно з кількох точок входу протягом дуже короткого часу, що призводить до повного виснаження систем захисту під час реагування. Ще більшої уваги вимагає той факт, що інтелектуальні агенти мають здатність до постійного навчання та ітерацій: кожне протистояння між атакою та захистом стає матеріалом для їхньої оптимізації, а методи атак постійно змінюються з часом.
Чжоу Хуньї, засновник групи «360» та голова Інтернет-конференції з кібербезпеки, вважає, що ШІ призвів до перетворення індустрії кібербезпеки. Наприклад, модель «Mythos» з повною автоматизацією пошуку вразливостей та побудови ланцюгів атак прискорила виявлення вразливостей на два порядки величини й знизила витрати менш ніж у тисячу разів.
Трансформація цифрового мислення щодо безпеки
Підробка особистості, збої моделі, вразливості управління правами доступу, зловмисний шантаж… Під час переходу інтелектуальних агентів до комерційного застосування виникають різноманітні нові ризики. У той самий час ризики, пов’язані з прихованим аналізом даних за допомогою ШІ, також впливають на точність моделей та надійність прийнятих рішень.
Чжао Чунцзян, академік Китайської інженерної академії та заступник голови Китайської асоціації штучного інтелекту, зазначив, що ризики безпеки систем ШІ охоплюють чотири виміри: рівень даних, рівень моделей, рівень застосування та базовий рівень. Проблеми безпеки, з якими стикаються різні виміри, також відрізняються, і потрібно застосовувати цільові заходи.
За словами У Хецюнь, протягом тривалого часу підхід до роботи з безпеки полягав у ліквідації загроз по мірі їх виникнення. Цей пасивний спосіб реагування може витримати атаки людини, але перед об’єднаними атаками інтелектуальних агентів швидкість реагування завжди відстає на півтакту.
Хто був сильнішим у минулому — і хто буде швидшим у майбутньому? Китаю необхідно розвинути незалежні й контрольовані власні здібності щодо виявлення вразливостей у системах ШІ», — заявив Чжоу Хуньї.
Парадигма безпеки повинна перейти від пасивної оборони до активного імунітету, "сказав Ву Хекьоань". Нам потрібно побудувати систематичну систему операцій безпеки, яка охоплює весь життєвий цикл прогнозування, захисту, виявлення, реагування та відновлення. Нам потрібно інтегрувати процеси, персонал і технології в замкнуте ланцюжок, щоб система безпеки також мала інтелектуальне сприйняття агентів, передбачення та адаптивні можливості, і досягнути переходу від післядогляду до попередження та блокування в процесі.
Це не просто солодощі на пиріжку, а реконструкція можливостей на життя і смерть. Без активного імунітету не може бути цифрової безпеки в епоху інтелектуальних агентів ", - сказав Ву Хекьоань.
Чжао Чжіго вважає, що необхідно надавати пріоритет дослідженням і розробці ключових технологій безпеки інтелектуальних агентів, посилювати інвестиції в дослідження та розробку в таких ключових напрямках, як інтерпретованість алгоритмів, захист конфіденційності даних та стійкість систем, підвищувати здатності проактивної оборони від самого джерела й брати ініціативу в розвитку. Прискорити створення стандартів безпеки та механізмів оцінки й сертифікації, адаптованих до особливостей інтелектуальних агентів, впровадити градуйоване й класифіковане управління високоризиковими інтелектуальними агентами, чітко визначити межі відповідальності на етапах дослідження та розробки, розгортання та експлуатації, забезпечити наявність чітких правил і норм. У рамках національних стандартів сприяти глибокій інтеграції промисловості, освіти, науки та практичного застосування й прискорити формування стандартів захисту, що охоплюють увесь життєвий цикл дослідження та розробки, впровадження, експлуатації та технічного обслуговування інтелектуальних агентів.
Перехід від продажу продуктів до продажу можливостей
Згідно зі звітом International Data Corporation (IDC), китайський ринок кібербезпеки демонструє стабільне зростання завдяки постійному посиленню політик і нормативних актів, зростаючій готовності підприємств інвестувати в безпеку та прискореному впровадженню нових технологій. Очікується, що до 2026 року загальний обсяг ринку перевищить 80 мільярдів юанів, а середньорічний темп зростання (CAGR) у період з 2024 по 2029 рік становитиме 8,9 %. Кібербезпека стала ключовою базовою можливістю у розвитку цифрової економіки.
Наразі інтелектуальні агенти прискорюють своє проникнення в галузі, такі як фінанси, виробництво та охорона здоров’я, стаючи ключовими компонентами реальних бізнес-систем. Однак більшість галузевих користувачів ще не мають здатності розробляти власні інтелектуальні системи захисту, а традиційні постачальники рішень у сфері безпеки досі звикли продавати брандмауери, інструменти виявлення тощо, що призводить до чіткого розриву між пропозицією та попитом.
«Хто першим зможе завершити перетворення від постачальника продуктів до постачальника послуг, той отримає перевагу в новій сфері безпеки інтелектуальних агентів», — заявив У Хецюнь. Підприємства у сфері цифрової безпеки в епоху інтелектуальних агентів мають змінити стратегію: замість продажу продуктів вони повинні пропонувати можливості, тобто надавати послуги з управління безпекою на всіх етапах життєвого циклу інтелектуальних агентів — оцінювати безпеку під час розробки, здійснювати поточний моніторинг та реагування на аномалії під час експлуатації, проводити оцінку ризиків та надавати рекомендації щодо підвищення стійкості під час ітерацій. Це — кардинальна зміна парадигми й виклик, який галузь зобов’язана подолати.
Чжао Чжіго запропонував створити спільну платформу безпеки між промисловістю, освітою та науковими дослідженнями для інтеграції мережевих ресурсів та посилення глибокого співробітництва між підприємствами, університетами та науковими закладами у розробці технологій безпеки інтелектуальних агентів, спільній реагуванні на надзвичайні ситуації та поширенні найкращих практик. Слід сформувати модель управління з урядовим керівництвом, корпоративною відповідальністю та соціальною участю, щоб вирішувати загальні виклики відкрито та співпрацюючи.
Наразі відповідні підприємства галузі діють, щоб прискорити підготовку нових фахівців для епохи інтелектуальних агентів. Під час 14-ї Інтернет-конференції з кібербезпеки одночасно розпочали процес вручення сертифікатів «Інженер інтелектуальних агентів 360» (ADE) та спеціальної стипендії Фонду благодійності 360 для фахівців у сфері ШІ, забезпечуючи практичну основу для глибокої співпраці між галуззю, університетами та науковими закладами з точки зору підготовки фахівців та інклюзивної освіти.
Чжао Чжіго висловив думку, що необхідно активно заохочувати урядові відомства, провідні підприємства та науково-дослідні інститути до прискорення розробки галузевих та групових стандартів у таких сферах, як оцінка здатності інтелектуальних агентів забезпечувати безпеку, класифікація ризиків, відповідність вимогам безпеки даних тощо, щоб створити інституційну основу для стандартизованого розвитку галузі й усунути невизначеність, пов’язану з ризиками безпеки, за рахунок надійного, якісного розвитку. Крім того, слід активно брати участь у розробці та узгодженні глобальних правил управління безпекою штучного інтелекту, створити платформу для діалогу щодо безпеки інтелектуальних агентів, спільно досліджувати шляхи співпраці у сфері глобального кібербезпекового управління в епоху інтелектуалізації, разом будувати кіберпростір як спільноту спільного майбутнього й вносити китайську мудрість та потенціал у справу здорового розвитку глобальної індустрії інтелектуальних агентів.