С бързото развитие на технологиите в областта на изкуствения интелект интелигентните агенти, като важен носител за дълбоката интеграция на изкуствения интелект и реалната икономика, оказват значително влияние върху производството и начина на живот и преформират граници на сигурността.
С бързото развитие на технологиите в областта на изкуствения интелект интелигентните агенти, като важен носител за дълбоката интеграция на изкуствения интелект и реалната икономика, оказват значително влияние върху производството и начина на живот и преформират граници на сигурността.
На скорошната 14-а Конференция по интернет сигурност експертите заявиха, че трябва да използваме ключови технологии за решаване на основни проблеми, да усилваме вътрешните си компетенции, да създаваме здрава защитна преграда чрез системно и нормативно строителство и да водим отрасловите стандарти чрез разработване на стандартизирана система, за да се оформи път към координирано развитие и сигурност в епохата на агентите.
Интелигентните агенти пораждат нови рискове
В момента изкуственият интелект преминава през ключов преход от големи модели към интелигентни агенти. Когато интелигентните агенти започнат да вземат автономни решения, да извикват инструменти и да изпълняват задачи, възникват и рискове за сигурност.
"В сравнение с миналите информационни системи агентите вече не са просто инструмент за въпроси и отговори, който изпълнява пасивно команди, а притежават способност за самостоятелно възприемане, вземане на решения и изпълнение. Този технологичен скок дълбоко промени ситуацията в областта на киберсигурността както от офанзивна, така и от дефанзивна гледна точка.", заяви Чжао Чжигуо, заместник-председател на Китайската интернет асоциация и бивш главен инженер на Министерството на промишлеността и информационните технологии.
С ускореното проникване на интелигентните агенти в ключови сфери като производството, финансите и енергетиката всеки сигурностен риск може да предизвика верижна реакция в мрежите и отраслите за кратко време чрез автономната функция за планиране и разпределение на ресурси на интелигентните агенти, което поставя по-високи изисквания към превенцията на рисковете и реагирането в извънредни ситуации.
Чао Чжигуо заяви, че веднъж когато интелигентните агенти придобият способност за автономно вземане на решения, рисковете за сигурността се разширяват от „технически повреди“ до „загуба на контрол върху вземането на решения“. При възникване на отклонения или смущения интелигентните агенти могат да предприемат действия, които се отклоняват от човешките очаквания, а последствията са непредсказуеми. Този ендогенен риск поставя фундаментално предизвикателство за безопасността и контролируемостта. Освен това интелигентните агенти функционират автономно в системата по изключително антропоморфен начин, поради което традиционните механизми за доверие, базирани на идентичност, са изложени на риск от неуспех. Когато интелигентните агенти автономно подписват договори, изпълняват транзакции и извикват ресурси, възникват спешни практически проблеми, които трябва да бъдат решени: как да се определят отговорностите за сигурност и как да се характеризира неоторизираното поведение.
Според У Хецюан, академик на Китайската инженерна академия и почетен председател на Конференцията по интернет сигурност, атаките, извършвани от агенти, проявяват технически характеристики като независимо вземане на решения, кластерно сътрудничество и непрекъснато развитие. Традиционните кибератаки силно разчитат на ръчни операции, докато атаките, задвижвани от агенти, фундаментално променят този модел.
По-конкретно, интелигентните агенти могат самостоятелно да възприемат околната среда, да планират пътища за атака и да изпълняват задачи за проникване, а множество агенти могат да споделят информация и да сътрудничат. Такава кластерна атака може да бъде стартирана едновременно от множество входове за много кратко време, което изтощава системите за защита при реагирането им. Още по-важно е, че интелигентните агенти притежават способността за непрекъснато учене и итерация, а всяка атака и всяко противодействие стават материал за тяхната оптимизация, като методите за атака постоянно се променят с течение на времето.
Чжоу Хунъи, основател на групата 360 и председател на Конференцията по интернет сигурност, смята, че изкуственият интелект е довел до фундаментална промяна в индустрията за киберсигурност. Като пример той посочва модела Mythos, чиито напълно автоматизирани възможности за откриване на уязвимости и конструиране на вериги от атаки увеличават скоростта на откриване на уязвимости с два порядъка и намаляват разходите под една хилядна.
Трансформация на мисленето относно цифровата сигурност
Фалшифициране на самоличност, неуспех на модела, уязвимости в управлението на правата, злонамерено изнудване… Докато интелигентните агенти навлизат в стадията на търговско приложение, постоянно се появяват различни нови рискове. Едновременно с това рисковете, свързани със скрито търсене на данни, задвижвано от изкуствен интелект, също оказват влияние върху точността на моделите и надеждността на вземаните решения.
Чао Чунцзян, академик на Китайската инженерна академия и заместник-председател на Китайската асоциация по изкуствен интелект, представи, че рисковете за сигурността на ИИ системите обхващат четири измерения: ниво на данни, ниво на модели, ниво на приложения и основно ниво. Проблемите със сигурността, с които се сблъскват различните измерения, също са различни и са необходими насочени мерки.
Според У Хецюан дълго време идеята за работата по сигурността е била да се гасят пожарите навсякъде, където избухнат. Този пасивен режим на реагиране може да издържи човешки атаки, но пред лицето на наситени атаки от кластери интелигентни агенти скоростта на реагиране винаги изостава с половин такт.
Кой беше по-силен в миналото и кой ще бъде по-бърз в бъдещето? Китай трябва да създаде самостоятелни и контролируеми възможности за откриване на уязвимости в ИИ.“ – заяви Чжоу Хунъй.
Парадигмата за сигурност трябва да се премести от пасивна защита към активен имунитет", каза У Хекуан. „Трябва да създадем системна рамка за операции по сигурност, която обхваща целия жизнен цикъл – прогнозиране, защита, откриване, реагиране и възстановяване. Трябва да интегрираме процеси, персонал и технологии в затворена система от способности, така че сигурността също да притежава възможности за възприемане, прогнозиране и адаптиране чрез интелигентни агенти и да постигне преход от коригиране след инцидент към предварително предупреждение и блокиране по време на изпълнение.
Това не е просто допълнително украсяване, а възстановяване на способностите в условия на живот или смърт. Без активен имунитет няма да има цифрова сигурност в епохата на интелигентните агенти", каза У Хекуан.
Чао Чжигуо смята, че е необходимо да се отдели специално внимание на изследването и разработката на ключови технологии за сигурността на интелигентните агенти, да се засили инвестициите в изследвания и разработки в ключови области като обяснимост на алгоритмите, защита на поверителността на данните и устойчивост на системите, да се подобри способността за проактивна отбрана още от самото начало и да се поеме инициативата за развитие. Трябва да се ускори създаването на стандарти за сигурност и механизми за оценка и сертифициране, адаптирани към характеристиките на интелигентните агенти, да се приложи класифицирано и категоризирано управление за интелигентни агенти с висок риск, да се уточнят граници на отговорност за изследване и разработка, внедряване и експлоатация и да се гарантира наличието на правила и нормативни актове за следване. В рамките на националната стандартизационна структура трябва да се насърчи дълбоката интеграция между промишлеността, академичните среди, научноизследователската дейност и приложението, както и да се ускори формирането на стандарти за защита, обхващащи целия жизнен цикъл на изследването и разработката, внедряването, експлоатацията и поддръжката на интелигентните агенти.
Преход от продажба на продукти към продажба на способности
Според доклад на International Data Corporation (IDC) пазарът на киберсигурност в Китай е запазил устойчив растеж поради непрекъснатото засилване на политиките и регулациите, нарастващата готовност на предприятията да инвестират в сигурност и ускореното прилагане на нови технологии. Очаква се до 2026 г. общият размер на пазара да надхвърли 80 милиарда юана, като сложният годишен темп на растеж ще състави 8,9 % за периода 2024–2029 г. Киберсигурността е станала задължителна основна способност за развитието на цифровата икономика.
В момента интелигентните агенти ускоряват проникването си в отрасли като финанси, производство и здравеопазване и стават ключови компоненти на реални бизнес системи. Обаче повечето индустриални потребители все още нямат възможността да разработват собствени интелигентни системи за защита, а традиционните доставчици на сигурност продължават да са свикнали да продават мрежови филтри, инструменти за откриване и др., което води до очевидно несъответствие между предлагането и търсенето.
„Който и да успее първи да осъществи прехода от доставчик на продукти към доставчик на услуги, ще може да поеме водещата роля в новата област на сигурността на интелигентните агенти“, заяви У Хекуан. Цифровите сигурностни предприятия в епохата на интелигентните агенти трябва да преминат от продажба на продукти към продажба на способности, което означава предоставяне на услуги за управление на сигурността, обхващащи целия жизнен цикъл на интелигентните агенти: проверка на сигурността по време на фазата на разработка, извършване на непрекъснат мониторинг и реагиране при аномалии по време на експлоатационната фаза, провеждане на оценки на рисковете и формулиране на препоръки за усилване по време на фазата на итерация. Това е парадигмен преврат и предизвикателство, което отрасълът трябва да преодолее.
Чао Чжигуо предложи да се създаде съвместна платформа за сигурност между индустрията, академичните среди и научноизследователските институции, за да се интегрират мрежовите ресурси и да се насърчи дълбока сътрудничество между предприятия, университети и изследователски институции в областта на разработката на технологии за сигурност на интелигентни агенти, съвместното реагиране при извънредни ситуации и популяризирането на най-добрите практики. Трябва да се изгради модел за управление, основан на ръководството на правителството, отговорността на корпорациите и участието на обществото, за да се решават общи предизвикателства с открит и сътрудничен подход.
В момента съответните предприятия от индустрията предприемат действия за ускоряване на подготовката на нови специалисти за епохата на интелигентните агенти. По време на 14-ата Конференция по интернет сигурност бяха стартирани едновременно процесите за присъждане на сертификат „360 Artificial Intelligence Agent Engineer (ADE) certified lecturer“ и на стипендията на Фондация „360 Public Welfare Foundation AI Talent Special Scholarship“, които осигуряват практически механизми за дълбоко сътрудничество между индустрията, университетите и изследователските институции в областта на подготовката на кадри и инклюзивното образование.
Чао Чжигуо заяви, че е необходимо активно да се насърчават правителствени органи, водещи предприятия и научноизследователски институти да ускорят разработването на отраслови стандарти и групови стандарти в областите на оценката на сигурността на интелигентните агенти, класификацията на рисковете, съответствието с изискванията за сигурност на данните и др., като по този начин се осигури институционална основа за стандартизираното развитие на отрасъла и се преодолее несигурността, свързана с риските за сигурност, чрез сигурността на качественото развитие. Освен това трябва активно да участваме в разработването и координацията на глобалните правила за управление на сигурността на изкуствения интелект, да създадем платформа за диалог по въпросите на сигурността на интелигентните агенти и съвместно да изследваме пътищата за сътрудничество в областта на глобалното управление на киберсигурността в епохата на интелигентността, за да създадем заедно общност с обща съдба в киберпространството и да допринесем китайска мъдрост и сила за здравото развитие на глобалната индустрия на интелигентните агенти.