С быстрой эволюцией технологий искусственного интеллекта интеллектуальные агенты, выступающие в качестве важного инструмента глубокой интеграции ИИ и реальной экономики, оказывают значительное влияние на производство и образ жизни, а также трансформируют границы безопасности.
С быстрой эволюцией технологий искусственного интеллекта интеллектуальные агенты, выступающие в качестве важного инструмента глубокой интеграции ИИ и реальной экономики, оказывают значительное влияние на производство и образ жизни, а также трансформируют границы безопасности.
На недавно прошедшей 14-й Конференции по интернет-безопасности эксперты заявили, что необходимо применять ключевые технологии для решения критически важных задач, укреплять внутренние компетенции, создавать надёжный барьер за счёт построения систем и регламентов, а также формировать отраслевые стандарты путём разработки стандартизированных систем — всё это позволит выстроить путь сбалансированного развития и безопасности в эпоху агентов.
Интеллектуальные агенты порождают новые риски
В настоящее время ИИ переживает ключевой переход от крупных моделей к интеллектуальным агентам. По мере того как интеллектуальные агенты начинают принимать автономные решения, вызывать инструменты и выполнять задачи, возникают и соответствующие риски безопасности.
«По сравнению с прошлыми информационными системами агенты больше не являются инструментом для пассивного выполнения вопросов и ответов, а наделяются способностью к самостоятельному восприятию, принятию решений и выполнению действий. Этот технологический прорыв кардинально изменил ситуацию в области сетевой безопасности как в плане атак, так и в плане защиты», — заявил Чжао Чжиго, вице-президент Ассоциации интернета Китая и бывший главный инженер Министерства промышленности и информационных технологий.
С ускорением внедрения интеллектуальных агентов в ключевые сферы — такие как производство, финансы и энергетика — любой риск безопасности может в кратчайшие сроки спровоцировать цепную реакцию по сетям и отраслям благодаря автономному планированию и координации со стороны интеллектуальных агентов, что предъявляет повышенные требования к предотвращению рисков и реагированию на чрезвычайные ситуации.
Чжао Чжиго отметил, что как только интеллектуальные агенты обретают способность к автономному принятию решений, риски безопасности расширяются от «технических сбоев» до «потери контроля над принятием решений». При возникновении отклонений или помех интеллектуальные агенты могут предпринимать действия, не соответствующие ожиданиям человека, и последствия таких действий непредсказуемы. Этот эндогенный риск ставит фундаментальную задачу обеспечения контролируемости безопасности. Кроме того, интеллектуальные агенты функционируют в системе автономно и в высокой степени антропоморфно, из-за чего традиционные механизмы доверия, основанные на идентификации, сталкиваются с риском отказа. Когда интеллектуальные агенты самостоятельно подписывают контракты, выполняют транзакции и запрашивают ресурсы, определение ответственности за безопасность и характеристика несанкционированного поведения становятся насущными практическими проблемами, требующими немедленного решения.
Согласно У Хэцюаню, академику Китайской инженерной академии и почётному председателю Конференции по кибербезопасности, атаки с использованием агентов демонстрируют технические характеристики независимого принятия решений, группового взаимодействия и непрерывной эволюции. Традиционные кибератаки в значительной степени зависят от ручных операций, тогда как атаки, управляемые агентами, принципиально меняют этот паттерн.
Конкретно: интеллектуальные агенты способны автономно воспринимать окружающую среду, планировать траектории атаки и выполнять задачи проникновения; при этом несколько агентов могут обмениваться информацией и взаимодействовать. Такая групповая атака может быть запущена одновременно с множества точек входа в течение крайне короткого промежутка времени, что приводит к полному истощению защитных систем при попытках реагирования. Особую бдительность требует тот факт, что интеллектуальные агенты обладают способностью к непрерывному обучению и итерации: каждое столкновение между атакой и защитой становится материалом для их оптимизации, а методы атак со временем постоянно изменяются.
Чжоу Хунъи, основатель группы «360» и председатель Конференции по интернет-безопасности, считает, что ИИ привёл к кардинальному изменению подходов в индустрии сетевой безопасности. Например, модель Mythos обладает полностью автоматизированными возможностями поиска уязвимостей и построения цепочек атак, что увеличило скорость выявления уязвимостей на два порядка величины и сократило затраты менее чем в одну тысячную.
Трансформация мышления в области цифровой безопасности
Подделка личности, сбои моделей, уязвимости в управлении правами, злонамеренный шантаж… По мере выхода интеллектуальных агентов на стадию коммерческого применения возникают всё новые риски. Одновременно скрытый сбор данных, управляемый искусственным интеллектом, также влияет на точность моделей и надёжность принимаемых решений.
Чжао Чунцзян, академик Китайской инженерной академии и вице-президент Китайской ассоциации искусственного интеллекта, отметил, что риски безопасности ИИ-систем охватывают четыре уровня: уровень данных, уровень моделей, уровень приложений и базовый уровень. Проблемы безопасности, с которыми сталкиваются различные уровни, также различны, и для каждого из них требуются целенаправленные меры.
По мнению У Хэцюнь, на протяжении длительного времени подход к работе в области безопасности сводился к тушению пожаров по мере их возникновения. Такой пассивный режим реагирования способен противостоять атакам человека, однако перед насыщенными атаками кластеров интеллектуальных агентов скорость реакции всегда отстаёт на полшага.
Кто был сильнее в прошлом — и кто будет быстрее в будущем? Китаю необходимо создать независимые и контролируемые возможности по выявлению уязвимостей ИИ». — заявил Чжоу Хунъи.
Парадигма безопасности должна измениться — от пассивной обороны к активному иммунитету", — сказал У Хэцюнь. "Нам необходимо создать системную операционную структуру безопасности, охватывающую весь жизненный цикл: прогнозирование, защиту, обнаружение, реагирование и восстановление. Необходимо интегрировать процессы, персонал и технологии в замкнутый контур возможностей, чтобы система безопасности также обладала интеллектуальными функциями восприятия, прогнозирования и адаптации агентов, обеспечивая переход от устранения последствий после инцидента к предупреждению до инцидента и блокированию в процессе его возникновения.
Это не просто украшение, а вопрос жизни и смерти при перестройке возможностей. Без активного иммунитета в эпоху интеллектуальных агентов цифровая безопасность невозможна", — сказал У Хэцюнь.
Чжао Чжиго считает, что необходимо уделять первостепенное внимание исследованиям и разработкам базовых технологий обеспечения безопасности интеллектуальных агентов, усилить инвестиции в НИОКР по ключевым направлениям — таким как интерпретируемость алгоритмов, защита конфиденциальности данных и устойчивость систем, повысить возможности проактивной защиты на этапе создания решений и взять инициативу в развитие. Ускорить создание стандартов безопасности и механизмов оценки и сертификации, адаптированных к особенностям интеллектуальных агентов, внедрить дифференцированное и категоризированное управление высокорисковыми интеллектуальными агентами, чётко определить границы ответственности на этапах разработки, развёртывания и эксплуатации, а также обеспечить наличие чётких правил и нормативов. В рамках национальных стандартов содействовать глубокой интеграции промышленности, науки, образования и практического применения, а также ускорить формирование стандартов защиты, охватывающих весь жизненный цикл разработки, внедрения, эксплуатации и технического обслуживания интеллектуальных агентов.
Переход от продажи продуктов к продаже возможностей
Согласно отчёту International Data Corporation (IDC), китайский рынок кибербезопасности демонстрирует устойчивый рост благодаря последовательному ужесточению политик и нормативных требований, росту готовности предприятий инвестировать в безопасность и ускоренному внедрению новых технологий. Ожидается, что к 2026 году общий объём рынка превысит 80 млрд юаней, а совокупный годовой темп роста (CAGR) в период с 2024 по 2029 год составит 8,9 %. Кибербезопасность стала ключевой базовой компетенцией в развитии цифровой экономики.
В настоящее время интеллектуальные агенты ускоряют своё проникновение в отраслевые сферы, такие как финансы, производство и здравоохранение, становясь ключевыми компонентами реальных бизнес-систем. Однако большинство отраслевых пользователей пока не обладают возможностью разрабатывать собственные интеллектуальные системы защиты, а традиционные поставщики решений в области безопасности по-прежнему ориентированы на продажу межсетевых экранов, средств обнаружения и т. д., что приводит к явному несоответствию между предложением и спросом.
Тот, кто первым завершит трансформацию от поставщика продуктов к поставщику услуг, сможет занять лидирующие позиции в новой области безопасности интеллектуальных агентов», — заявил Уй Хэцюнь. Предприятия цифровой безопасности в эпоху интеллектуальных агентов должны перейти от продажи продуктов к продаже возможностей, то есть предоставлять услуги по управлению безопасностью на протяжении всего жизненного цикла интеллектуальных агентов: проводить проверку безопасности на этапе разработки, осуществлять мониторинг в реальном времени и реагирование на аномалии на этапе эксплуатации, выполнять оценку рисков и выдавать рекомендации по усилению защиты на этапе итераций. Это смена парадигмы и серьёзное препятствие, которое отрасли необходимо преодолеть.
Чжао Чжиго предложил создать совместную платформу безопасности для взаимодействия промышленности, науки и образования с целью интеграции сетевых ресурсов и углубления сотрудничества между предприятиями, университетами и научно-исследовательскими учреждениями в области разработки технологий безопасности интеллектуальных агентов, координации действий при чрезвычайных ситуациях и продвижения передовых практик. Следует выстроить модель управления, основанную на государственном руководстве, корпоративной ответственности и общественном участии, чтобы решать общие вызовы открыто и совместно.
В настоящее время соответствующие предприятия отрасли предпринимают меры по ускорению подготовки новых специалистов для эпохи интеллектуальных агентов. В ходе 14-й Конференции по интернет-безопасности одновременно стартовали процедуры присвоения квалификации «Сертифицированный лектор по искусственному интеллекту 360 (ADE)» и выдачи специальной стипендии Фонда благотворительности 360 для талантливых специалистов в области ИИ, что создаёт практическую основу для углублённого совместного образования отрасли, университетов и научно-исследовательских организаций с позиций подготовки кадров и обеспечения доступности образования.
Чжао Чжиго заявил, что необходимо активно содействовать ускоренному разработке отраслевых и групповых стандартов в таких областях, как оценка безопасности интеллектуальных агентов, классификация рисков, соответствие требованиям безопасности данных и т.д., со стороны правительственных департаментов, ведущих предприятий и научно-исследовательских институтов, обеспечивая тем самым нормативную основу для стандартизированного развития отрасли и устраняя неопределённость, связанную с рисками безопасности, за счёт предсказуемости высококачественного развития. Кроме того, следует активно участвовать в разработке и согласовании глобальных правил управления безопасностью искусственного интеллекта, создавать платформу диалога по безопасности интеллектуальных агентов, совместно исследовать пути кооперативного управления кибербезопасностью в эпоху интеллекта, совместно строить сообщество общей судьбы в киберпространстве и вносить китайскую мудрость и силу в здоровое развитие мировой индустрии интеллектуальных агентов.