인공지능 기술의 급속한 반복 발전과 함께, 인텔리전트 에이전트는 인공지능과 실물 경제가 심층적으로 융합되는 중요한 매개체로서 생산 및 생활 방식에 깊은 영향을 미치고 있으며, 보안 경계를 재구성하고 있다.
인공지능 기술의 급속한 반복 발전과 함께, 인텔리전트 에이전트는 인공지능과 실물 경제가 심층적으로 융합되는 중요한 매개체로서 생산 및 생활 방식에 깊은 영향을 미치고 있으며, 보안 경계를 재구성하고 있다.
최근 개최된 14차 인터넷 보안 회의에서 전문가들은 핵심 기술을 활용해 핵심 과제를 해결하고 내재 역량을 강화해야 하며, 체계 및 규칙 구축을 통해 견고한 방어선을 마련하고, 표준 체계 구축을 통해 산업 규범을 이끌어 나가야 한다고 지적했다. 이를 통해 에이전트 시대에 발맞춘 발전과 보안의 조화로운 융합 경로를 창출할 수 있다.
인텔리전트 에이전트는 새로운 위험을 야기한다.
현재 인공지능은 대규모 모델에서 인텔리전트 에이전트로 전환되는 중대한 전환기를 맞고 있다. 인텔리전트 에이전트가 자율적인 의사결정을 시작하고, 도구를 호출하며, 작업을 실행하게 되면 보안 위험이 동시에 발생한다.
"과 과거의 정보 시스템을 비교할 때, 에이전트는 더 이상 수동적 실행을 위한 질문-응답 도구가 아니라 독립적인 인지, 의사결정, 실행 능력을 부여받았다. 이러한 기술적 특성의 도약은 사이버 보안 분야의 공격 및 방어 상황을 근본적으로 변화시켰다."라고 중국인터넷협회 부회장이자 산업정보기술부 전 수석 엔지니어인 자오 지궈가 말했다.
제조, 금융, 에너지 등 핵심 분야로 지능형 에이전트의 침투가 가속화됨에 따라, 어떤 보안 위험도 지능형 에이전트의 자율 스케줄링 능력을 통해 단기간 내에 네트워크 및 산업 전반에 걸쳐 연쇄 반응을 유발할 수 있으며, 이는 위험 예방 및 비상 대응에 대해 더욱 높은 요구를 제기한다.
조 지궈는 지능형 에이전트가 자율적 의사결정 능력을 갖게 되면 보안 위험이 ‘기술적 오류’에서 ‘의사결정 통제 상실’로 확대된다고 밝혔다. 편차나 교란이 발생하면 지능형 에이전트가 인간의 기대와 벗어난 행동을 취할 수 있으며, 그 결과는 예측 불가능하다. 이러한 내재적 위험은 안전한 통제 가능성에 근본적인 도전 과제를 제기한다. 또한 지능형 에이전트는 시스템 내에서 고도로 인간화된 방식으로 자율적으로 작동하므로, 전통적인 정체성 기반 신뢰 메커니즘이 실패할 위험에 직면한다. 지능형 에이전트가 자율적으로 계약을 체결하고 거래를 실행하며 자원을 호출할 때, 보안 책임을 어떻게 정의하고 무단 행위를 어떻게 특성화할 것인가는 해결이 시급한 실무적 문제로 떠올랐다.
중국공정원(CAE) 회원이자 인터넷 보안 회의 명예 의장인 우허촨 원사에 따르면, 에이전트 공격은 독립적 의사결정, 집단 협업, 지속적 진화라는 기술적 특징을 보인다. 기존 사이버 공격은 수작업에 크게 의존하지만, 에이전트 기반 공격은 이러한 패턴을 근본적으로 바꾼다.
구체적으로, 지능형 에이전트는 환경을 자율적으로 인지하고, 공격 경로를 계획하며, 침투 작업을 수행할 수 있다. 또한 여러 에이전트가 정보를 공유하고 협업할 수 있다. 이러한 집단 공격은 매우 짧은 시간 안에 여러 진입점에서 동시에 시작될 수 있어, 방어 시스템이 대응에 지쳐버리게 만든다. 특히 주의해야 할 점은, 지능형 에이전트가 지속적으로 학습하고 반복 개선할 수 있는 능력을 지니고 있다는 것이다. 모든 공격과 방어 대치 과정은 그들의 최적화를 위한 학습 자료가 되며, 공격 방법은 시간이 지남에 따라 끊임없이 변화한다.
360 그룹 창립자이자 인터넷 보안 회의 의장인 저우 홍이 씨는 인공지능이 사이버 보안 산업의 유지보수 방식을 근본적으로 변화시켰다고 주장한다. 미토스 모델을 예로 들면, 완전 자동화된 취약점 탐지 및 공격 체인 구축 기능 덕분에 취약점 발견 속도가 100배 향상되었고, 비용은 천분의 일 이하로 감소했다.
디지털 보안 사고 방식의 전환
신원 위조, 모델 오류, 권한 관리 취약점, 악의적 갈취 등… 지능형 에이전트가 상용화 단계에 진입함에 따라 다양한 신규 리스크가 계속해서 등장하고 있다. 동시에 인공지능 주도의 은닉 데이터 탐사와 같은 리스크도 모델 정확도 및 의사결정 신뢰성에 영향을 미치고 있다.
차오춘장(조춘장) 중국공정원 원사이자 중국인공지능학회 부회장은 인공지능 시스템 보안 위험이 데이터 계층, 모델 계층, 응용 계층, 기반 계층의 네 가지 차원을 포괄한다고 소개했다. 각 차원에서 직면하는 보안 문제는 서로 달라서, 해당 차원에 맞춤화된 대책을 수립해야 한다.
우허촨(우허촨)의 견해에 따르면 오랫동안 보안 업무에 대한 사고방식은 ‘불이 난 곳마다 진화하는’ 방식이었다. 이러한 수동적 대응 방식은 인간의 공격에는 견딜 수 있지만, 지능형 에이전트 클러스터가 벌이는 집요한 공격 앞에서는 반응 속도가 늘 반 박자 느리다.
과거에는 누가 더 강했느냐, 미래에는 누가 더 빠르겠느냐? 중국은 자주적이고 통제 가능한 인공지능 취약점 탐지 역량을 반드시 구축해야 한다.” 저우홍이(저우홍이)가 말했다.
보안 패러다임은 수동적 방어에서 능동적 면역으로 전환되어야 한다고 우허취안이 말했다. 우리는 예측, 방어, 탐지, 대응, 복구의 전체 생애주기를 아우르는 체계적인 보안 운영 프레임워크를 구축해야 한다. 또한 프로세스, 인력, 기술을 통합해 폐쇄 루프 형태의 역량을 확보함으로써 보안 시스템 자체가 지능형 에이전트 수준의 인지, 예측, 적응 능력을 갖추도록 해야 하며, 사후 조치 중심에서 사전 경고 및 실시간 차단 중심으로의 전환을 달성해야 한다.
이는 단순한 장식이 아니라 역량에 대한 생사가 걸린 재구성이다. 지능형 에이전트 시대에 능동적 면역 없이는 디지털 보안을 담보할 수 없다고 우허취안이 말했다.
조아오 지궈는 지능형 에이전트 보안을 위한 핵심 기술 연구개발에 중점을 두고, 알고리즘 해석 가능성, 데이터 프라이버시 보호, 시스템 견고성 등 주요 분야에 대한 연구개발 투자를 강화해야 하며, 근원에서 능동적 방어 역량을 높이고 개발 주도권을 확보해야 한다고 믿는다. 지능형 에이전트의 특성에 부합하는 보안 표준 및 평가 인증 체계를 신속히 구축하고, 고위험 지능형 에이전트에 대해서는 등급별·분류별 관리를 실시하며, 연구개발·배치·운영 각 단계의 책임 경계를 명확히 해 규칙과 제도가 갖추어지도록 해야 한다. 국가 표준 틀 안에서 산업·학계·연구기관·실무 응용 간 심층 융합을 촉진하고, 지능형 에이전트의 연구개발·실현·운영·유지보수 전 생애주기를 아우르는 보호 표준을 신속히 마련해야 한다.
제품 판매에서 능력 판매로 전환
국제데이터공사(IDC) 보고서에 따르면, 중국 사이버보안 시장은 정책 및 규제 강화, 기업의 보안 투자 의지 증대, 신기술 적용 가속화 등으로 꾸준한 성장을 이어가고 있다. 2026년까지 전체 시장 규모가 800억 위안을 넘을 것으로 예상되며, 2024년부터 2029년까지 연평균 성장률(CAGR)은 8.9%에 이를 전망이다. 사이버보안은 디지털 경제 발전을 위한 필수 기반 역량으로 자리 잡았다.
현재 인텔리전트 에이전트는 금융, 제조, 의료와 같은 수직 산업 분야로의 침투 속도를 높이며 실제 비즈니스 시스템의 핵심 구성 요소가 되고 있다. 그러나 대부분의 산업 사용자는 여전히 자체 인텔리전트 방어 시스템을 개발할 역량을 갖추지 못했고, 기존 보안 벤더들은 여전히 방화벽, 탐지 도구 등을 판매하는 데 익숙해 있어 공급과 수요 사이에 명확한 불일치가 발생하고 있다.
"제품 제공자에서 서비스 제공자로의 전환을 가장 먼저 완료할 수 있는 기업이 지능형 에이전트 보안이라는 새로운 분야에서 주도권을 잡을 수 있을 것입니다,"라고 우허권이 말했습니다. 지능형 에이전트 시대의 디지털 보안 기업은 제품 판매에서 역량 판매로 전환해야 하며, 이는 지능형 에이전트의 전 생애 주기를 아우르는 보안 호스팅 서비스를 제공하고, 개발 단계에서 보안 검토를 수행하며, 운영 단계에서 실시간 모니터링 및 이상 대응을 실시하고, 반복 단계에서 위험 평가를 진행하고 강화 제안을 제시하는 것을 의미합니다. 이는 업계가 반드시 극복해야 할 패러다임 전환과 장애물입니다.
조 지궈는 산업계, 학계, 연구계 간 협력 보안 플랫폼을 구축해 네트워크 자원을 통합하고, 지능형 에이전트 보안 기술 개발, 응급 대응 협력, 모범 사례 확산 분야에서 기업·대학·연구기관 간 심층 협력을 촉진할 것을 제안했다. 정부의 지도, 기업의 책임, 사회의 참여를 바탕으로 한 거버넌스 체계를 구축해 개방적이고 협력적인 태도로 공동 과제에 대응해야 한다.
현재 관련 산업 기업들이 지능형 에이전트 시대를 위한 신진 인재 양성을 가속화하기 위해 적극적으로 나서고 있다. 제14차 인터넷 보안 컨퍼런스 기간 중 360 인공지능 에이전트 엔지니어(ADE) 인증 강사 및 360 공익재단 AI 인재 특별 장학금 수여 절차가 동시에 시작되었으며, 이는 인재 양성과 교육 포용이라는 두 관점에서 산·학·연 협력 교육을 심화시키기 위한 실질적인 플랫폼을 제공한다.
조 지궈는 정부 부처, 선도 기업, 연구기관이 지능형 에이전트 보안 역량 평가, 위험 분류, 데이터 보안 준수 등 분야에서 산업 표준 및 그룹 표준 개발을 가속화하도록 적극적으로 촉진해야 한다고 밝혔다. 이를 통해 산업의 표준화된 발전을 위한 제도적 기반을 마련하고, 고품질 발전의 확실성을 바탕으로 보안 리스크의 불확실성을 해소해야 한다고 강조했다. 또한 글로벌 인공지능 보안 거버넌스 규칙 수립 및 조율에 적극 참여하고, 지능형 에이전트 보안 대화 플랫폼을 구축하여 지능 시대의 글로벌 사이버보안 거버넌스 협력 방안을 공동 탐색해야 하며, 사이버 공간의 공동 번영을 위한 공동체를 함께 구축함으로써 글로벌 지능형 에이전트 산업의 건강한 발전에 중국의 지혜와 역량을 기여해야 한다고 덧붙였다.