Dengan iterasi cepat teknologi kecerdasan buatan, agen cerdas—sebagai wadah penting bagi integrasi mendalam kecerdasan buatan dan ekonomi riil—secara mendalam memengaruhi cara produksi dan gaya hidup, serta membentuk kembali batas-batas keamanan.
Dengan iterasi cepat teknologi kecerdasan buatan, agen cerdas—sebagai wadah penting bagi integrasi mendalam kecerdasan buatan dan ekonomi riil—secara mendalam memengaruhi cara produksi dan gaya hidup, serta membentuk kembali batas-batas keamanan.
Pada Konferensi Keamanan Internet ke-14 yang baru diselenggarakan, para pakar menyatakan bahwa kita harus memanfaatkan teknologi inti untuk mengatasi permasalahan krusial, memperkuat kompetensi internal, membangun penghalang kokoh melalui pembangunan sistem dan aturan, serta memimpin norma industri melalui pembangunan sistem standar, guna menciptakan jalur pengembangan terkoordinasi antara kemajuan dan keamanan di era agen.
Agen cerdas membawa risiko-risiko baru
Saat ini, kecerdasan buatan sedang mengalami transisi krusial dari model besar menuju agen cerdas. Ketika agen cerdas mulai mengambil keputusan secara otonom, memanggil alat-alat, serta menjalankan tugas-tugas, risiko keamanan pun muncul.
"Dibandingkan dengan sistem informasi masa lalu, agen tidak lagi berfungsi sebagai alat tanya-jawab untuk eksekusi pasif, melainkan diberi kemampuan persepsi, pengambilan keputusan, dan eksekusi secara mandiri. Lompatan dalam karakteristik teknologi ini telah mengubah secara mendalam situasi ofensif dan defensif dalam keamanan jaringan." kata Zhao Zhiguo, wakil presiden Asosiasi Internet Tiongkok dan mantan insinyur utama Kementerian Perindustrian dan Teknologi Informasi.
Dengan percepatan penetrasi agen cerdas ke bidang-bidang krusial seperti manufaktur, keuangan, dan energi, setiap risiko keamanan dapat memicu reaksi berantai lintas jaringan dan industri dalam waktu singkat melalui kapabilitas penjadwalan otonom agen cerdas, sehingga menuntut pencegahan risiko dan respons darurat yang lebih tinggi.
Zhao Zhiguo menyatakan bahwa begitu agen cerdas memiliki kemampuan pengambilan keputusan otonom, risiko keamanan meluas dari "kegagalan teknis" menjadi "kehilangan kendali atas pengambilan keputusan". Begitu terjadi penyimpangan atau gangguan, agen cerdas dapat mengambil tindakan yang menyimpang dari harapan manusia, dan konsekuensinya tidak dapat diprediksi. Risiko endogen ini menimbulkan tantangan mendasar terhadap keterkendalian keselamatan. Selain itu, agen cerdas beroperasi secara otonom dalam sistem dengan cara yang sangat menyerupai manusia, sehingga mekanisme kepercayaan berbasis identitas tradisional menghadapi risiko kegagalan. Ketika agen cerdas menandatangani kontrak, menjalankan transaksi, dan memanggil sumber daya secara otonom, cara mendefinisikan tanggung jawab keamanan serta mengidentifikasi perilaku tanpa otorisasi telah menjadi permasalahan praktis mendesak yang perlu segera diatasi.
Menurut Wu Hequan, akademisi Akademi Teknik Tiongkok (CAE) dan ketua kehormatan Konferensi Keamanan Internet, serangan agen menunjukkan karakteristik teknis pengambilan keputusan mandiri, kolaborasi kelompok, serta evolusi berkelanjutan. Serangan siber konvensional sangat bergantung pada operasi manual, sedangkan serangan berbasis agen secara mendasar mengubah pola ini.
Secara khusus, agen cerdas mampu secara otonom memahami lingkungan, merencanakan jalur serangan, serta menjalankan tugas penetrasi; lebih dari satu agen pun dapat saling berbagi informasi dan berkolaborasi. Serangan berkelompok semacam ini dapat diluncurkan secara bersamaan dari berbagai titik masuk dalam waktu yang sangat singkat, sehingga sistem pertahanan menjadi kewalahan dalam merespons. Yang perlu diwaspadai lebih lanjut adalah kemampuan agen cerdas untuk terus belajar dan beriterasi—setiap bentuk konfrontasi antara serangan dan pertahanan menjadi bahan optimasi bagi mereka, sehingga metode serangan pun senantiasa berubah seiring waktu.
Zhou Hongyi, pendiri Grup 360 dan ketua Konferensi Keamanan Internet, berpendapat bahwa kecerdasan buatan telah mengubah lanskap industri keamanan siber. Sebagai contoh, model Mythos dengan kemampuan penambangan kerentanan dan pembangunan rantai serangan sepenuhnya otomatis telah meningkatkan kecepatan penemuan kerentanan hingga dua orde besaran serta menurunkan biaya hingga kurang dari seperseribu.
Transformasi pola pikir keamanan digital
Pemalsuan identitas, kegagalan model, kerentanan manajemen izin, pemerasan jahat... Saat agen cerdas memasuki tahap penerapan komersial, berbagai risiko baru terus bermunculan. Di saat yang sama, risiko seperti penambangan data tersembunyi yang didorong kecerdasan buatan juga berdampak pada akurasi model dan keandalan pengambilan keputusan.
Zhao Chunjiang, akademisi Akademi Teknik Tiongkok dan wakil presiden Asosiasi Kecerdasan Buatan Tiongkok, menjelaskan bahwa risiko keamanan sistem AI mencakup empat dimensi: lapisan data, lapisan model, lapisan aplikasi, dan lapisan dasar. Masalah keamanan yang dihadapi tiap dimensi pun berbeda, sehingga diperlukan langkah-langkah spesifik yang ditujukan pada masing-masing dimensi.
Menurut Wu Hequan, selama ini pendekatan kerja keamanan cenderung bersifat reaktif—memadamkan kebakaran di mana pun terjadi. Pola respons pasif semacam ini mungkin masih mampu menghadapi serangan manusia, namun ketika menghadapi serangan masif dari kumpulan agen cerdas, kecepatan respons selalu tertinggal setengah langkah.
Siapa yang lebih kuat di masa lalu dan siapa yang akan lebih cepat di masa depan? Tiongkok harus membangun kemampuan eksplorasi kerentanan AI yang mandiri dan dapat dikendalikan sepenuhnya.” kata Zhou Hongyi.
Paradigma keamanan harus bergeser dari pertahanan pasif ke imunitas aktif," kata Wu Hequan. "Kita perlu membangun kerangka operasi keamanan sistematis yang mencakup seluruh siklus hidup: prediksi, pertahanan, deteksi, respons, dan pemulihan. Kita perlu mengintegrasikan proses, personel, dan teknologi ke dalam kapabilitas berbasis loop tertutup, sehingga sistem keamanan juga mampu melakukan persepsi, prediksi, dan adaptasi secara cerdas—dan mewujudkan pergeseran dari perbaikan pasca-insiden ke peringatan dini serta pemblokiran selama proses berlangsung.
Ini bukan sekadar pelengkap, melainkan rekonstruksi kapabilitas yang menentukan hidup atau mati. Tanpa imunitas aktif, tidak akan ada keamanan digital di era agen cerdas," kata Wu Hequan.
Zhao Zhiguo meyakini bahwa penting untuk memberikan penekanan pada penelitian dan pengembangan teknologi inti guna keamanan agen cerdas, memperkuat investasi penelitian dan pengembangan di bidang-bidang krusial seperti interpretabilitas algoritma, perlindungan privasi data, serta ketahanan sistem, meningkatkan kemampuan pertahanan proaktif sejak sumbernya, dan mengambil inisiatif dalam pengembangan. Percepat pembentukan standar keamanan serta mekanisme evaluasi dan sertifikasi yang disesuaikan dengan karakteristik agen cerdas, terapkan manajemen bertingkat dan terklasifikasi bagi agen cerdas berisiko tinggi, jelasakan batas tanggung jawab dalam penelitian dan pengembangan, penerapan, serta operasi, serta pastikan adanya aturan dan peraturan yang dapat dijadikan pedoman. Di bawah kerangka standar nasional, dorong integrasi mendalam antara industri, akademisi, penelitian, dan penerapan, serta percepat terbentuknya standar perlindungan yang mencakup seluruh siklus hidup penelitian dan pengembangan, penerapan, operasi, serta pemeliharaan agen cerdas.
Beralih dari menjual produk ke menjual kemampuan
Menurut laporan International Data Corporation (IDC), pasar keamanan siber Tiongkok terus tumbuh stabil karena penguatan berkelanjutan kebijakan dan peraturan, peningkatan kesiapan perusahaan dalam berinvestasi di bidang keamanan, serta percepatan penerapan teknologi baru. Diprediksi bahwa pada 2026, ukuran pasar keseluruhan akan melampaui 80 miliar yuan, dengan tingkat pertumbuhan tahunan majemuk sebesar 8,9% dari 2024 hingga 2029. Keamanan siber telah menjadi kemampuan dasar esensial dalam pengembangan ekonomi digital.
Saat ini, agen cerdas sedang mempercepat penetrasi mereka ke dalam industri vertikal seperti keuangan, manufaktur, dan layanan kesehatan, menjadi komponen inti dari sistem bisnis nyata. Namun, sebagian besar pengguna industri belum memiliki kemampuan untuk mengembangkan sistem pertahanan cerdas sendiri, sementara vendor keamanan tradisional masih terbiasa menjual firewall, alat deteksi, dan sebagainya, sehingga menimbulkan ketidaksesuaian yang jelas antara penawaran dan permintaan.
Siapa pun yang mampu menyelesaikan transformasi dari penyedia produk menjadi penyedia layanan lebih dulu, akan mampu memimpin di bidang keamanan agen cerdas yang baru," kata Wu Hequan. Perusahaan keamanan digital di era agen cerdas harus beralih dari menjual produk menjadi menjual kapabilitas—artinya menyediakan layanan hosting keamanan yang mencakup seluruh siklus hidup agen cerdas: meninjau aspek keamanan selama fase pengembangan, melakukan pemantauan secara real-time serta respons terhadap anomali selama fase operasional, serta melakukan penilaian risiko dan memberikan saran penguatan selama fase iterasi. Ini merupakan pergeseran paradigma sekaligus rintangan yang harus diatasi oleh industri.
Zhao Zhiguo menyarankan agar didirikan sebuah platform keamanan kolaboratif antara industri, akademisi, dan penelitian guna mengintegrasikan sumber daya jaringan serta mendorong kerja sama mendalam antara perusahaan, universitas, dan lembaga penelitian dalam pengembangan teknologi keamanan agen cerdas, kolaborasi respons darurat, dan promosi praktik terbaik. Pola tata kelola harus dibangun dengan panduan pemerintah, tanggung jawab perusahaan, dan partisipasi masyarakat untuk mengatasi tantangan bersama dengan sikap terbuka dan kolaboratif.
Saat ini, perusahaan-perusahaan terkait di industri tersebut sedang mengambil tindakan guna mempercepat pengembangan talenta baru untuk era agen cerdas. Selama Konferensi Keamanan Internet ke-14, proses pemberian sertifikasi Dosen Insinyur Agen Kecerdasan Buatan (ADE) 360 dan Beasiswa Khusus Talenta AI Yayasan Amal 360 diluncurkan secara bersamaan, menyediakan wadah praktis bagi kolaborasi pendidikan mendalam antara industri, perguruan tinggi, dan lembaga penelitian dari sudut pandang pengembangan talenta serta inklusivitas pendidikan.
Zhao Zhiguo menyatakan bahwa perlu secara aktif mendorong departemen pemerintah, perusahaan terkemuka, serta lembaga penelitian untuk mempercepat pengembangan standar industri dan standar kelompok di bidang-bidang seperti penilaian kemampuan keamanan agen cerdas, klasifikasi risiko, kepatuhan keamanan data, dan sebagainya, guna menyediakan landasan kelembagaan bagi perkembangan terstandarisasi industri serta mengatasi ketidakpastian risiko keamanan melalui kepastian pembangunan berkualitas tinggi. Selain itu, kita harus secara aktif berpartisipasi dalam penyusunan dan koordinasi aturan tata kelola keamanan kecerdasan buatan global, membangun platform dialog keamanan agen cerdas, bersama-sama mengeksplorasi jalur kolaboratif tata kelola keamanan siber global di era kecerdasan, bekerja sama membangun komunitas masa depan bersama di ruang siber, serta memberikan kebijaksanaan dan kekuatan Tiongkok bagi perkembangan sehat industri agen cerdas global.