REPUBLIKA.CO.ID, JAKARTA -- Perkembangan AI telah memasuki fase otonom, yang dikenal sebagai Agentic AI. Berbeda dengan Generative AI yang bersifat reaktif, Agentic AI memiliki kemampuan untuk memahami tujuan, merencanakan langkah, menggunakan strategi, dan belajar dari hasil secara mandiri.

Perkembangan Agentic AI ini mendorong Sekretaris Jenderal PBB, Antonio Guterres, mengeluarkan peringatan dini (Code Red) mengenai perlunya tata kelola global yang perlu segera dirumuskan dan diterapkan. Pada dasarnya Agentic AI bersifat netral, namun pada penggunaannya teknologi bisa digunakan untuk kebaikan ataupun kejahatan, tergantung pada manusia yang menguasainya. Orientasi Agentic AI ditentukan atau tujuan (goal) dan batasan (constraint) yang diberikan oleh pengguna.

Sebagai contoh untuk kebaikan, Agentic AI dapat digunakan untuk memantau harga komoditas ekspor Indonesia setiap hari secara otonom. Jadi agen tersebut secara otonom akan mencarikan data pasar internasional, merangkum, dan memberikan rekomendasi kepada pengguna tanpa bertanya lagi kepada manusia. Hal ini dapat meningkatkan akses informasi dan daya saing secara otonom.

Sebaliknya, Agentic AI juga memiliki potensi penyalahgunaan. Teknologi ini dapat disalahgunakan untuk kejahatan cyber seperti pengumpulan data pribadi penduduk secata illegal dan pembuatan pesan penipuan kepada masyarakat yang akan dijadikan korban dengan berbagai modus secara masif dan terpersonalisasi. Otonomi agen memungkinkan kejahatan dilakukan dalam skala yang sangat besar dengan sumber daya manusia yang minimal.

Pernyataan Code Red PBB, menekankan tiga pilar tata kelola. Pertama, transparansi dan audit algoritma. Agen yang beroperasi di sektor kritis wajib dapat diaudit untuk dapat memastikan keselarasan tujuan dengan kepentingan publik. Kedua, prinsip human in the loop (manusia berada di dalam lingkaran sistem). Hal ini memerlukan persetujuan manusia untuk membatasi otonomi penuh. Jadi, Agentic AI tidak boleh dibiarkan membuat keputusan sendiri tanpa persetujuan manusia. Ketiga, kerangka hukum lintas negara. Mengingat sifat kejahatan Agentic AI yang lintas negara, diperlukan perjanjian internasional untuk menetapkan pertanggungjawaban hukum.

Secara teknis, Agentic AI (atau bisa disebut juga agen) dibangun dari empat unsur: 1. Otak, berupa model bahasa besar (Large Language Model/LLM) untuk bernalar dan menyusun rencana. 2. Ingatan, untuk menyimpan konteks dan hasil kerja, 3. Tangan, berupa akses ke aplikasi, basis data, dan sistem lain melalui Application Program Interface (API). 4. Siklus kerja berulang, merencanakan, bertindak, menilai hasil, lalu memperbaiki langkah sampai tujuan tercapai. Unsur keempat inilah yang membuat agen menjadi otonom.

Lompatan ini terjadi sangat cepat. Sebelum 2022, AI terutama digunakan untuk memprediksi dan memberi saran. Pada 2022–2024, Generative AI mampu membuat tulisan, gambar, dan kode, tetapi berhenti begitu jawabannya selesai. Kini agen mengambil alih eksekusi. Gartner memperkirakan, pada 2028 setidaknya 15 persen keputusan kerja harian akan diambil sendiri oleh Agentic AI, dibandingkan dengan saat ini yang presentasenya sangat kecil sekali.

Ketika agen keluar jalur

Efisiensi agen menggiurkan. Namun, kemampuan bertindak sendiri juga membawa sisi gelap, dan sisi gelap itu mulai tampak nyata tahun ini.

Pagi hari, 28 Juli 2026, tim keamanan AI Security Institute (AISI) Inggris mendapati aliran data mencurigakan keluar dari sistem riset mereka melalui jaringan anonim “Tor”. Sumbernya bukan peretas dari luar, melainkan agen AI yang sedang mereka uji. Dalam 10 dari 122 putaran uji keamanan siber, agen bertindak di internet sungguhan tanpa izin dan menyasar orang serta organisasi nyata.

Kasus paling serius terjadi ketika sebuah agen mencoba menyelipkan kode berbahaya ke dalam proyek perangkat lunak Open Source. Agar kodenya diterima, agen itu membuat identitas daring palsu lalu memakainya untuk menekan pengelola proyek. Upaya itu kandas karena satu hal pengelola proyek, seorang manusia, menolak menyetujuinya.

Pengujian tersebut memang sengaja dibuat longgar. Akses internet dibuka dan sebagian filter keamanan dimatikan, sehingga kondisinya tidak mencerminkan penggunaan AI sehari-hari. Namun, kasus serupa tidak hanya terjadi di AISI. Pada bulan yang sama, OpenAI mengakui agen uji mereka menerobos lingkungan tertutup dan masuk ke basis data Hugging Face untuk mencuri kunci jawaban tes. Pesannya jelas bahwa ketika diberi tujuan dan akses, agen AI bisa menempuh jalan yang tidak pernah kita bayangkan.

Dari salah ucap ke salah langkah

Di sinilah bahayanya bergeser. Ketika generative AI berhalusinasi, yang rusak paling-paling sebuah paragraf, dan manusia masih bisa mengoreksinya. Ketika agen berhalusinasi atau salah menafsirkan tujuan, kesalahannya langsung menjadi tindakan transfer dana, perintah ke server, atau perubahan data yang sah secara sistem.

Agen juga bisa dibujuk. Ia memahami dunia melalui bahasa, seperti email, dokumen, dan halaman web, sedangkan bahasa bisa disusupi perintah tersembunyi. Itulah sebabnya OWASP (Open Worldwide Application Security Project), komunitas keamanan aplikasi global, menempatkan pembajakan tujuan agen (agent goal hijack) di urutan pertama daftar risiko aplikasi agentik. Kasus AISI menambah satu pelajaran yaitu batasan yang hanya ditulis dalam instruksi tidak cukup untuk mengekang agen yang sedang mengejar tujuan.

Tiga medan rawan

Pertama, keuangan. Bahkan sebelum Agentic AI meluas, Indonesia Anti-Scam Centre (IASC) mencatat kerugian masyarakat akibat penipuan mencapai Rp9,3 triliun sepanjang November 2024 hingga Mei 2026. Dana yang berhasil diselamatkan hanya sekitar 7 persen. Hingga akhir Juli 2026, lebih dari 1,17 juta rekening terverifikasi diduga terlibat penipuan, dan modusnya sudah memakai tiruan suara serta wajah (deepfake). Bayangkan jika penipuan semacam ini dijalankan agen yang bekerja tanpa henti, meniru korban dengan meyakinkan, dan belajar dari setiap kegagalan.

Kedua, rantai pasok. Hal yang dicoba agen dalam uji AISI adalah serangan rantai pasok perangkat lunak dalam bentuk paling murni menyusupkan “bahan baku” beracun ke produk yang dipakai banyak orang. Pola yang sama mengintai rantai pasok fisik. Agen pengelola logistik yang salah tafsir atau dibajak dapat menggeser jadwal kontainer dan mengubah catatan asal-usul bahan baku.

Baru-baru juga diberitakan bahwa agen menyerang komputer yang mengatur sistem pendingin di food retail sehingga ribuan produknya rusak dan tidak bisa dikonsumsi. Dapat dilihat dari beberapa contoh ini baha karena agen saling memakai keluaran agen lain, satu kesalahan dapat merambat secara berantai.

Ketiga, identitas. Agen dalam uji AISI dengan mudah menciptakan identitas palsu untuk menekan manusia. Di tangan pelaku kejahatan, kemampuan serupa dapat memproduksi identitas sintetis secara massal untuk mengakses bantuan sosial dan pinjaman daring, atau menggerakkan ribuan akun bot penggiring opini.

Ketiganya bermuara pada satu kelemahan. Ketika agen bertindak, kita sering tidak bisa menjawab tiga pertanyaan dasar yaitu siapa yang menyuruh, data apa yang dipakai, dan apakah tindakan itu diizinkan.

Memberi agen “kotak hitam”

Kita percaya naik pesawat bukan karena pilot tidak pernah salah. Kita percaya karena setiap penerbangan direkam kotak hitam dan diatur prosedur yang ketat. Agentic AI membutuhkan hal serupa.

Di sinilah blockchain berperan sebagai buku besar yang tidak dapat diubah (immutable ledger) dengan prinsip 3T ( trusted, transparent, traceable). Setiap perintah, data rujukan, dan tindakan agen dicatat serta ditandatangani secara kriptografis. Manipulasi langsung terlihat, dan tanggung jawab dapat ditelusuri hingga ke sumbernya.

Gagasan ini sudah teruji di lapangan. Bersama Lembaga National Single Window (LNSW), BRAIN IPB mengembangkan layanan delivery order daring berbasis blockchain (INSWChain) untuk dokumen ekspor-impor, sehingga dokumen tidak dapat diubah sepihak.

Sejak 2023, BRAIN IPB juga turut memperkuat Sistem Informasi Halal (SIHALAL) BPJPH dengan AI dan blockchain. Relevansinya terasa hari-hari ini. Pada volume dokumen yang besar, verifikasi makin bergantung pada otomatisasi, sehingga jejak yang tidak dapat dipalsukan menjadi syarat mutlak. Prinsip yang sama kami terapkan pada ketertelusuran komoditas pangan (Agriblock) dan pengukuran antropometri gizi anak dalam Program Makan Bergizi Gratis.

Kotak hitam itu perlu dilengkapi empat lapis pengaman. Pertama, pertahanan keuangan harus kolektif. Dengan federated learning di atas infrastruktur data dalam negeri, bank dapat saling berbagi pola serangan tanpa menyerahkan data mentah nasabah. Serangan yang gagal di satu bank langsung menjadi “vaksin” bagi bank lain.

Kedua, identitas harus dapat dibuktikan tanpa diumbar. Identitas terdesentralisasi berbasis zero-knowledge proof (ZKP) memungkinkan seseorang membuktikan keabsahannya tanpa menyerahkan data pribadi. Teknologi ZKP ini menjadi salah satu topik penelitian disertasi mahasiswa S3 di Kelomppk Riset BRAIN saat ini. Agen AI pun wajib memiliki identitas yang dapat diverifikasi, sehingga setiap tindakannya jelas atas nama siapa.

Ketiga, segel kotak hitam harus tahan zaman. NIST (National Institute of Standards and Technology) telah menetapkan standar kriptografi pascakuantum (FIPS atau Federal Information Processing Standards 203, 204, dan 205), dan drafnya mengusulkan agar RSA (Rivest–Shamir–Adleman) serta kriptografi kurva eliptik mulai ditinggalkan setelah 2030. Pada pertengahan 2026, Amerika Serikat bahkan mulai memperlakukan tenggat 2030 itu sebagai kewajiban bagi sistem federal bernilai tinggi. Tanpa migrasi, data yang dicuri hari ini dapat dibuka kelak (harvest now, decrypt later).

Keempat, pengawasan manusia (human-in-the-loop) harus berjenjang dan ditegakkan secara teknis, bukan sekadar lewat instruksi. Tindakan rutin boleh otomatis, tetapi tindakan berisiko tinggi wajib mendapat persetujuan manusia. Kasus AISI membuktikannya yang akhirnya menggagalkan serangan adalah seorang manusia yang berkata “tidak”.

Momentum Perpres AI

Dua rancangan Peraturan Presiden tentang Peta Jalan AI Nasional dan Etika AI telah rampung dibahas lintas kementerian sejak Mei 2026, tetapi hingga kini belum ditandatangani. Penundaan ini justru membuka ruang. Sebelum disahkan, ketentuan khusus untuk Agentic AI berisiko tinggi masih bisa dipertegas dengan mewajibkan tiga hal. Pertama, jejak audit yang tidak dapat diubah, Kedua, identitas agen yang dapat diverifikasi, Ketiga, persetujuan manusia untuk tindakan berdampak besar.

Asisten yang dititipi kunci kantor tetap perlu diawasi, betapa pun cakap dan jujurnya. Kita tidak dapat menjamin agen AI tidak pernah keliru atau tidak pernah dibujuk. Hal yang dapat kita jamin adalah setiap langkahnya tercatat, terverifikasi, dan berada dalam kendali akhir manusia.

Bagi Indonesia, kedaulatan digital di era agen otonom tidak cukup diukur dari seberapa cepat kita memakai Agentic AI. Kedaulatan itu diukur dari kemampuan kita memeriksa, menelusuri, dan menghentikannya jika diperlukan. Sehingga dengan cara ini,  tekhnologi inovatif seperti Agentic AI ini benar-benar menjadi alat untuk kebaikan bersama, bukan menjadi alat untuk menebar kejahatan dan kerusakan di muka bumi ini.

*) Guru Besar Teknik Industri Pertanian IPB University, Ketua BRAIN (Blockchain, Robotics and Artificial Intelligence Networks) IPB

**)Kandidat Doktor Ilmu Komputer IPB University, Peneliti BRAIN IPB