Bayangkan sebuah sistem kecerdasan buatan yang diberi kewenangan oleh sebuah perusahaan untuk memproses pengajuan kredit, menempatkan pesanan ke pemasok, atau bahkan menjawab keluhan pelanggan secara otonom, tanpa persetujuan manusia di setiap langkahnya. Ketika sistem itu membuat keputusan yang merugikan, menolak kredit secara diskriminatif, memesan barang yang salah dalam jumlah besar, atau membocorkan data pribadi, pertanyaan yang langsung muncul bukan “mengapa mesin ini salah”, melainkan pertanyaan yang jauh lebih sulit dijawab oleh hukum yang ada saat ini: siapa yang harus bertanggung jawab?

Itulah inti persoalan dari agentic AI, sistem kecerdasan buatan yang dirancang untuk merencanakan, memutuskan, dan mengeksekusi tindakan secara mandiri demi mencapai suatu tujuan, tanpa pengawasan manusia secara terus-menerus. Teknologi ini berkembang jauh lebih cepat daripada kemampuan hukum untuk mengaturnya, dan jurang di antara keduanya inilah yang akan kita bedah dalam artikel ini.

Kerangka Lama untuk Masalah Baru: Hukum Keagenan

Cara paling alami bagi hukum untuk mendekati agentic AI adalah meminjam doktrin yang sudah lama ada: hukum keagenan (agency law). Dalam doktrin ini, seorang prinsipal pada umumnya bertanggung jawab atas tindakan agennya, termasuk agen kecerdasan buatan, selama tindakan itu masih berada dalam batas kewenangan yang diberikan. Logikanya sederhana: jika sebuah perusahaan memberi wewenang kepada AI untuk mengakses data pelanggan, sistem keuangan, atau saluran komunikasi, perusahaan itulah yang pada dasarnya menanggung akibat hukum dari tindakan AI tersebut.

Pendekatan ini terdengar masuk akal di atas kertas. Namun, kerangka keagenan klasik dibangun dengan asumsi bahwa ada satu prinsipal yang mengarahkan satu agen secara jelas. Realitas agentic AI jauh lebih rumit: satu sistem otonom kini bisa berinteraksi dengan sistem otonom lain secara berantai, mengambil keputusan yang tidak pernah secara spesifik diperintahkan oleh manusia mana pun, dan menghasilkan akibat yang sulit dilacak kembali ke satu titik kesalahan. Para peneliti hukum teknologi menyebut ini sebagai jurang ketertelusuran (traceability gap): interaksi antaragen yang berlangsung secara tertutup, tidak tercatat dengan baik, dan sulit direkonstruksi setelah kerugian terjadi.

Dialektika Hukum: Antara Efisiensi Bisnis dan Kepastian Pertanggungjawaban

Di satu sisi, dunia usaha mendorong agar pertanggungjawaban agentic AI diselesaikan melalui kontrak, bukan menunggu putusan pengadilan atau regulasi baru. Argumennya jelas: kontrak lebih cepat disusun, lebih fleksibel, dan memberi kepastian bagi pelaku usaha yang ingin segera mengadopsi teknologi ini. Banyak perjanjian teknologi saat ini meletakkan seluruh tanggung jawab kepatuhan hukum di pundak pelanggan atau pengguna, bukan penyedia sistem.

Namun, di sisi lain, pendekatan ini justru melahirkan kontradiksi yang tidak adil. Penyedia teknologi pada dasarnya mengendalikan bagaimana AI itu berperilaku, melalui rancangan model, batas kewenangan, dan parameter yang ditanamkan, sementara pelangganlah yang menanggung akibat hukum apabila perilaku itu melanggar aturan. Pola ini mirip dengan apa yang dalam literatur etika teknologi disebut sebagai moral crumple zone, yaitu area tanggung jawab yang justru jatuh kepada pihak dengan posisi paling lemah dalam rantai kendali, padahal keputusan sesungguhnya lahir dari sistem yang dirancang oleh pihak lain (Elish, 2019). Ketika istilah ini dipindahkan ke ranah hukum, pertanyaannya menjadi tegas: apakah adil membebankan tanggung jawab kepada pihak yang tidak benar-benar memahami, apalagi mengendalikan, cara kerja sistem yang merugikannya?

Sejumlah yurisdiksi mulai merespons ketegangan ini secara tegas. Negara bagian California, melalui aturan yang mulai berlaku pada 1 Januari 2026, melarang pihak yang mengembangkan, mengubah, atau menggunakan sistem kecerdasan buatan untuk berdalih bahwa sistem itu “bertindak secara otonom” sebagai alasan menghindari tanggung jawab. Uni Eropa pun memperluas konsep tanggung jawab produk agar mencakup perangkat lunak dan AI sebagai “produk”, sehingga produsen dapat dimintai pertanggungjawaban mutlak apabila sistem AI mereka terbukti cacat, tanpa perlu membuktikan adanya kelalaian. Kedua pendekatan ini punya satu kesamaan tegas: tanggung jawab tidak boleh menguap begitu saja hanya karena keputusan diambil oleh mesin.

Bagaimana dengan Indonesia?

Pertanyaan ini menjadi lebih mendesak ketika kita menengok ke dalam negeri. Indonesia hingga saat ini belum memiliki undang-undang yang secara khusus mengatur kecerdasan buatan. Kerangka hukum yang ada, terutama Undang-Undang Informasi dan Transaksi Elektronik (UU ITE) sebagaimana diubah melalui Undang-Undang Nomor 1 Tahun 2024, tidak dirancang untuk menghadapi karakteristik AI yang otonom dan adaptif. UU ITE memang mengenal konsep “agen elektronik”, sistem yang dapat bertindak secara otomatis atas instruksi manusia, namun konsep ini disusun untuk sistem berbasis aturan yang sederhana, jauh sebelum agentic AI yang mampu merencanakan dan menyesuaikan tindakannya sendiri ada di benak para perumus undang-undang tersebut.

Persoalan menjadi lebih kabur ketika kita masuk ke ranah perdata. Pasal 1365 Kitab Undang-Undang Hukum Perdata mengatur perbuatan melawan hukum, namun pasal ini mensyaratkan adanya subjek hukum yang melakukan perbuatan dan dapat dimintai pertanggungjawaban. Sistem AI bukan subjek hukum dalam pengertian itu, sehingga tanggung jawab harus ditarik kembali kepada pengembang, penyelenggara sistem, atau pengguna, padahal hukum belum menetapkan secara tegas bagaimana pembagian tanggung jawab di antara ketiganya. Undang-Undang Pelindungan Data Pribadi turut relevan ketika agentic AI memproses data pribadi secara otonom, tetapi undang-undang ini juga tidak dirancang untuk menjawab pertanyaan inti soal akuntabilitas atas keputusan algoritmik yang berdampak langsung pada hak warga negara.

Kekosongan ini bukan sekadar persoalan teknis administratif. Ketika agentic AI mulai digunakan dalam sektor strategis seperti perbankan, layanan publik, dan pengenalan wajah, ketidakjelasan jalur pertanggungjawaban langsung berbenturan dengan hak-hak masyarakat yang dirugikan. Tanpa kewajiban transparansi algoritma, mekanisme audit, dan kepastian siapa yang harus digugat, masyarakat awam berada pada posisi paling rentan, mereka dirugikan oleh keputusan yang prosesnya tidak dapat mereka pahami, dan harus berhadapan dengan ketidakjelasan hukum untuk mendapatkan keadilan.

Perdebatan yang Lebih Dalam: Haruskah AI Punya Status Hukum?

Di balik perdebatan teknis tentang siapa yang membayar kerugian, ada perdebatan filosofis yang lebih dalam: apakah AI yang benar-benar otonom seharusnya diberi bentuk status hukum tersendiri, mirip dengan badan hukum seperti korporasi? Sebagian ahli hukum menolak keras gagasan ini. Argumennya tegas: AI tidak memiliki penilaian, niat, atau tanggung jawab moral; ia hanyalah instrumen yang digunakan oleh pengawas manusia, sehingga memberinya status hukum justru akan menjadi tameng yang melindungi manusia di belakangnya dari akibat tindakannya sendiri.

Argumen ini masih menjadi pijakan utama dalam diskursus hukum saat ini, dan ada alasan kuat untuk mempertahankannya. Memberi status hukum kepada AI tanpa memastikan ada manusia atau entitas yang benar-benar dapat dimintai pertanggungjawaban di baliknya hanya akan memperburuk jurang akuntabilitas yang sudah ada, bukan menutupnya.

Sintesis: Tiga Langkah yang Tidak Bisa Ditunda

Pertama, tanggung jawab atas tindakan agentic AI tidak boleh diserahkan sepenuhnya kepada kontrak. Kontrak boleh mengatur pembagian risiko di antara pihak-pihak yang bertransaksi, tetapi tidak boleh menghapus hak korban pihak ketiga, termasuk masyarakat umum, untuk menuntut pertanggungjawaban hukum.

Kedua, regulasi berbasis risiko harus segera disusun, mengikuti jejak pendekatan yang sudah diuji di Uni Eropa: klasifikasi tingkat risiko, kewajiban audit, dan keharusan adanya pengawasan manusia yang nyata, bukan formalitas semata, terutama untuk sistem yang berdampak langsung pada hak dasar warga negara.

Ketiga, ketertelusuran harus dibangun sejak rancang bangun sistem, bukan direkonstruksi setelah kerugian terjadi. Log audit, identitas agen, dan batas kewenangan yang jelas perlu menjadi bagian dari arsitektur teknis itu sendiri, bukan sekadar dokumen kepatuhan yang disimpan di laci.

Hukum selalu tertinggal dari teknologi, dan itu bukan hal baru. Namun jurang antara kecepatan adopsi agentic AI dan kelambanan regulasi kali ini berbeda: yang dipertaruhkan bukan sekadar efisiensi bisnis, melainkan kepastian bagi setiap warga negara untuk mengetahui satu hal sederhana, yaitu kepada siapa ia harus meminta pertanggungjawaban ketika sebuah keputusan otomatis merugikan hidupnya.

Referensi

1. Berkeley Technology Law Journal. (2026). Multi-Agent AI is Outpacing the Liability Frameworks Built for Single-Agent Systems. Diakses dari https://btlj.org/2026/06/multi-agent-ai-is-outpacing-the-liability-frameworks-built-for-single-agent-systems/
2. Clifford Chance. (2026). Agentic AI: The Liability Gap Your Contracts May Not Cover. Diakses dari https://www.cliffordchance.com/insights/resources/blogs/talking-tech/en/articles/2026/02/agentic-ai-and-the-liability-gap-your-contracts-may-not-cover.html
3. Elish, M. C. (2019). Moral crumple zones: Cautionary tales in human-robot interaction. Engaging Science, Technology, and Society, 5, 40–60.
4. Kitab Undang-Undang Hukum Perdata (KUHPerdata), Pasal 1365 tentang Perbuatan Melawan Hukum.
5. Mahkamah Agung Republik Indonesia, MariNews. (2026). Mencari Arah Pertanggungjawaban Hukum AI di Indonesia. Diakses dari https://marinews.mahkamahagung.go.id/artikel/mencari-arah-pertanggungjawaban-hukum-ai-di-indonesia-0S7
6. RMOL.id. (2026). Kekosongan Regulasi AI Berimbas pada Perlindungan HAM. Diakses dari https://rmol.id/hukum/read/2026/01/08/693203/kekosongan-regulasi-ai-berimbas-pada-perlindungan-ham
7. Squire Patton Boggs. (2026). The Agentic AI Revolution: Managing Legal Risks. Diakses dari https://www.squirepattonboggs.com/insights/publications/the-agentic-ai-revolution-managing-legal-risks/
8. Undang-Undang Nomor 1 Tahun 2024 tentang Perubahan Kedua atas Undang-Undang Nomor 11 Tahun 2008 tentang Informasi dan Transaksi Elektronik.
9. Undang-Undang Nomor 27 Tahun 2022 tentang Pelindungan Data Pribadi.