Di Tengah Ambisi Raksasa Teknologi Membangun AGI, Para Ilmuwan Memperingatkan Risiko Hilangnya Kendali Manusia

Ambisi perusahaan teknologi global untuk mengembangkan kecerdasan buatan tingkat lanjut kini memasuki fase krusial. Dalam satu dekade terakhir, kecerdasan buatan (artificial intelligence/AI) bertransformasi dari riset akademik menjadi fondasi strategi bisnis raksasa teknologi dunia, dengan nilai investasi mencapai ratusan miliar dolar AS setiap tahun.

Namun, di balik percepatan itu, muncul peringatan serius dari kalangan ilmuwan mengenai risiko hilangnya kendali manusia. Peringatan tersebut disampaikan Anthony Aguirre, fisikawan teoretis dari University of California, Santa Cruz, sekaligus peneliti Future of Life Institute, melalui sebuah esai akademik.

Dalam tulisannya, Aguirre menekankan perlunya membatasi pengembangan kecerdasan buatan umum (artificial general intelligence/AGI) dan superintelligence demi menjaga kendali manusia. Esai berjudul Keep the Future Human: Why and How We Should Close the Gates to AGI and Superintelligence, and What We Should Build Instead itu menandai titik balik perdebatan global tentang arah pengembangan artificial general intelligence (AGI).

Aguirre menjelaskan bahwa dorongan menuju AGI dipacu oleh lonjakan daya komputasi dan pola peningkatan kemampuan AI yang semakin konsisten. Menurut penelitian Anthony Aguirre, “sekali sistem melampaui tingkat kecerdasan manusia, tidak ada cara yang benar-benar andal untuk memprediksi atau mengendalikan seluruh perilakunya.” Pernyataan ini menegaskan keterbatasan fundamental manusia dalam mengawasi sistem yang lebih cerdas dari penciptanya.

AGI, dalam pengertian Aguirre, bukan sekadar AI yang unggul dalam satu tugas, melainkan sistem dengan kemampuan umum lintas bidang, setara atau melampaui kecerdasan manusia. Risiko meningkat ketika kemampuan tersebut dipadukan dengan otonomi, yakni kapasitas sistem untuk bertindak dan mengambil keputusan tanpa pengawasan manusia secara langsung.

“Ketika kecerdasan, otonomi, dan skala digabungkan dalam satu sistem, kita tidak lagi berhadapan dengan alat. ita berhadapan dengan entitas yang secara fundamental berbeda dari teknologi sebelumnya," tulis Aguirre.

Dalam konteks ini, persoalan bukan semata-mata keselarasan nilai (alignment), melainkan konsentrasi kekuasaan dan ketergantungan manusia pada sistem yang tidak sepenuhnya dipahami.

Aguirre juga menyoroti risiko konsentrasi kekuasaan apabila sistem AGI dikendalikan oleh segelintir perusahaan atau negara. Menurutnya, AI yang bersifat umum, otonom, dan lebih cerdas dari manusia berpotensi menjadi alat dominasi politik dan ekonomi.

“Konsentrasi kemampuan semacam ini akan menciptakan struktur kekuasaan yang sangat tidak stabil,” tulis Aguirre, seraya memperingatkan potensi penyalahgunaan AI untuk propaganda, manipulasi informasi publik, dan penguatan kekuasaan absolut di luar mekanisme demokratis.

Kekhawatiran serupa juga disuarakan komunitas ilmiah global. Laporan International AI Safety Report mencatat bahwa sejumlah perusahaan AI terkemuka belum memiliki mekanisme keselamatan yang memadai untuk sistem setara kecerdasan manusia. Media TIME bahkan mengutip peringatan bahwa “mengembangkan superintelligence tanpa pengendalian dapat berujung pada risiko eksistensial bagi umat manusia.”

Tokoh-tokoh terkemuka di bidang AI pun menyuarakan alarm. Geoffrey Hinton, yang kerap dijuluki “Bapak AI modern”, menyatakan bahwa tanpa pembatasan tegas, sistem AI canggih dapat memicu krisis etika dan sosial berskala global. Sementara itu, surat terbuka Pause Giant AI Experiments yang ditandatangani Elon Musk dan Yoshua Bengio sebelumnya menyerukan penghentian sementara eksperimen AI berskala besar demi keselamatan bersama.

Sebagai alternatif, Aguirre mengusulkan pendekatan AI sebagai alat (tool AI). Model ini tetap memungkinkan pemanfaatan AI berdaya tinggi, tetapi dengan batasan ketat pada otonomi dan ruang lingkupnya.

“Kita dapat membangun sistem yang membantu riset, kesehatan, dan pendidikan, tanpa menjadikan manusia sekadar penonton,” tulisnya.

Esai tersebut juga merinci langkah kebijakan konkret, mulai dari pengawasan daya komputasi, pembatasan pelatihan model skala besar, tanggung jawab hukum pengembang, hingga kerja sama internasional dalam pengendalian rantai pasok semikonduktor AI.

Bagi industri teknologi global, perdebatan ini menempatkan pengembangan AI dalam bingkai tanggung jawab peradaban yang lebih luas. Aguirre menegaskan bahwa kemajuan teknologi tidak harus mengorbankan kendali manusia. Justru pada fase inilah, pilihan kebijakan dan tata kelola global akan menentukan apakah AI memperkuat peran manusia atau sebaliknya menggesernya. ***

Tag:  #tengah #ambisi #raksasa #teknologi #membangun #para #ilmuwan #memperingatkan #risiko #hilangnya #kendali #manusia