Foto Pengguna X Diubah Jadi Konten Asusila dengan Grok AI, Komdigi Lakukan Penyelidikan

Ringkasan berita:

• Komdigi menyelidiki penyalahgunaan Grok AI di X karena dipakai mengedit foto pribadi jadi konten asusila.
• Praktik ini dinilai melanggar privasi dan hak citra diri, berisiko sanksi hingga pemutusan akses layanan.
• Indonesia mengikuti langkah India, Prancis, dan Malaysia yang menekan X membatasi Grok AI.

 - Belakangan, platform microblogging X (dulu Twitter) menjadi sorotan. Pasalnya, banyak pengguna X yang menyalahgunakan chatbot kecerdasan buatan (AI) Grok AI untuk membuat (generate) konten tak senonoh.

Mereka menyomot foto orang lain tanpa izin dan meminta Grok AI untuk merekayasa foto tersebut menjadi konten tak pantas.

Kementerian Komunikasi dan Digital (Komdigi) akhirnya turun tangan dan mendalami dugaan penyalahguaan Grok AI.

Menurut Direktur Jenderal Pengawasan Ruang Digital, Alexander Sabar, hasil penelusuran awal menunjukkan Grok AI belum memiliki pengaturan yang eksplisit dan memadai untuk mencegah produksi serta distribusi konten pornografi berbasis foto asli warga Indonesia.

Hal tersebut berpotensi melanggar hak privasi dan hak atas citra diri (right to one's image) , khususnya ketika foto seseorang dimanipulasi atau disebarluaskan tanpa persetujuan yang sah.

"Temuan awal menunjukkan belum adanya pengaturan spesifik dalam Grok AI untuk mencegah pemanfaatan teknologi ini dalam pembuatan dan penyebaran konten pornografi berbasis foto pribadi. Hal ini berisiko menimbulkan pelanggaran serius terhadap privasi dan hak citra diri warga," ujar Alexander dalam keterangan resmi yang diterima KompasTekno, Rabu (7/1/2026).

Menurut Komdigi, manipulasi digital terhadap foto pribadi bukan cuma soal kesusilaan, melaikan bentuk perampasan kendali individu atas identitas visualnya yang dapat menimbulkan kerugian psikologis, sosial, dan reputasi.

Saat ini, Komdigi tengah berkoordinasi dengan para Penyelenggara Sistem Elektronik (PSE) utnuk memastikan tersedianya mekanisme pelindungan yang efektif, termasuk penguatan sistem moderasi konten, pencegahan pembuatan deepfake asusila, serta prosedur penanganan cepat atas laporan pelanggaran privasi dan hak citra diri.

"Setiap PSE wajib memastikan bahwa teknologi yang mereka sediakan tidak menjadi sarana pelanggaran privasi, eksploitasi seksual, maupun perusakan martabat seseorang," tegasnya.

Alexander juga menegaskan bahwa kewajiban kepatuhan terhadap peraturan perundang-undangan Indonesia melekat ke seluruh PSE yang beroperasi di wilayah Indonesia.

Jika ditemukan adanya ketidakpatuhan atau sikap tidak kooperatif, Komdigi bisa menjatuhkan sanksi administratif hingga pemutusan akses layanan Grok AI dan platform X.

Komdigi menambahkan bahwa penyedia layanan AI maupun pengguna yang terbukti memproduksi dan/atau menyebarkan konten pornografi atau manipulasi citra pribadi tanpa hak, bisa dikenakan sanksi administratif dan/atau pidana sesuai ketentuan hukum yang berlaku.

Sejak berlakunya Undang-Undang Nomor 1 Tahun 2023 tentang Kitab Undang-Undang Hukum Pidana (KUHP) pada 2 Januari 2026, konten pornografi diatur antara lain dalam Pasal 172 dan Pasal 407.

Pasal 172 mendefinisikan pornografi sebagai media yang memuat kecabulan atau eksploitasi seksual yang melanggar norma kesusilaan, sementara Pasal 407 mengatur ancaman pidana penjara paling singkat 6 (enam) bulan dan paling lama 10 (sepuluh) tahun atau pidana denda sesuai ketentuan.

Alexander mengatakan masyarakat yang menjadi korban manipulasi foto, deepfake asusila, atau pelanggaran hak citra diri bisa menempuh upaya hukum melalui mekanisme yang tersedia dalam peraturan perundang-undangan, termasuk pelaporan kepada aparat penegak hukum dan pengaduan kepada Kemkomdigi.

"Kami mengimbau seluruh pihak untuk menggunakan teknologi akal imitasi secara bertanggung jawab. Ruang digital bukan ruang tanpa hukum, ada privasi dan hak atas citra diri setiap warga yang harus dihormati dan dilindungi," ujar Alexander.

Negara lain lakukan langkah serupa

Sebelumnya, pemerintah negara lain juga telah memantau penyalahgunaan Grok AI untuk memproduksi konten asusila di X.

Salah satunya adalah Kementerian Teknologi dan Informasi India. Otoritas India mengeluarkan perintah bahwa X harus mengambil tindakan untuk membatasi Grok agar tidak menghasilkan konten pornografi, vulgar, eksplisit, tak senonoh, pedofilia, dan konten lain yang dilarang oleh hukum.

Perintah tersebut juga meminta X merespons dalam waktu 72 jam atau terancam kehilangan perlindungan "safe harbor", sebagaimana dirangkum KompasTekno dari Tech Curnch.

Safe harbor protection adalah perlindungan hukum yang diberikan kepada pihak tertentu, seperti penyedia platform online, dari tanggung jawab atau sanksi, asalkan mereka memenuhi kondisi atau kewajiban yang ditetapkan dalam undang-undang.

Reuters Ilustrasi Grok AI.

Selain India, otoritas Perancis juga menyatakan bahwa mereka mengambil langkah serupa. Menurut laporan Politico, kantor jaksa Paris menyelidiki maraknya deepfake bermuatan seksual di X.

Sementara itu, kantor urusan digital Perancis menyebutkan bahwa tiga menteri telah melaporkan "konten yang melanggar hukum" kepada kejaksaan, serta ke sebuah plaform pengawasan online milik pemerintah untuk memastikan "konten tersebut segera dihapus".

Malaysia juga melakukan langkah serupa.

Dalam sebuah pernyataan resmi yang diunggah di Facebook, Malaysian Communication and Multimedia Commission (MCMC) mengatakan bahwa mereka "mengambil langkah serius terkait keluhan masyarakat soal penyalahgunaan AI di platform X, khususnya manipulasi digital dari gambar perempuan dan anak di bawah umur untuk menghasilkan konten tidak senonoh, sangat ofensif, dan berbahaya".

"MCMC akan menyelidiki pengguna X yang diduga melanggar CMA (aturan terkait konten)," tulis MCMC.

Tren masif sejak akhir Desember 2025

Berdasarkan pantauan KompasTekno, penyalahgunaan Grok AI untuk membuat konten tak senonoh ramai diperbincangkan pengguna X di seluruh dunia, termasuk di Indonesia sejak akhir Desember 2025 lalu.

Sasarannya acak. Bukan cuma selebriti atau tokoh terkemuka, pengguna biasa juga menjadi korban edit foto tak senonoh menggunakan Grok AI.

Bahkan, menurut laporan Futurism, beberapa pengguna juga meminta Grok untuk membuat foto rekayasa, menampilkan wanita asli yang seolah-olah sedang dilecehkan, dipermalukan, disakiti, bahkan dibunuh.

Beberapa prompt yang ditulis cukup detail dan eksplisit, seperti meminta Grok menampilkan luka yang terlihat jelas di bagian tubuh tertentu atau membuat memar dan lebam.

Futurism menyebut sebagian besar prompt itu ditujukan kepada model platform online dan pekerja seks.

Grok AI seolah menjadi generator pornografi menggunakan foto dari orang asli tanpa izin mereka. Chatbot AI yang terintegrasi di platform X membuat sebaran konten eksplisit semacam ini menjadi terbuka.

Elon Musk, sebagai pemilik platform X pun mengecam hal ini.

"Siapa pun yang menggunakan Grok untuk membuat konten ilegal akan menghadapi konsekuensi yang sama sebagaimana mereka mengunggah konten ilegal," kata Musk dalam postingnya di X dengan handle @elonmusk.

Akun resmi X terkait keamanan platform, yakni @Safety juga memperingatkan pengguna X, bahwa mereka akan menindak tegas terhadap konten ilegal di X.

"Kami mengambil tindakan terhadap konten ilegal di X, termasuk Materi Pelecehan Anak (Child Sexual Abuse Material/CSAM), dengan menghapusnya, menangguhkan akun secara permanen, dan bekerja sama dengan pemerintah daerah dan penegak hukum jika diperlukan," tulis akun @Safety.

"Siapa pun yang menggunakan atau membuat prompt Grok untuk membuat konten ilegal akan menanggung konekuensi yang sama seperti jika mereka mengunggah konten ilegal," imbuh tim @Safety X, mempertegas pernyataan Elon Musk sebelumnya.

Tag:  #foto #pengguna #diubah #jadi #konten #asusila #dengan #grok #komdigi #lakukan #penyelidikan