Cloudflare Hadang Bot AI, Kini Harus Bayar Jika Ingin Crawl Website

- Perusahaan teknologi asal AS yang menyediakan layanan keamanan internet, Cloudflare meluncurkan layanan baru bernama Pay Per Crawl.

Ini merupakan sebuah marketplace yang memungkinkan para pemilik situs web yang memakai jasa Cloudflare, mendapatkan uang dari robot (bot) milik para perusahaan kecerdasan buatan (artificial intelligence/AI). 

Dengan Pay Per Crawl, perusahaan AI seperti OpenAI, Google, Anthropic, dkk harus membayar sejumlah uang supaya bot mereka bisa mengakses (crawl) dan mendapatkan informasi dari website yang dikelola dan dilindungi Cloudflare.

Ini merupakan metode monetisasi baru bagi para pemilik website, terutama yang menyajikan berita, yang kontennya semakin jarang diakses pengguna secara langsung atau lewat Google (karena diakses bot secara bebas).

Kembali lagi ke Pay Per Crawl, ini merupakan satu fitur baru yang ada dalam tampilan dashboard AI Audit milik Cloudflare.

Di sini, pengguna bisa melihat berapa kali bot AI mencoba untuk meminta (request) akses untuk mendapatkan informasi dari website yang dimiliki.

Lalu, pengguna bisa mengizinkan akses terhadap request tersebut secara gratis, meminta uang bayaran kepada perusahaan AI supaya bisa melakukan crawl per kunjungan (visit), atau memblokir akses secara keseluruhan.

Cloudflare Tampilan AI Audit Cloudflare.

Pada laman yang sama, pengguna juga bisa melihat tujuan AI mengakses website mereka, entah itu melakukan crawl sebagai referensi untuk pengguna lain, pelatihan (training) kemampuan AI, atau hal lainnya. 

Adapun harga yang diterapkan per satu kali kunjungan via Pay Per Crawl bisa ditetapkan oleh pemilik website sendiri. Nantinya, Cloudflare akan menagih perusahaan AI dan memberikan pendapatannya kepada pemilik website.

Saat ini, program atau marketplace Pay Per Crawl sedang dalam tahap closed beta atau uji coba tertutup. Pemilik website atau perusahaan AI yang ingin berpartisipasi dalam program ini bisa melakukan pendaftaran di laman Cloudflare di tautan berikut ini.

Cloudflare menyebut beberapa pemilik website yang menyajikan konten berita dan berjenis media, seperti Conde Nast, Time, The Associated Press, The Atlantic, Adweek, hingga Fortune sudah memakai fitur Pay Per Crawl ini untuk memonetisasi konten mereka.

Perlu dicatat, program Pay Per Crawl akan diaktifkan secara sistem (default) di semua situs web yang dikelola Cloudflare. Artinya, semua AI tidak bisa mengakses laman web yang menggunakan jasa Cloudflare, kecuali bayar.

Meski demikian, pemilik web bisa menonaktifkan fitur blokir ini dan mengizinkan AI untuk mengakses situs web mereka secara gratis, sebagaimana dirangkum KompasTekno dari TechCrunch, Rabu (2/7/2025). 

Tag:  #cloudflare #hadang #kini #harus #bayar #jika #ingin #crawl #website