- Dapatkan link
- Aplikasi Lainnya
Diposting oleh
Gudang Informasi
pada tanggal
- Dapatkan link
- Aplikasi Lainnya
Ini cara blokir crawler di situs milik kalian
Dengan menggunakan sebuah fitur baru, Cloudflare bantu pemilik website untuk memblokir crawler data berbasis AI di situs mereka.
Penggunaan teknologi kecerdasan buatan (AI) saat ini sudah sangat luas. Bukan hanya digunakan mencari informasi, mencari gambar, dan lainnya, AI juga digunakan untuk melakukan crawling data di situs web.
Hal ini menimbulkan sebuah kecemasan bagi para pengguna internet, dimana sudah lelah informasi mengenai diri mereka di internet sudah banyak diambil tanpa sepengetahuan. Melihat kecemasan ini, Cloudflare mengumumkan sebuah fitur baru yang bisa mencegah hal ini terjadi.
Fitur yang satu ini dapat ditanam di website pengguna akan memiliki fitur untuk mencegah bot mengambil data dari situs web yang dihosting di platformnya guna melatih model AI.
Hal ini dikarenakan beberapa vendor AI, termasuk Google, OpenAI, dan Apple, mengizinkan pemilik situs web untuk memblokir bot yang mereka gunakan untuk pengikisan data dan pelatihan model dengan mengubah robots.txt situs mereka, yaitu berkas teks yang memberi tahu bot halaman mana yang dapat mereka akses di situs web.
Namun, seperti yang ditunjukkan Cloudflare dalam sebuah posting yang mengumumkan alat penanggulangan botnya, tidak semua pengikisan AI mematuhi hal ini.
"Pelanggan tidak ingin bot AI mengunjungi situs web mereka, terutama yang melakukannya secara tidak jujur," tulis Cloudflare di blog resminya. "Kami khawatir beberapa perusahaan AI yang berniat menghindari aturan untuk mengakses konten akan terus beradaptasi untuk menghindari deteksi bot."
Cara kerja dari fitur ini adalah dengan menganalisis lalu lintas bot AI dan crawler untuk menyempurnakan model deteksi bot otomatis. Model tersebut mempertimbangkan antara lain apakah bot AI mungkin mencoba menghindari deteksi dengan meniru penampilan dan perilaku seseorang yang menggunakan peramban web.
"Ketika pelaku kejahatan mencoba merayapi situs web dalam skala besar, mereka biasanya menggunakan alat dan kerangka kerja yang dapat kami sidik jarinya," tulis Cloudflare. "Berdasarkan sinyal ini, model kami [dapat] menandai lalu lintas dari bot AI yang sulit dideteksi sebagai bot."
Cloudflare juga telah menyiapkan formulir bagi host untuk melaporkan dugaan bot dan perayap AI dan mengatakan bahwa mereka akan terus memasukkan bot AI ke dalam daftar hitam secara manual seiring berjalannya waktu.
Masalah bot AI menjadi jelas terlihat seiring maraknya AI generatif yang memicu permintaan terhadap data pelatihan model.
Dalam sebuah laporan, dari 1.000 situs teratas, 26 persen diantaranya sudah melakukan pemblokiran scraper dan crawler AI yang berbasis bot OpenAI. Di laporan lainnya juga menyebutkan 600 penerbit berita telah memblokir tersebut.
Postingan Populer
Grab, Singtel dan KakaoBank Salurkan Dana ke Superbank Capai Rp1,2 Triliun - Selular id
Login ke WordPress.com
Mengenal Apa Itu Windows Copilot Runtime di Windows 11 | WinPoin
Link Live Streaming Spanyol vs Jerman di Perempatfinal Euro 2024: Akses Sekali Klik dari HP - Viva
Bisakah Mimpi RI Rajai Industri Kendaraan Listrik Dunia Terwujud? - CNN Indonesia
Opsi Media Informasi Group
-
NATO Ketar-ketir, Prancis Bakal Keluar dari Anggota - CNBC Indonesia4 menit yang lalu
-
-
-
Kumpulan tips & trik - Google Berita: Digest for July 07, 202428 menit yang lalu
-
-
-
-
-
-
Komentar
Posting Komentar