Bot Management System milik Cloudflare menggunakan model machine learning untuk memberikan skor pada setiap permintaan yang dikirimkan bot ketika merayapi jaringan. 

Skor tersebut digunakan klien Cloudflare untuk menentukan apakah bot tertentu boleh mengakses situs mereka atau diblokir. 

Skor bot juga menjadi dasar bagi pemilik situs untuk memblokir bot milik perusahaan AI yang berpotensi memanfaatkan konten situs sebagai bahan pelatihan model bahasa besar.

Pada Juli lalu, Cloudflare memperkenalkan program “pay per crawl”, sebuah eksperimen yang memungkinkan pemilik situs memberikan akses kepada bot AI hanya jika mereka mendapatkan kompensasi finansial. 

Sistem tersebut juga bergantung pada skor bot yang dihitung melalui model prediktif.

Prince menjelaskan lebih lanjut model itu membutuhkan sebuah file konfigurasi “feature” sebagai acuan untuk menentukan apakah permintaan bot bersifat otomatis atau tidak. File tersebut diperbarui setiap beberapa menit. 

Perubahan pada mekanisme pembentukan file inilah yang menyebabkan ukurannya berubah secara drastis, sehingga memicu error yang menjalar ke sistem pemrosesan trafik inti Cloudflare.

“Akibatnya, kode kesalahan HTTP 5xx dikembalikan oleh sistem proxy inti yang menangani pemrosesan lalu lintas untuk pelanggan kami, untuk semua lalu lintas yang bergantung pada modul bot.” jelas Prince dalam laporan tersebut.

Insiden ini menjadi salah satu gangguan terburuk Cloudflare dalam beberapa tahun terakhir. Perusahaan menyebut tidak pernah mengalami outage sebesar ini, yang membuat mayoritas trafik inti berhenti mengalir, sejak 2019. 

Prince menyampaikan permintaan maaf atas gangguan tersebut dan memastikan bahwa timnya telah melakukan perbaikan serta langkah mitigasi agar kejadian serupa tidak terulang.