Google, OpenAI we Anthropic AI üçin täze scraping düzgünlerini kabul edýär

Google, Anthropic, OpenAI we Microsoft, generatiw AI öwrenişi üçin ulanylýan mazmuny scraping etmek düzgünlerini kesgitleýän täze robots.txt görkezmesini goldajakdyklaryny yglan etdiler. Bu täze görkezme, neşir edijilere öz web sahypalarynyň mazmunynyň AI okuw üçin scraping edilmegini nädip dolandyrmalydygyny kesgitlemäge mümkinçilik berýär.

Iňlis dilinde ýazylan bu görkezme, web sahypa eýeleriniň dürli AI kompaniýalarynyň scraping botlaryny aýratyn tanap, ýörite düzgünler girizmegini talap edýärdi. Täze teklipde bolsa, ähli AI kompaniýalary bir umumy signal bilen scraping düzgünlerini hormatlamaga çagyrýar. Neşir edijiler robots.txt faýlynda AI okuw üçin aýratyn ulanyjy agentini kesgitlemeli bolýarlar.

Mysal üçin, "User-Agent: __usage_ai-training" we degişli "Disallow" we "Allow" düzgünleri arkaly, belli sahypalaryň AI üçin scraping edilmegi gadagan edilip bilner ýa-da rugsat berler. Bu görkezme scraping-i doly togtadyp bilmeýär, diňe AI okuw üçin ýörite scraping botlaryna degişli.

Anthropic bu täze düzgünleri goldap başlady, Microsoft 2027-nji ýylyň fewralynda, Google bolsa şol ýylyň başynda goldajakdygyny aýtdy. OpenAI-de bu düzgünleri geljek aýlarda durmuşa geçirmegi wada berdi. Bu çäreler AI üçin maglumat ýygnamagyň has dolandyrylýan we neşir edijileriň isleglerine laýyk bolmagyny üpjün eder.