Cloudflare kompaniyasi hozirda kontent yaratuvchilarga o‘z veb-saytlarini qidiruv botlari (AI crawlers) tomonidan skrabing qilish uchun haq olish imkonini beruvchi vositalar ustida tajriba o‘tkazmoqda.

Seshanba kuni e’lon qilingan blog postida Cloudflare “pay-per-crawl” (har bir skrabing uchun to‘lov) funksiyasi hozirda yopiq beta sinovida ekanligini tushuntirdi. Ushbu tajribada oz sonli nashriyotlar va kontent yaratuvchilar ishtirok etadi. Cloudflare ma’lumotlariga ko‘ra, har bir nashriyot botlar kontentni skrabing qilishdan oldin to‘lashi kerak bo‘lgan o‘z narxlarini belgilay oladi.

Cloudflare bosh direktori Metyu Prinsning ta’kidlashicha, bu funksiya Internetning “sun’iy intellekt davri”da o‘z holatini saqlab qolishini ta’minlaydi.

“Original kontent Internetni so‘nggi asrning eng buyuk ixtirolaridan biriga aylantirgan asosiy omil bo‘lib, yaratuvchilar uni yaratishda davom etishlari juda muhimdir,” dedi Prins. “AI botlari cheklovsiz kontentni skrabing qilib kelmoqda. Bizning maqsadimiz – AI kompaniyalariga innovatsiyalar yaratishda yordam berish bilan birga, kuchni yaratuvchilar qo‘liga qaytarish. Bu barchaga mos keladigan yangi model yordamida erkin va jonli Internetning kelajagini himoya qilishdan iborat.”

Ba’zi ishtirokchi nashriyotlar press-relizda Cloudflare’ning “pay-per-crawl” funksiyasi mualliflik huquqlarini himoya qiluvchi nashriyotlar tomonidan keng miqyosli o‘g‘irlik deb hisoblanayotgan cheksiz skrabingni to‘xtatishi mumkinligidan umidvor ekanliklarini bildirishdi.

Cloudflare ma’lum qilishicha, beta sinoviga qo‘shilish istagida bo‘lgan barcha kontent yaratuvchilar bu yerda ro‘yxatdan o‘tishlari mumkin va ehtimol, kelajakda ular ham “AI iqtisodiyotiga qo‘shgan hissasi uchun kompensatsiya olishlari” mumkin bo‘ladi.

Ayni paytda, faqat beta sinovida ishtirok etayotgan nashriyotlar qaysi botlar o‘z saytlarining qaysi qismlariga kirishini tanlashi, barcha botlarni bloklash yoki ma’lum botlarga ma’lum kontentga kirishga ruxsat berish bilan tajriba o‘tkazishi mumkin bo‘ladi.

Cloudflare dasturi ularga ba’zi botlardan haq olish imkoniyatini beradi, boshqa botlarga esa kontentni bepul skrabing qilishga ruxsat beradi. Bu nashriyotlarga AI kompaniyalari bilan kelishilgan skrabingni amalga oshirishga ruxsat berish bilan birga, litsenziyalash kelishuviga erishmagan kompaniyalardan o‘z kontentini himoya qilish imkonini beradi.

AI kompaniyalari qo‘shilishi shart

Cloudflare rejasi ishlashi uchun AI kompaniyalari ham qo‘shilishi kerak. Ba’zi AI kompaniyalari bu yerda o‘z manfaatlarini ko‘rmasligi mumkin bo‘lsa-da, Cloudflare tashabbus bo‘yicha AI kompaniyalari bilan hamkorlik qilganini tasdiqladi, bu esa kontent yaratuvchilar bilan muzokaralar olib borish uchun oddiy interfeysga ega bo‘lishdan foyda ko‘rishi mumkin.

Cloudflare o‘zining AI hamkorlari yaratuvchilar bilan “uzoq muddatli hamkorlik”dan foyda ko‘rishlarini taklif qildi, chunki ularning yangilangan kontenti AI mahsulotlarining dolzarbligini saqlashga yordam beradi. Shuningdek, ular sifatsiz ma’lumot manbalarini skrabing qilishga pul sarflashni to‘xtatishlari mumkin, deyiladi Cloudflare blogida.

“Kontent yaratuvchilarning doimiy hissasisiz, AI tizimlari eskirib qolish, noto‘g‘ri yoki kamroq ishonchli bo‘lib qolish xavfi ostida qoladi – bu oxir-oqibat foydalanuvchilar ishonchini va AI mahsulotlarining qiymatini pasaytiradi,” deyiladi blogda. “Cloudflare AI kompaniyalari bilan ularga ko‘proq signallar berish va oxir-oqibat ularning kirish huquqiga ega bo‘lgan kontent sifatini va dolzarbligini yaxshilash uchun ishlamoqda. Sog‘lom, barqaror original kontent ekotizimi AI innovatsiyalari va dolzarbligi uchun juda muhimdir.”

Biroq, Cloudflare’ning bu tavakkalchiligi AI kompaniyalarining nashriyotlar tomonidan belgilangan narxlarni to‘lashga rozi bo‘lishiga bog‘liq bo‘lib, agar savdo urushlari narxlarni nashriyotlarni begonalashtiradigan darajaga tushirib yuborsa, tajribani buzishi mumkin. Shuningdek, bu Cloudflare’ning AI botlarini aniqlashiga ham bog‘liq bo‘lib, hozircha bu foydalanuvchi hisobotlari va Cloudflare’ning ommaviy trafik namunalari tahliliga tayanadi.

“Dastlabki kunlarda narxlarni aniqlash muhim rol o‘ynaydi – yaratuvchilar kim nimaga to‘layotgani haqida ma’lumotga ega bo‘lgach, original kontentning haqiqiy qiymatini aks ettiruvchi shaffof bozor paydo bo‘ladi,” dedi Cloudflare.

Kelajakda Cloudflare o‘zining “pay-per-crawl” tizimi “sezilarli darajada rivojlanishini” taklif qildi. Ehtimol, bir kun kelib nashriyotlar undan “turli yo‘llar yoki kontent turlari uchun turli narxlarni belgilash” uchun foydalanishi, hatto AI skrabing muhitida dinamik narxlashni joriy etishi mumkin. Bu kelajakda Cloudflare AI kompaniyalari ma’lum AI mahsulotlarini qo‘llab-quvvatlash uchun eng yaxshi kontent bitimlarini izlaydigan agentlar yaratishga rag‘batlantirilishi mumkinligini taxmin qildi.

“Sevimli chuqur tadqiqot dasturingizdan so‘nggi saraton tadqiqotlarini yoki yuridik ma’lumotlarni sintez qilishda yordam berishni yoki shunchaki SoHoda eng yaxshi restoranni topishni so‘raganingizni tasavvur qiling – va keyin o‘sha agentga eng yaxshi va eng dolzarb kontentni sotib olish uchun byudjet berish,” dedi Cloudflare, “biz aqlli agentlar raqamli resurslarga kirishni dasturiy yo‘l bilan muzokara qila oladigan kelajakni yaratamiz,” deb va’da berdi.

AI botlari endi sukut bo‘yicha bloklangan

Cloudflare’ning bu e’loni o‘tgan sentabrda chiqarilgan funksiyadan so‘ng amalga oshirilmoqda, bu funksiya veb-sayt egalariga AI botlarini bir marta bosish orqali bloklash imkonini bergan edi. Cloudflare ma’lumotlariga ko‘ra, 1 milliondan ortiq mijoz AI botlarini bloklashni tanlagan, bu esa odamlar o‘z kontentlari ustidan ko‘proq nazoratni xohlashayotganini ko‘rsatadi, chunki Cloudflare `robots.txt` fayllarida AI botlari uchun ko‘rsatmalarni yozish keng tarqalmaganligini kuzatgan.

Ko‘proq mijozlarni himoya qilish maqsadida, Cloudflare xizmatlariga ro‘yxatdan o‘tgan barcha yangi mijozlarning (jumladan, bepul rejadagi har qanday kishi) domenlari sukut bo‘yicha barcha ma’lum AI botlarini bloklashga sozlanadi.

Bu Cloudflare’ning AI skrabingning “opt-out” modellaridan ruxsatga asoslangan modelga o‘tishini anglatadi, bu haqda Cloudflare vakili Arsga AI kompaniyalarining veb-kontentga kirish usulini “tubdan o‘zgartirishi” kutilayotganini aytdi.

Ba’zi veb-sayt egalari `robots.txt` orqali AI skrabingini bloklashga urinib, muvaffaqiyatsizlikka uchragan dunyoda – jumladan, ba’zilar `robots.txt`ni e’tiborsiz qoldirgan AI botlarini “tarpit”larda tuzoqqa tushirish orqali jazolashga harakat qilishgan – Cloudflare’ning funksiyasi foydalanuvchilarga AI botlarining bloklanishi qidiruv tizimi trafikini ta’minlaydigan botlarga ta’sir qilmasligi uchun batafsil sozlamalarni tanlash imkonini beradi. Bu o‘z saytlari hali ham topilishi mumkin bo‘lishini, ammo AI botlari tomonidan hazm qilinmasligini istagan kichik kontent yaratuvchilari uchun juda muhimdir.

“AI botlari matn, maqolalar va rasmlar kabi kontentni javoblar yaratish uchun yig‘adi, asl manbaga tashrif buyuruvchilarni yubormaydi – bu esa kontent yaratuvchilarni daromaddan va kimdir ularning kontentini o‘qiyotganini bilishdan mahrum qiladi,” deyiladi Cloudflare blogida. “Agar original, sifatli kontent yaratishga rag‘bat yo‘qolsa, jamiyat yutqazadi va Internet kelajagi xavf ostida qoladi.”

Ma’lumot uchun: Ars Technica’ga egalik qiluvchi Condé Nast Cloudflare’ning beta sinovida ishtirok etuvchi hamkordir.

Ushbu maqola 1-iyul kuni Cloudflare’ning “pay-per-crawl” beta sinovida noto‘g‘ri ro‘yxatga olingan nashriyotlarni olib tashlash uchun tuzatildi.