Pay Per Crawl: AI İçeriğinizi Ücretsiz Almayacak — 15 Eylül 2026 Kararı ve Türk Siteleri

Cloudflare panelindeki "AI botlarını engelle" düğmesine bastınız. Tebrikler: Googlebot'u da engellediniz.

Bu bir abartı değil, Cloudflare'in kendi dokümanında yazan bir cümle. "Block AI Bots" dokümanı şöyle diyor: "mixed-purpose crawlers that combine Search and Training will also be blocked by all configurations to block AI training." Yani hem arama hem eğitim yapan karma tarayıcılar — Googlebot, Bingbot, Applebot — eğitim engelleyen her konfigürasyonda birlikte engelleniyor. Türkçe hiçbir kaynak bunu söylemiyor.

15 Eylül 2026, Cloudflare'in AI trafiği varsayılanlarını değiştireceği tarih. Türkiye'de bu tarihi haber olarak geçen dört teknoloji sitesi var; dördü de yaklaşık 500-600 kelimelik özet yazdı ve dördü de yukarıdaki cümleyi atladı. Bu yazı o boşluğu kapatıyor.

TL;DR — 8 maddede karar özeti

• 15 Eylül 2026'dan itibaren Cloudflare AI botlarını üç davranışa ayırıyor: Search, Agent, Training. Yeni varsayılan: Search izinli, Training ve Agent reklam gösteren sayfalarda engelli. (Cloudflare Blog, 1 Temmuz 2026)
• Kapsam belirsiz. Cloudflare Changelog "15 Eylül 2026'dan sonra katılan yeni domainler" diyor; Cloudflare basın bülteni "yeni müşteriler + ayarlarını değiştirmemiş ücretsiz plan müşterileri" diyor. TechCrunch üçüncü bir tanım veriyor. Bu fark Türk KOBİ siteleri için kritik.
• Googlebot tuzağı gerçek. Training engelleme, karma tarayıcıları da kapsıyor. Arama görünürlüğünüzü kendi elinizle kapatabilirsiniz.
• Pay Per Crawl bir gelir kapısı değil, müzakere kaldıracı. Cloudflare dokümanı 23 Nisan 2026 itibarıyla hâlâ "closed beta" diyor.
• Model zaten değişiyor: taranma başına ödemeden, içerik AI cevabında değer ürettiğinde ödemeye (Pay Per Use). İlk partnerler Ceramic.ai ve You.com.
• Türkiye'ye özel veri yok. TR'de Cloudflare kullanım oranı, Türk sitelerine gelen AI crawler hacmi, Türkçe içerik için crawl fiyatı, Türk yayıncıların imzaladığı lisans anlaşması — hiçbiri için doğrulanabilir veri bulunamadı.
• Doğru soru "engelleyeyim mi?" değil. Doğru soru: içeriğiniz AI cevaplarında atıf alıyor mu? Almıyorsa engellemek para getirmez, sadece görünmezlik getirir.
• 15 Eylül'e kadar yapılacak iş bir toggle değil, bir envanter.

Veri bloğu — Cloudflare'in kendi ölçümleri

Bu tablodaki her satır Cloudflare'in kendi yayınlarından geliyor. Aşağıda ikincil kaynaklara dayanan rakamları ayrı bir bölümde ve açıkça atıflayarak veriyorum, çünkü ikisi aynı güven seviyesinde değil.

Ne oldu? Cloudflare 15 Eylül 2026'da varsayılanı değiştiriyor

Cloudflare, 1 Temmuz 2026'da yayımladığı "Your site, your rules" duyurusuyla AI bot trafiğini üç davranış kategorisine ayırdı ve 15 Eylül 2026'dan itibaren yeni varsayılanı ilan etti: arama amaçlı tarama izinli kalıyor, eğitim ve ajan amaçlı tarama ise reklam gösteren sayfalarda varsayılan olarak engelleniyor. Bu, site sahibinin hiçbir şey yapmadığı durumda geçerli olacak yeni zemin.

Üç kategori şöyle ayrılıyor:

1. Search — Botun amacı içeriği dizine eklemek ve kullanıcıyı size geri göndermek. Klasik arama motoru davranışı.
2. Training — Botun amacı içeriği model eğitiminde kullanmak. Size geri dönen bir tık yok.
3. Agent — Botun amacı bir kullanıcı adına anlık eylem gerçekleştirmek: fiyat karşılaştırmak, rezervasyon yapmak, form doldurmak.

Cloudflare'in reklam üzerinden kapsam çizmesi tesadüf değil. Şirketin ifadesiyle reklam, "bir insanın oraya gelmesi ve onu görmesi için tasarlandığının sinyali". Yani reklam gösteren bir sayfa, tanım gereği insan trafiği için kurulmuş bir sayfa; o sayfanın eğitim verisine dönüşmesi karşılıksız bir aktarım.

Googlebot tuzağı: TR'de kimsenin söylemediği cümle

Training kategorisini engellediğinizde yalnızca ChatGPT ve Claude botlarını engellemiş olmuyorsunuz; hem arama hem eğitim yapan karma tarayıcılar da aynı kuralın içine düşüyor. Cloudflare'in "Block AI Bots" dokümanı bunu açıkça yazıyor. Pratikte bu, Googlebot, Bingbot ve Applebot'un da engellenmesi anlamına gelir — yani organik arama görünürlüğünüzün kapanması.

Bu açı Almanca içeriklerde işlendi ("Googlebot-Falle 15.09."), Türkçe'de tek bir kaynakta yok. Üstelik mevcut Türkçe AI-crawler rehberleri tam ters yönde tavsiye veriyor: robots.txt'ye GPTBot, ClaudeBot, CCBot satırları ekleyin, bitti. Bu rehberlerin hiçbiri "eğitim engellersen aramayı da kaybedebilirsin" uyarısını içermiyor. Doğrudan düzeltilmesi gereken bir yanlış yönlendirme var.

Bunun bir de tersi var. Cloudflare'in kendi basın bülteni, en büyük arama motorunun tek bir tarayıcıyla hem arama hem eğitim yaptığı için lider AI şirketlerine kıyasla yaklaşık iki kat daha fazla bilgiye eriştiğini söylüyor. Yani karma tarayıcı yalnızca teknik bir kaza değil, rekabetçi bir avantaj. Sizin kararınız da bu avantajın içinde alınıyor.

Pay Per Crawl'dan Pay Per Use'a: beklentiyi düzeltelim

Pay Per Crawl, tarayıcı bir sayfayı çekmek istediğinde sunucunun HTTP 402 Payment Required yanıtı döndürdüğü bir ödeme protokolü. Yanıtta crawler-price başlığı fiyatı bildirir; tarayıcı crawler-exact-price veya crawler-max-price başlığıyla karşılık verir ve anlaşma sağlanırsa 200 OK gelir. Kimlik doğrulama Web Bot Auth, HTTP Message Signatures ve Ed25519 anahtar çiftiyle yapılır. Cloudflare bu akışta "Merchant of Record" rolünü üstlenir ve site sahibine üç seçenek sunar: Allow, Charge, Block.

Kulağa gelir modeli gibi geliyor. Değil — en azından bugün değil. Cloudflare'in kendi dokümanı 23 Nisan 2026 itibarıyla Pay Per Crawl'ın hâlâ kapalı betada olduğunu yazıyor. Dahası Cloudflare modeli zaten evriltiyor: 1 Temmuz 2026 duyurusunda tanıtılan Pay Per Use yaklaşımı, ödemeyi taranma anına değil, içeriğin AI cevabında değer ürettiği ana bağlıyor. İlk partnerler Ceramic.ai ve You.com. Ceramic.ai CEO'su Anna Patterson'ın tarifiyle yayıncılar sorgu, atıf ve sıralama verisi alacak ve arama sonucunda görünme başına ödeme yapılacak. You.com ise premium içeriğe kullanım anında talep-bazlı ödeme modelini deniyor.

Bu geçişin anlamı net: para, taranmaktan değil, kullanılmaktan geliyor. İçeriğiniz AI cevaplarında hiç atıf almıyorsa ödenecek bir şey de yok. GEO nedir sorusunun cevabı tam da burada operasyonel hale geliyor.

Neden şimdi? Tarama-atıf dengesizliği rakamlarla

Cloudflare'in bu hamleyi 2026'da yapmasının nedeni, tarama ile geri dönen trafik arasındaki oranın savunulamaz hale gelmesi. Temmuz 2025 ölçümünde Anthropic her 1 ziyaretçi için 38.066 sayfa tarıyordu; OpenAI 1.091, Perplexity 195, Google 5,4. Aynı dönemde AI taramalarının %79'u eğitim, yalnızca %17'si arama amaçlıydı — bir yıl önce eğitim payı %72'ydi.

Bir yıl sonra, Temmuz 2026'da Cloudflare tarama trafiğinin %50'sinden fazlasının hiç değişmemiş sayfaları tekrar tekrar çektiğini açıkladı. Yani sunucunuzu yoran trafiğin yarısı ne size ne de AI şirketine bir şey kazandırıyor. Cloudflare CEO'su Matthew Prince'in cümlesi bu tabloyu özetliyor: "Now that the majority of traffic on the Internet is non-human, we must go further and act faster."

Dürüstlük notu: neden 2026 crawl-to-refer oranlarını kullanmıyorum

2026 için üç farklı ClaudeBot crawl-to-refer rakamı dolaşımda: 23.951:1 (Ocak-Mart 2026), 11.122:1 (25 Mayıs-1 Haziran 2026 haftası, Forbes'un kullandığı rakam) ve 2.237:1 (SEOmator, 21 Temmuz 2026, 28 günlük pencere). Üçü de kaynak olarak Cloudflare Radar'ı gösteriyor, ancak Radar doğrudan doğrulanamadı. Bu yüzden bu yazıda yalnızca Cloudflare'in resmi blogunda yayımladığı Temmuz 2025 rakamlarını kullandım.

Büyüklük mertebesi tartışmasız: AI tarayıcıları binlerce sayfa tarayıp bir tık geri gönderiyor, Google ise beş sayfaya bir tık. Ondalık hane tartışması bu gerçeği değiştirmiyor.

Yayıncı tarafındaki etki verileri için de aynı ihtiyat gerekiyor. Forbes'un 1 Temmuz 2026 tarihli derlemesine göre yayıncılar son bir yılda %20-90 arası trafik kaybı yaşadı, AI chatbot referansları geleneksel aramaya kıyasla %96 daha az trafik getiriyor, AI cevaplarındaki kaynaklara tıklama oranı %1 seviyesinde ve yayıncıların %70'i üç yıl içinde AI lisans anlaşmalarından gelir bekliyor. Forbes bu rakamların altındaki çalışmaları adlandırmıyor; bu yüzden "Forbes'un aktardığına göre" kaydıyla veriyorum.

PPC Land'in derlediği AI Overviews verileri de aynı yöne işaret ediyor: randomize bir çalışmada organik tıklamalarda %39,8 düşüş ve sıfır-tık aramalarda %34,5 artış; Ahrefs'in Şubat 2026 ölçümünde ilk sıradaki organik sonuçlara %58 tıklama düşüşü; Seer Interactive'in Kasım 2025 verisinde organik CTR'de %61, ücretli CTR'de %68 düşüş.

Türk siteleri için ne değişiyor?

Türkiye'ye özel doğrulanabilir veri yok — ve bunu peşinen söylemek gerekiyor. TR'de Cloudflare kullanım oranı, Türk sitelerine gelen AI crawler hacmi, Türkçe içerik için crawl fiyatı ve Türk yayıncıların imzaladığı AI lisans anlaşması: dördü için de araştırmada doğrulanabilir kaynak bulunamadı. Küresel 50+ lisans anlaşmasının tamamı İngilizce yayın yapan kurumlarla imzalandı.

Bu boşluk kendi başına bir bulgu. Türkçe yayıncılar AI lisanslama pazarının tamamen dışında. "Türk siteleri ne yapacak?" sorusu bu yüzden retorik değil, gerçek bir stratejik boşluk.

Yayıncılar ve haber siteleri

En yüksek risk ve en yüksek kaldıraç bu grupta. Reklam gösteren sayfa yoğunluğu en fazla olan site tipi haber siteleri olduğu için 15 Eylül varsayılanı en çok onları etkileyecek; aynı zamanda içerik hacmi lisanslama müzakeresi için tek anlamlı koz. Ancak Search Engine Land'in hesabı ölçeği hatırlatıyor: 0,01 USD minimum ücretle günde 10.000 crawler isteği alan bir yayıncı günde 100 USD kazanır. Altı haneli hosting faturası olan bir haber sitesi için bu bir gelir kalemi değil.

Not: 0,01 USD minimum rakamı Cloudflare'in kendi blog ve dokümanında açıkça yazmıyor; ikincil kaynaklarda tutarlı geçiyor ama birincil teyidi yok.

E-ticaret siteleri

E-ticarette asıl mesele Training değil, Agent kategorisi. Ürün sayfanız bir AI alışveriş asistanının fiyat karşılaştırma akışında yer alıyorsa, Agent botlarını varsayılan engellemeye bırakmak sizi o akıştan tamamen çıkarır. Ürün kataloğunuzun AI ajanlarınca okunabilir olması, önümüzdeki dönemde arama sıralamasından daha belirleyici olabilir. E-ticaret kataloğunu AI platformlarına hazırlamak için GEO Builder tarafındaki yapılandırılmış katalog yaklaşımı işe yarar bir başlangıç.

Buradaki denge şu: reklam göstermeyen ürün sayfalarında yeni varsayılan zaten devreye girmiyor. Reklam gösteren kategori veya blog sayfalarınız varsa ayrım sayfa bazında oluşabilir — yani sitenizin bir kısmı engelli, bir kısmı açık hale gelebilir. Bu tutarsızlık, AI cevaplarında marka temsilinizi parçalar.

Kurumsal bloglar ve KOBİ siteleri

Türkiye'deki KOBİ sitelerinin ezici çoğunluğu Cloudflare'in ücretsiz planında. Kapsam belirsizliği tam da burada acıtıyor: Cloudflare Changelog yalnızca yeni domainlerden bahsederken, basın bülteni "ayarlarını değiştirmemiş mevcut ücretsiz müşteriler" diyor, TechCrunch ise "yeni müşteriler, mevcut müşterilerin yeni siteleri ve tüm ücretsiz plan kullanıcıları" tanımını veriyor. Üç tanım üç farklı kitle demek.

Pratik sonuç: "ben yeni domain açmıyorum, beni etkilemez" diyen bir KOBİ sitesi etkilenebilir. Ücretsiz plandaysanız ve Cloudflare AI ayarlarına hiç dokunmadıysanız, 15 Eylül öncesi paneli açıp mevcut durumu kayıt altına almak en düşük maliyetli sigorta.

Karar ağacı: engelle, izin ver, lisansla

Üç seçenek var ve doğru cevap site tipine göre değişiyor. Karar sırası şöyle işlemeli:

1. adım — Ölçün. İçeriğiniz AI cevaplarında atıf alıyor mu? Almıyorsa engelleme kararı anlamsız; korunacak bir değer yok, kaybedilecek görünürlük var. Hızlı bir ölçüm için AI görünürlük spot check aracını kullanabilirsiniz.

2. adım — Kategori ayırın. "Hepsini engelle" ve "hepsini serbest bırak" iki yanlış uçtur. Search / Agent / Training üçlüsünü ayrı ayrı yönetin.

3. adım — Karma tarayıcı kontrolü. Training engelleme kararı verdiyseniz, konfigürasyonun Googlebot, Bingbot ve Applebot'u kapsayıp kapsamadığını mutlaka doğrulayın. Bu adımı atlarsanız birinci adımda ölçtüğünüz her şeyi kaybedersiniz.

4. adım — Lisanslama gerçekçi mi? Lisans müzakeresi için yeterli ölçekte içeriğiniz yoksa, Pay Per Crawl beklentisini bütçeye yazmayın. Kaldıraç olarak kullanın, gelir kalemi olarak değil.

robots.txt ve teknik uygulama: 15 Eylül öncesi kontrol listesi

Teknik uygulama üç katmanda yürüyor: robots.txt beyanı, Cloudflare panel konfigürasyonu ve Content Signals Policy. Üçü birbirinin yerine geçmez; robots.txt bir niyet beyanıdır, Cloudflare katmanı ise fiilen uygulanan kuraldır.

Kontrol listesi:

1. Mevcut robots.txt'nizi okuyun. İçinde GPTBot, ClaudeBot, CCBot, PerplexityBot satırları varsa bunların hangi amaçla eklendiğini not edin. Kopyala-yapıştır eklenmiş engellemeler en yaygın hata. Dosyayı doğrulamak için robots.txt ve AI bot kontrol aracı işinizi kolaylaştırır.
2. Cloudflare panelinde AI Crawl Control bölümünü açın. Mevcut ayarınızın "varsayılan" mı yoksa daha önce değiştirilmiş mi olduğunu kayıt altına alın. Basın bültenindeki tanıma göre bu fark 15 Eylül'de kapsamda olup olmamanızı belirliyor.
3. Karma tarayıcı davranışını test edin. Training engelleme aktifse Googlebot erişimini Search Console'un canlı URL testiyle doğrulayın. Bu, yazının en kritik teknik adımı.
4. Reklam envanteri çıkarın. Yeni varsayılan reklam gösteren sayfalara bağlı. Sitenizin hangi bölümlerinde reklam var, hangilerinde yok — bu liste kapsamınızı belirliyor.
5. Content Signals Policy'yi değerlendirin. Cloudflare'in 24 Eylül 2025'te tanıttığı bu politika, robots.txt içinde tarama amacına göre (arama, AI girdisi, AI eğitimi) makine-okunur tercih beyan etmenizi sağlıyor. Türkçe kaynaklarda hiç işlenmemiş bir araç.
6. Sunucu log'larını 30 gün saklayın. 15 Eylül sonrası bir değişiklik olursa öncesi/sonrası karşılaştırması yapabilmeniz için baz çizgisine ihtiyacınız var.
7. Pay Per Crawl'ı beklemeye alın. Kapalı beta bitmeden fiyatlandırma kararı vermeyin.

HTTP 402 mekaniğine girmek isteyenler için: sunucu 402 döndürür ve crawler-price başlığıyla fiyatı bildirir; tarayıcı Ed25519 anahtarıyla imzalanmış bir istekle crawler-max-price beyan eder; iki taraf uyuşursa içerik 200 ile teslim edilir, uyuşmazsa 402 kalıcı olur. Bu akışın teknik detayları ve AI atıf mekanizması için firstcitation.com tarafındaki citation takip yaklaşımına bakabilirsiniz.

Sheltron duruşu: engellemek her zaman doğru değil

Cloudflare'in Search / Agent / Training ayrımı, aslında AI görünürlük yönetiminin operasyonel tanımını yapıyor: arama botlarını içeri al, eğitim botlarını pazarlık masasına çek, ajanları izle. Sheltron'un duruşu bu üçlü ayrımın kendisi — tek bir toggle ile alınacak bir karar değil, sayfa bazında yürütülecek bir envanter işi.

Bunu kendi verimizle somutlaştırayım. Sheltron'un Clarity AI-atıf panosunda 8 Mart-5 Temmuz 2026 arası 120 günlük ölçümde site geneli Share of Authority %25,37, toplam sayfa atfı 720. Buna karşılık AI referral trafiği 0,35 — yani AI bizi yoğun şekilde atıflıyor ama tık dönüşmüyor. Aynı dönemde Google Search Console'da (21 Ocak-20 Temmuz) 786 tık, 59.502 gösterim, %1,32 tıklama oranı ve ortalama ~9 pozisyon var; tıkların 752'si Türkiye'den.

Bu tabloyu engelleme kararına çevirirsek: eğitim botlarını kapatsaydık 720 atfı kaybederdik ve karşılığında sıfır gelir elde ederdik, çünkü Pay Per Crawl hâlâ kapalı betada. Kazanç yok, görünürlük kaybı kesin. Küçük ve orta ölçekli Türk siteleri için matematik büyük ihtimalle aynı yönde işliyor.

İkinci bulgu içerik tipiyle ilgili. Aynı dönemde 5 veri raporu 5.910 gösterim üretti (yazı başına 1.182); 43 sektör rehberi 4.941 gösterim üretti (yazı başına ~115). Atıf mıknatısı olan cluster'lar Maliyet & ROI (121 atıf) ve İşletmeler için AI uyum (~100 atıf); amiral gemisi tek yazı 157 atıf alarak toplam atfın %22'sini tek başına taşıdı.

Bunun 15 Eylül ile ilgisi şu: AI cevaplarında değer üreten içerik tipi belli, ve o içeriği engellemek pazarlık gücü değil görünmezlik üretir. Pay Per Use dünyasında ödeme, taranmanıza değil atıf almanıza bağlı olacak. Yani 15 Eylül öncesi asıl yatırım engelleme konfigürasyonuna değil, atıf alan içerik tipine yapılmalı. Konunun metodolojik arka planı için The GEO Authority araştırma arşivi iyi bir ikinci durak.

Ne yapmalısınız: 15 Eylül'e kalan süre

Sıra şu: önce ölçün, sonra kategori ayırın, sonra karma tarayıcı kontrolünü yapın, en son fiyatlandırmayı konuşun. Bu sıra tersine dönerse — çoğu sitede döndüğü gibi — panel düğmesine basılıyor ve üç ay sonra organik trafik düşüşünün nedeni aranıyor.

Sitenizin AI botları karşısındaki mevcut durumunu ölçmek ve 15 Eylül öncesi bir envanter çıkarmak istiyorsanız, GEO danışmanlığı tarafında bu denetimi sayfa bazında yürütüyoruz. Uygulama ve içerik üretimi için ajans desteği arıyorsanız partner ajansımız Lein Digital devreye giriyor.

Eren Çöp — Kurucu & GEO Stratejisti, Sheltron Teknoloji