robots.txt AI Bot Kontrolü
GPTBot, PerplexityBot, ClaudeBot ve Google-Extended dahil 7 AI tarayıcının sitenize erişimini test edin. 5 saniyede sonuç.
Anonim çalışma özeti (test edilen domain + engellenen bot sayısı) ürün geliştirme için 90 gün saklanır; IP SHA-256 hash'lenir, e-posta istenmez.
Bu aracı hangi durumlarda kullanırsınız?
Yeni site lansman kontrolü
Site yayınlanmadan önce AI cevap motorlarının (ChatGPT, Gemini, Perplexity, Claude) crawler'larına erişim verilip verilmediğini tek seferde doğrulayın.
Wordpress/CMS plugin değişikliği sonrası audit
Yoast SEO veya RankMath gibi plugin'ler bazen robots.txt'i geçersiz kılar — büyük güncellemelerden sonra hızlı doğrulama yapın.
Rakip / partner site analizi
Hangi AI tarayıcılarına izin verdiklerini görerek strateji çıkarın; özellikle yeni başlayan rakipler GPTBot'u bilerek/bilmeyerek block edebilir.
Cloudflare / WAF kural çatışması teşhisi
Cloudflare bot fight mode'un yanlış AI bot block etmesi yaygın bir hata — tool 5 saniyede tespit eder.
Sıkça Sorulan Sorular
Hangi botlar kontrol ediliyor?
16 AI tarayıcı: GPTBot (OpenAI), OAI-SearchBot (ChatGPT Search), ChatGPT-User (kullanıcı tetikli), Anthropic-ai + ClaudeBot + Claude-Web (Anthropic), PerplexityBot, Google-Extended (Gemini training opt-out), Bingbot, Applebot-Extended, Bytespider (ByteDance), cohere-ai, Meta-ExternalAgent (Llama), CCBot (Common Crawl), Diffbot, YouBot.
AI bot'larıma izin vermem gerek mi?
AI cevap motorlarında görünür olmak istiyorsanız EVET. GPTBot'u block ederseniz ChatGPT sitenizi kaynak göstermez; Google-Extended'i block ederseniz Gemini training'inde değilsiniz ama AI Overviews'ta görünebilirsiniz (farklı bot, farklı amaç). Genel öneri: hepsine izin verin, içeriğinizin kalitesine güvenin.
robots.txt'im yoksa ne olur?
robots.txt yokluğunda tüm botlar default olarak izinli kabul edilir. Yine de oluşturmanızı öneririz: 1) AI bot listesi explicit kontrol verir, 2) sitemap konumunu beyan eder, 3) sensitive path'leri (admin, private) gizler. Sheltron llms.txt Üretici ile robots.txt taslağı da oluşturabilirsiniz.
Test sonucu yanıltıcı olabilir mi?
Test pure robots.txt parser kullanır (User-Agent + Allow/Disallow). Cloudflare/WAF veya .htaccess gibi server-level engellemeleri tespit etmez. Eğer robots.txt'te izin var ama AI bot'lar yine crawl edemiyor diyorsanız, server log'ları + IP-bazlı kural kontrolü gerekli.
robots.txt'imi nasıl güncellerim?
Next.js: src/app/robots.ts. Wordpress: SEO plugin (Yoast → Tools → File Editor) veya cPanel File Manager. Shopify: Theme Code → robots.txt.liquid. Statik site: public/robots.txt veya CDN seviyesinde edit. Değişiklik sonrası 5-15 dakika cache temizleme bekleyin.
İlgili Kaynaklar
llms.txt Üreticisi
AI motorları için site kategorize edilmiş özet
Schema Markup Doğrulayıcı
AI'nın yapısal veri okumasını test et
AI Görünürlük Spot Check
Robots OK ise mention rate'ini test et
GEO Nedir? Rehber
Generative Engine Optimization tam rehber
llms.txt Rehberi
robots.txt ile birlikte nasıl kullanılır?
AiSEO Platformu
Sürekli AI crawler izleme