Yükleniyor
GPTBot, PerplexityBot, ClaudeBot ve Google-Extended dahil 7 AI tarayıcının sitenize erişimini test edin. 5 saniyede sonuç.
Anonim çalışma özeti (test edilen domain + engellenen bot sayısı) ürün geliştirme için 90 gün saklanır; IP SHA-256 hash'lenir, e-posta istenmez.
Site yayınlanmadan önce AI cevap motorlarının (ChatGPT, Gemini, Perplexity, Claude) crawler'larına erişim verilip verilmediğini tek seferde doğrulayın.
Yoast SEO veya RankMath gibi plugin'ler bazen robots.txt'i geçersiz kılar — büyük güncellemelerden sonra hızlı doğrulama yapın.
Hangi AI tarayıcılarına izin verdiklerini görerek strateji çıkarın; özellikle yeni başlayan rakipler GPTBot'u bilerek/bilmeyerek block edebilir.
Cloudflare bot fight mode'un yanlış AI bot block etmesi yaygın bir hata — tool 5 saniyede tespit eder.
16 AI tarayıcı: GPTBot (OpenAI), OAI-SearchBot (ChatGPT Search), ChatGPT-User (kullanıcı tetikli), Anthropic-ai + ClaudeBot + Claude-Web (Anthropic), PerplexityBot, Google-Extended (Gemini training opt-out), Bingbot, Applebot-Extended, Bytespider (ByteDance), cohere-ai, Meta-ExternalAgent (Llama), CCBot (Common Crawl), Diffbot, YouBot.
AI cevap motorlarında görünür olmak istiyorsanız EVET. GPTBot'u block ederseniz ChatGPT sitenizi kaynak göstermez; Google-Extended'i block ederseniz Gemini training'inde değilsiniz ama AI Overviews'ta görünebilirsiniz (farklı bot, farklı amaç). Genel öneri: hepsine izin verin, içeriğinizin kalitesine güvenin.
robots.txt yokluğunda tüm botlar default olarak izinli kabul edilir. Yine de oluşturmanızı öneririz: 1) AI bot listesi explicit kontrol verir, 2) sitemap konumunu beyan eder, 3) sensitive path'leri (admin, private) gizler. Sheltron llms.txt Üretici ile robots.txt taslağı da oluşturabilirsiniz.
Test pure robots.txt parser kullanır (User-Agent + Allow/Disallow). Cloudflare/WAF veya .htaccess gibi server-level engellemeleri tespit etmez. Eğer robots.txt'te izin var ama AI bot'lar yine crawl edemiyor diyorsanız, server log'ları + IP-bazlı kural kontrolü gerekli.
Next.js: src/app/robots.ts. Wordpress: SEO plugin (Yoast → Tools → File Editor) veya cPanel File Manager. Shopify: Theme Code → robots.txt.liquid. Statik site: public/robots.txt veya CDN seviyesinde edit. Değişiklik sonrası 5-15 dakika cache temizleme bekleyin.
llms.txt Üreticisi
AI motorları için site kategorize edilmiş özet
Schema Markup Doğrulayıcı
AI'nın yapısal veri okumasını test et
AI Görünürlük Spot Check
Robots OK ise mention rate'ini test et
GEO Nedir? Rehber
Generative Engine Optimization tam rehber
llms.txt Rehberi
robots.txt ile birlikte nasıl kullanılır?
AiSEO Platformu
Sürekli AI crawler izleme