AI Bot Erişim Denetimi
ChatGPT, Gemini, Perplexity ve Claude içeriğinizi okuyamıyorsa, yapay zeka yanıtlarında adınız geçmez. Bu araç robots.txt dosyanızı okur ve 14 yapay zeka botunun erişim durumunu tek tek gösterir.
Okunan robots.txt dosyası
Bu araç yalnızca girdiğiniz alan adının herkese açık robots.txt ve llms.txt dosyalarını okur. Adres kaydedilmez, sayfalarınız taranmaz.
Kısaca
- Adresinizi girin, robots.txt dosyanız okunup 14 AI botu için erişim durumu listelenir.
- Aynı anda llms.txt dosyanızın varlığı da kontrol edilir.
- Engelli bot, o yapay zeka aracının yanıtlarında görünmemeniz demektir.
- Sonuç anında ekranda; kayıt, e-posta ya da ödeme istenmez.
Bu araç tam olarak ne yapıyor?
Girdiğiniz alan adının robots.txt dosyasını sunucumuz üzerinden bir kez okur, dosyayı satır satır ayrıştırır ve her yapay zeka botu için geçerli olan Allow / Disallow kurallarını çıkarır. Ardından aynı alan adında bir llms.txt dosyası olup olmadığına bakar.
Ayrıştırma, arama motorlarının kullandığı mantıkla yapılır: bir bot için özel bir User-agent bloğu varsa o blok geçerlidir, yoksa User-agent: * bloğu devreye girer. Aynı yol için hem Allow hem Disallow varsa, daha uzun ve daha belirgin olan kural kazanır.
Araç sitenizde hiçbir değişiklik yapmaz, sadece herkese açık iki metin dosyasını okur. Girdiğiniz adres kaydedilmez.
Neden robots.txt yapay zeka görünürlüğünü belirliyor?
Yapay zeka araçları içeriğe iki yoldan ulaşır. Birincisi eğitim ve indeksleme amaçlı tarama (GPTBot, ClaudeBot, CCBot gibi); ikincisi kullanıcı bir soru sorduğu anda canlı olarak sayfayı çeken tarama (OAI-SearchBot, Perplexity-User, Claude-User gibi). Her ikisi de robots.txt kurallarına uyar.
Buradaki asıl risk, engellemenin çoğu zaman kasıtlı olmaması. Yaygın üç senaryo şu:
- Eklenti ya da tema varsayılanı. Bazı WordPress güvenlik ve SEO eklentileri "AI tarayıcılarını engelle" seçeneğini varsayılan açık getiriyor.
- Sunucu / CDN katmanı. Cloudflare ve benzeri servislerin bot yönetimi özelliği, AI tarayıcılarını tek tıkla kapatabiliyor; site sahibi çoğu zaman bundan haberdar olmuyor.
- Geniş kapsamlı Disallow.
User-agent: *altında yazılmış geniş birDisallowkuralı, sadece Google'ı değil bütün AI botlarını da kapsıyor.
Sonuç her üç durumda da aynı: içeriğiniz yapay zeka yanıtlarının kaynak havuzuna hiç girmiyor. Bu, klasik SEO raporlarında görünmeyen bir kayıptır; Search Console size bunu söylemez.
Hangi botlar kontrol ediliyor?
Araç dört gruba ayrılmış 14 tarayıcıyı kontrol eder:
- OpenAI: GPTBot (eğitim), OAI-SearchBot (ChatGPT arama sonuçları), ChatGPT-User (kullanıcı tetikli erişim)
- Anthropic: ClaudeBot, Claude-User, Claude-SearchBot
- Google ve Apple: Google-Extended (Gemini ve AI Overviews eğitimi), Applebot-Extended
- Diğer: PerplexityBot, Perplexity-User, meta-externalagent (Meta AI), Amazonbot, Bytespider (TikTok), CCBot (Common Crawl)
Bir ayrım önemli: Google-Extended, Google'ın klasik arama tarayıcısı Googlebot değildir. Google-Extended'i engellemek arama sıralamanızı etkilemez, sadece Gemini ve AI Overviews'de görünmenizi engeller. İkisini karıştırmak sık rastlanan bir hatadır.
Sonucu nasıl okumalısınız?
Her bot için üç durumdan biri çıkar:
- Açık. Bot ana sayfanızı tarayabiliyor. İstediğiniz durum budur.
- Engelli. Bot için geçerli bir
Disallowkuralı var. O yapay zeka aracının yanıtlarında kaynak olarak görünmezsiniz. - Kısmen engelli. Site geneli açık ama belirli dizinler kapalı. Kapalı dizinlerde önemli içerik varsa gözden geçirin.
robots.txt dosyası hiç yoksa bu bir hata değildir; dosya yokluğunda bütün botlar varsayılan olarak serbesttir. Ancak dosyanın olmaması, sitemap adresinizi tarayıcılara bildirme fırsatını da kaçırdığınız anlamına gelir.
llms.txt ise henüz zorunlu bir standart değil, öneri aşamasında. Yokluğu bugün için bir ceza getirmez; varlığı ise sitenizin yapısını yapay zeka araçlarına düz metin olarak özetler ve doğru sayfaya yönlenmelerini kolaylaştırır.
Engelli çıktıysa ne yapmalısınız?
Önce engellemenin bilinçli olup olmadığına karar verin. İçeriğinizin yapay zeka modellerini eğitmekte kullanılmasını istemiyorsanız, GPTBot ve CCBot gibi eğitim tarayıcılarını kapalı tutmak makul bir tercihtir. Ama bu tercihin bedeli var: aynı markalar arama tarafında da görünürlüğünüzü azaltır.
Görünürlük istiyorsanız, engelleyen satırı kaldırın ve şu iki ayrımı gözetin:
- Arama amaçlı botları (OAI-SearchBot, Perplexity-User, Claude-SearchBot, Google-Extended) açın. Bunlar kullanıcı bir soru sorduğunda sizi kaynak gösterebilecek olan botlardır.
- Eğitim amaçlı botları (GPTBot, ClaudeBot, CCBot, Bytespider) açıp açmamak stratejik bir karardır; iki türlü de savunulabilir.
Değişikliği yaptıktan sonra dosyanın sunucuda gerçekten güncellendiğinden emin olun. CDN önbelleği eski robots.txt dosyasını günlerce servis edebilir; aracı tekrar çalıştırıp doğrulayın.
Engelli bot çıktıysa bunu birlikte düzeltelim
robots.txt düzeltmesi işin sadece ilk adımı. GEO danışmanlığında içeriğinizi yapay zeka yanıtlarında kaynak gösterilecek şekilde yeniden kurguluyoruz.
İlk görüşme ve ön analiz ücretsiz.Sık sorulanlar
Bu araç sitemi tarıyor mu, yavaşlatır mı?
Hayır. Sadece iki dosya okunur: /robots.txt ve /llms.txt. Sayfalarınız taranmaz, sunucunuza yük binmez. Tek istek, 5 saniye zaman aşımı ile yapılır.
Girdiğim adres kaydediliyor mu?
Hayır. Adres yalnızca istek anında kullanılır, veritabanına yazılmaz ve raporlanmaz. Kötüye kullanımı önlemek için sadece IP bazlı bir hız sınırı uygulanır.
Google-Extended engelliyim, SEO sıralamam düşer mi?
Hayır. Google-Extended, klasik arama tarayıcısı Googlebot'tan ayrıdır. Google-Extended engeli yalnızca Gemini ve AI Overviews görünürlüğünü etkiler, organik arama sıralamanızı etkilemez.
robots.txt dosyam yok, sorun mu?
Doğrudan bir sorun değil; dosya yoksa tüm botlar serbest sayılır. Ancak sitemap adresinizi bildirmek ve ileride bot bazlı kontrol yapabilmek için bir robots.txt oluşturmanız önerilir.
Botları açtım, ne kadar sürede yapay zeka yanıtlarında görünürüm?
Tek başına robots.txt izni görünürlüğü garanti etmez; sadece ön koşuldur. Botların yeniden taraması ve içeriğinizin kaynak olarak seçilmesi genellikle haftalar alır ve içeriğin sorulan soruya ne kadar iyi cevap verdiğine bağlıdır.
llms.txt dosyası oluşturmam şart mı?
Şart değil. Henüz resmi bir standart değil ve arama motorları bunu bir sıralama sinyali olarak kullanmıyor. Büyük ve karmaşık sitelerde yapay zeka araçlarına yol göstermesi açısından faydalı olabilir.