robots.txt yapay zekâ botlarını engelliyor mu? Kontrol rehberi.
( kısa cevap )
robots.txt, sitenizin ana dizininde duran ve botlara hangi sayfalara girebileceklerini söyleyen küçük bir metin dosyasıdır. Tarayıcınıza siteniz.com/robots.txt yazıp açın. GPTBot, ClaudeBot ya da PerplexityBot adının altında "Disallow: /" satırı varsa o bot sitenize giremiyor demektir.
robots.txt nedir?
Bir apartmanın girişine asılmış "kuryeler üst kata çıkmasın" yazısını düşünün. Kurallara uyan kurye yazıyı okur ve ona göre davranır. Yazı kapıyı kilitlemez, yalnızca ne istendiğini söyler.
robots.txt, sitenizin ana dizininde duran düz bir metin dosyasıdır. Botlara, yani sayfaları otomatik gezip okuyan programlara, hangi adreslere girebileceklerini söyler.
Dosya bir rica listesidir, kilit değildir. Google kendi belgesinde dosyanın botları zorlayamayacağını, uymanın bota kaldığını yazar. OpenAI, Anthropic ve Perplexity de botlarının bu dosya üzerinden yönetildiğini kendi belgelerinde anlatır.
Dosyaya nasıl bakılır?
- Tarayıcıda açın.Adres çubuğuna siteniz.com/robots.txt yazın. Dosya herkese açıktır, giriş gerekmez.
- Yayındaki dosyaya bakın.Sunucuya yüklediğiniz dosyaya değil, tarayıcıda açılan sayfaya güvenin. Sitenizin önünde bir hız ya da güvenlik servisi varsa botların gördüğü dosya farklı olabilir.
- Alt alan adlarını ayrı kontrol edin.Her alt alan adının robots.txt dosyası ayrıdır. Blogunuz blog.siteniz.com adresindeyse ona da bakın.
- Bot adlarını arayın.Sayfada arama yapın ve GPTBot, ClaudeBot, PerplexityBot, Google-Extended yazın.
- Yıldızlı gruba bakın."User-agent: *" satırı bütün botlar demektir. Altında "Disallow: /" varsa adı ayrıca geçmeyen her bot engellidir.
Hangi satırlar engel demek?
Dosya gruplardan oluşur. Her grup "User-agent:" satırıyla başlar ve kuralın hangi bot için olduğunu söyler. Altındaki "Disallow:" yasaklanan adresi, "Allow:" izin verilen adresi gösterir.
| Dosyada gördüğünüz | Anlamı |
|---|---|
| User-agent: GPTBot, altında Disallow: / | GPTBot sitenin hiçbir sayfasına giremez. |
| User-agent: *, altında Disallow: / | Kendi adıyla grubu olmayan hiçbir bot giremez. Arama motorları da buna dahildir. |
| User-agent: ClaudeBot, altında Disallow: /blog/ | ClaudeBot yalnızca blog klasörüne giremez. |
| User-agent: GPTBot, altında karşısı boş bir Disallow: | Engel yok. Karşısı boş bırakılan Disallow yasak koymaz. |
| Bot adı hiç geçmiyor, yıldızlı grupta da engel yok | Engel yok. Aksi yazılmadıkça botlar izinli sayılır. |
| Sitemap: ile başlayan satır | Site haritanızın, yani sayfa adresleri listenizin yeri. Engelle ilgisi yoktur ama doğru alan adını göstermelidir. |
Bir ayrıntı sık gözden kaçar. Bir botun kendi adıyla grubu varsa o bot yıldızlı gruba bakmaz, yalnızca kendi grubunu okur. Google bu kuralı kendi belgesinde açıkça yazar.
Başlıca yapay zekâ botları
Şirketlerin çoğunun birden fazla botu var ve her biri ayrı iş yapıyor. Aşağıdaki adları şirketlerin kendi belgelerinden aldık.
| Şirket | Bot adı | Ne için gelir |
|---|---|---|
| OpenAI | GPTBot | Model eğitiminde kullanılabilecek içeriği toplar. |
| OpenAI | OAI-SearchBot | Sitenizi ChatGPT'nin arama sonuçlarında gösterebilmek için tarar. |
| OpenAI | ChatGPT-User | Bir kullanıcı sorduğunda sayfayı o an açar. |
| Anthropic | ClaudeBot | Model eğitimi için içerik toplar. |
| Anthropic | Claude-SearchBot | Claude'un arama sonuçları için sayfaları dizine alır. |
| Anthropic | Claude-User | Bir kullanıcı sorduğunda sayfayı o an açar. |
| Perplexity | PerplexityBot | Sitenizi Perplexity arama sonuçlarında gösterip bağlantı vermek için tarar. |
| Perplexity | Perplexity-User | Bir kullanıcı sorduğunda sayfayı o an açar. |
| Google-Extended | Ayrı bir bot değil, bir izin adıdır. İçeriğinizin Gemini modellerinin eğitiminde ve cevaplarına dayanak olarak kullanılıp kullanılmayacağını belirler. |
Her ad ayrı yönetilir. OpenAI'ın kendi belgesindeki örnekle, eğitim botu GPTBot'u engelleyip arama botu OAI-SearchBot'a izin verebilirsiniz. Bot adları zamanla değişebilir, karar vermeden önce şirketlerin güncel belgelerine bakın.
İki istisnayı bilin. OpenAI ve Perplexity, bir kullanıcının isteğiyle sayfa açan botlarında robots.txt kurallarının geçerli olmayabileceğini yazıyor. Google'ın aramadaki yapay zekâ özetleri ise Google-Extended'a değil, bildiğiniz Googlebot'a bağlıdır.
Dosya temiz ama bot yine giremiyorsa
robots.txt tek kapı değildir. Sitenizin önünde çoğu zaman bir CDN, yani içeriği ziyaretçiye yakın sunuculardan dağıtan bir hız ve güvenlik servisi durur. Bu servis iki şey yapabilir.
- Dosyayı değiştirebilir. Örneğin Cloudflare'in yönetilen robots.txt özelliği açıldığında servis kendi kurallarını sizin dosyanızın başına ekler. Sunucuya yüklediğiniz dosyada olmayan satırlar yayındaki dosyada görünür.
- Botu dosyaya hiç bakmadan geri çevirebilir. Bot engelleme ayarı açıksa bot sayfayı isterken hata cevabı alır. Bunu robots.txt dosyasında göremezsiniz.
İkincisini anlamanın yolu sunucu kayıtlarına bakmaktır. Sitenize bakan kişiye şunu sorun: "GPTBot ve ClaudeBot'un istekleri hangi cevabı alıyor, bu botları engelleyen bir ayar açık mı?"
( kendi işimizden )
Bir haber ajansı için yaptığımız SEO ve GEO denetiminde yapay zekâ botlarının engelli olduğunu gördük. Sebep bir altyapı ayarıydı. Aynı robots.txt dosyasındaki site haritası satırı da başka bir alan adını gösteriyordu.
Açmalı mı, kapatmalı mı?
Bu bir iş kararıdır ve herkes için tek cevabı yoktur.
| Amacınız | Ne yapılır |
|---|---|
| Asistan cevaplarında anılmak | Arama botlarına izin verin: OAI-SearchBot, Claude-SearchBot, PerplexityBot. |
| İçeriğinizin model eğitiminde kullanılmaması | Eğitim botlarını engelleyin: GPTBot, ClaudeBot, Google-Extended. |
| İkisi birden | Eğitim botlarını engelleyip arama botlarını açık bırakın. |
Google-Extended'da bir ayrıntı var. Bu izin eğitimin yanında Gemini'nin cevabını sitenizdeki içeriğe dayandırmasını da kapsar. Kapatırsanız Gemini cevaplarındaki yeriniz de etkilenebilir.
Arama botunu engellemenin bedelini bilin. OpenAI, OAI-SearchBot'a kapalı sitelerin ChatGPT'nin arama cevaplarında gösterilmeyeceğini yazıyor.
Derdiniz botun sitenizi yorması ise tamamen engellemek tek yol değildir. Anthropic, botlarının tarama hızını sınırlayan Crawl-delay satırına uyduğunu belirtiyor.
Değişiklikten sonra hemen sonuç beklemeyin. OpenAI ve Perplexity, robots.txt değişikliğinin sistemlerine yansımasının yaklaşık 24 saat sürebileceğini yazıyor.
Kapıyı açmak ilk adımdır. Sonrasında yapılacakları GEO nedir? yazısında sıraladık. Bu kontrol, GEO hizmetimizde baktığımız teknik kapılardan biridir.
Sık sorulanlar
robots.txt dosyam yoksa botlar engelli mi olur?
Hayır. Dosya yoksa botlar genellikle bir kısıt olmadığını varsayar. Yine de bir dosya bulundurmak ve içine site haritanızın adresini yazmak iyi bir alışkanlıktır.
GPTBot'u engellersem ChatGPT'de hiç görünmez miyim?
OpenAI'ın belgesine göre ChatGPT aramasında görünmeyi GPTBot değil, OAI-SearchBot belirler. İkisi birbirinden bağımsız yönetilir.
Google-Extended'ı engellemek Google'daki yerimi etkiler mi?
Google'ın belgesine göre etkilemez. Google-Extended, sitenizin Google aramasına dahil edilmesini değiştirmez ve sıralama sinyali olarak kullanılmaz.
robots.txt botları kesin olarak durdurur mu?
Durdurmaz. Dosya bir kural listesidir, teknik bir engel değildir ve uymak bota kalır. Bir botu tamamen kesmek için sunucu ya da güvenlik servisi düzeyinde ayar gerekir.
( ilgili hizmet · 003 )
geo