Güncelleme: Ekim 2026 · Ünsal Hanoğlu
Robots.txt ile AI botlarına izin vermek için her botun adını ayrı bir User-agent satırına yazıp altına Allow ya da Disallow kuralını eklersiniz. Yerel bir işletme için pratik kural şudur: yapay zekâ arama cevaplarında kaynak olmak istiyorsanız arama amaçlı botları engellemeyin. OpenAI’ın OAI-SearchBot’u ChatGPT aramasında, PerplexityBot Perplexity cevaplarında kullanılır. Google’ın AI Overviews ve AI Mode’u ise normal Googlebot ile çalışır; Google-Extended bu özellikleri etkilemez.
Bu yazı 2026’da Beylikdüzü’ndeki işletme siteleri için adım adım bir ayar rehberi. Önce dosyayı nasıl kontrol edeceğinizi, sonra altı botun ne işe yaradığını, en sonda kopyalanabilir şablonu veriyoruz. Her adımın sonunda bir kontrol noktası var.
Adım 1: Mevcut robots.txt dosyanızı açın ve okuyun
Tarayıcıya alan-adiniz.com/robots.txt yazın. Dosya açılmıyorsa sitenizde robots.txt yok demektir ve bütün botlar varsayılan olarak içeri girebilir. Açılıyorsa her User-agent satırını ve altındaki Disallow kurallarını okuyun. “User-agent: *” altında “Disallow: /” varsa bütün botlar, yapay zekâ botları dahil, engellidir.
Süre
Bu adım beş dakika sürer. Dosyayı bir metin belgesine kopyalayın; değişiklikten önceki hâli yedek olsun.
WordPress notu
WordPress, fiziksel dosya yoksa sanal bir robots.txt üretir. SEO eklentisi varsa dosya genelde eklentinin ayarlarından düzenlenir.
Kontrol noktası
Yapay zekâ botu adı geçen satır var mı, varsa Allow mu Disallow mu? Bunu not edin.
Adım 2: Hangi botun ne yaptığını ayırın
Yapay zekâ botları iki gruba ayrılır. Eğitim botları içeriği model eğitimi için toplar; GPTBot bunun örneğidir. Arama botları içeriği cevaplarda kaynak göstermek için dizine alır; OAI-SearchBot ve PerplexityBot bunun örneğidir. İkisini ayrı ayrı yönetebilirsiniz. Eğitimi engelleyip aramaya izin vermek mümkün ve yaygın bir tercihtir.
OpenAI belgesi
GPTBot, OAI-SearchBot ve ChatGPT-User botlarının görevleri OpenAI bot belgesinde ayrı ayrı yazıyor; her biri robots.txt ile bağımsız yönetilir.
ChatGPT-User
Bu ajan, kullanıcı ChatGPT’ye bir sayfayı açmasını söylediğinde gelir. Otomatik tarama yapmaz; kullanıcının isteğiyle çalışır.
Adım 3: Google tarafında neyin neyi etkilediğini bilin
Google-Extended ayrı bir tarayıcı değil, robots.txt’de kullanılan bir kontrol adıdır. İçeriğin Gemini modellerinin eğitiminde ve temellendirmesinde kullanılıp kullanılmayacağını belirler. Google, bu kontrolün Google Arama’daki görünürlüğü ve sıralamayı etkilemediğini söylüyor. AI Overviews ve AI Mode, Arama’nın parçası olduğu için Googlebot ile çalışır.
Belge
Google-Extended tanımı Google tarayıcılar listesinde yer alıyor.
AI Overviews’dan çıkmak
AI Overviews’da görünmek istemeyen site, Googlebot’u engellemez; nosnippet ya da max-snippet gibi önizleme kontrollerini kullanır. Googlebot’u engellemek siteyi aramadan tümüyle çıkarır.
En pahalı hata
Yapay zekâyı engellemek için Googlebot’u engellemek. Bu işlem sitenizi Google Arama’dan tümüyle çıkarır ve haftalar içinde telefon trafiği düşer.
Adım 4: Bot başına karar verin
Yerel hizmet işletmesi için önerdiğimiz varsayılan: arama botlarına izin, eğitim botlarına işletmenin kendi tercihi. Müşteriniz ChatGPT ya da Perplexity’de hizmet arıyorsa OAI-SearchBot ve PerplexityBot’u engellemek, o cevaplarda kaynak olma yolunu kapatır. Eğitim botlarını engellemek arama görünürlüğünü doğrudan etkilemez.
Karar tablosu
Arama botu: izin. Eğitim botu: tercih. Googlebot: kesinlikle izin. Bilinmeyen ve kural tanımayan botlar: sunucu düzeyinde ayrıca ele alınır.
Diğer botlar
Anthropic’in ClaudeBot’u, Apple’ın Applebot-Extended kontrolü ve Common Crawl’un CCBot’u da robots.txt ile yönetilir. Hepsinin güncel adını sahibi olan şirketin belgesinden kontrol edin.
| Robots.txt’de hangi AI botu engellenirse ne olur? | Engellenirse | Yerel işletme önerisi |
|---|---|---|
| OAI-SearchBot | ChatGPT aramasında kaynak olma yolu kapanır | İzin verin |
| GPTBot | Model eğitimine katkı durur | Tercihinize bağlı |
| Google-Extended | Gemini eğitimi durur, Arama etkilenmez | Tercihinize bağlı |
| PerplexityBot | Perplexity cevaplarında kaynak olma yolu kapanır | İzin verin |
Adım 5: Şablonu dosyaya ekleyin
Aşağıdaki şablon arama botlarına açık izin verir, eğitim botlarını ise işletmenin tercihine bırakır. Her blok bir User-agent satırı ve altında bir kuraldan oluşur. Bloklar arasında bir boş satır bırakın. Mevcut dosyadaki diğer kuralları silmeyin; şablonu en alta ekleyin ve site haritası satırının yerinde durduğunu kontrol edin.
Kopyalanabilir blok
User-agent: OAI-SearchBot / Allow: / · User-agent: PerplexityBot / Allow: / · User-agent: GPTBot / Allow: / (eğitimi engellemek isterseniz Disallow: /) · User-agent: Google-Extended / Allow: / (aynı tercih) · User-agent: ClaudeBot / Allow: /
Satır sonu
Eğik çizgiyle ayrılan her parça dosyada ayrı satırdır. Yazım hatası kuralı geçersiz kılar; bot adlarını belgeden kopyalayın.
Site haritası
Dosyanın sonunda Sitemap satırı olmalı. Teknik tarafın geri kalanı teknik SEO rehberi yazısında.
Adım 6: Test edin ve ayda bir kontrol edin
Değişiklikten sonra Search Console’daki robots.txt raporunu açın; Google dosyayı hangi tarihte okuduğunu ve hata olup olmadığını gösterir. Sunucu kayıtlarına erişiminiz varsa botların gerçekten gelip gelmediğini görebilirsiniz. Bot adları ve görevleri zaman içinde değişebiliyor; ayda bir şirket belgelerine bakmak yeterli bir sıklıktır.
Search Console
Raporun yeri ve okunuşu Google Search Console nedir yazısında.
llms.txt ile farkı
robots.txt izin verir; llms.txt yalnızca içindekiler listesi sunar. Farkı llms.txt nedir yazısında anlattık.
Bot izni tek başına görünürlük getirir mi?
Hayır. İzin, kapının açık olmasıdır; içeri giren botun sayfanızı kaynak seçmesi içeriğe, güvene ve tutarlılığa bağlıdır. Hiçbir ayar ChatGPT ya da Perplexity’de öneri garantisi vermez. Ama kapalı kapı kesin kayıptır. Ayarı yaptıktan sonra ölçüme geçin; yapay zekâ trafiğini ayırmanın yolu kardeş yazımızda.
Trafiği ayırmak için GA4’te yapay zekâ trafiği yazısına, hizmetin tamamı için Beylikdüzü AI SEO ajansı sayfasına bakın.
Sık sorulan sorular
Eğitim botlarını engellemek Google sıralamasını etkilemez. Googlebot’u engellemek ise siteyi aramadan çıkarır.
OpenAI’ın belgesine göre GPTBot eğitim içindir; ChatGPT aramasında kaynak olmak OAI-SearchBot iznine bağlıdır.
Hayır. Google, Google-Extended’in Arama’yı etkilemediğini söylüyor; AI Overviews Googlebot ile çalışır.
Sitenin kök dizininde, alan-adiniz.com/robots.txt adresinde bulunur.
Tanınmış şirketlerin botları uyar. Kural tanımayan botlar sunucu ya da güvenlik duvarı düzeyinde engellenir.
Ayda bir kez ve her site değişikliğinden sonra kontrol etmek yeterlidir.
Bu sayfadan aklınızda kalsın
- Her bot ayrı User-agent satırıyla yönetilir
- Arama botlarına izin verin: OAI-SearchBot, PerplexityBot
- Eğitim botları işletmenin tercihidir
- Google-Extended Arama’yı ve AI Overviews’u etkilemez
- Googlebot’u engellemek siteyi aramadan çıkarır
- İzin kapıyı açar, önerilmeyi garanti etmez
Kısa sözlük
User-agent: Robots.txt dosyasında kuralın hangi bot için geçerli olduğunu belirtmek için kullanılan satırdır.
Eğitim botu: İçeriği yapay zekâ modellerinin eğitimi için toplamak amacıyla siteleri tarayan bot için kullanılan terimdir.
Arama botu: İçeriği yapay zekâ destekli arama cevaplarında kaynak göstermek için dizine alan bot için kullanılan terimdir.
Robots.txt dosyanıza birlikte bakalım
Sitenizin adresini yazın; yapay zekâ botlarının hangilerinin engelli olduğunu ve önerdiğimiz ayarı iki iş günü içinde gönderelim.
Ünsal Hanoğlu
Editör, Adapte Dijital · Karmaşık işi pazartesi yapılacak listeye indirir
Süs yazmaz. Bir işin nasıl yapılacağını adım, eşik değeri ve şablonla anlatır.
