robots.txt ile ChatGPT, Claude, Perplexity ve Google yapay zekâ botlarının sitene erişimini yönetirsin. Erişimi kapalı bir site, yapay zekâ cevaplarında kaynak olamaz.
Yapay zekâ cevaplarında kaynak olabilmen için önce botların sayfana girebilmesi gerekir. Eskiden kalmış bir robots.txt kuralı, güvenlik eklentisi ya da koruma ayarı bu botları sessizce engelliyor olabilir. Siten ne kadar iyi yazılmış olursa olsun, kapalı kapıdan içeri girilmez.
Bu yüzden GEO çalışmasına önce erişimi kontrol ederek başlarız: hangi botlar giriyor, hangileri engelleniyor, bu bilinçli bir karar mı?
Her büyük yapay zekâ şirketinin birden fazla botu vardır ve adları zamanla değişebilir. Örneğin OpenAI'ın GPTBot (model eğitimi), OAI-SearchBot (ChatGPT arama sonuçları) ve ChatGPT-User (kullanıcının isteğiyle sayfaya bakan) botları; Anthropic'in ClaudeBot botu; Perplexity'nin PerplexityBot botu; Google'ın Google-Extended denetimi bulunur.
Bing'in botu da Microsoft Copilot'ın kaynaklarından biri olduğu için önemlidir. Güncel adlar için her şirketin kendi belgesine bakılır; biz kuralları buna göre kurarız.
Bir bot, bir kullanıcı soru sorduğunda cevap yazmak için sayfanı okuyorsa bu görünürlük fırsatıdır; seni kaynak olarak gösterebilir. Başka bir bot, yapay zekâ modelini eğitmek için içerik topluyorsa bu ayrı bir karardır: bazı işletmeler buna izin verir, bazıları vermez.
İkisini ayrı kurallarla yönetmek mümkündür. Örneğin eğitim botuna kapalı, arama botuna açık kalabilirsin. Bu bir ticari karardır, doğru ya da yanlış cevabı yoktur; biz seçeneklerini açıkça anlatırız.
robots.txt panelden yönetilir. Hazır kural sitenin tüm botlara açık kalmasını sağlar; istersen özel kural yazar, belirli botlara izin ya da yasak koyarsın. Değişiklik kaydedildiğinde yayın anında güncellenir.
Sitemap adresi de aynı dosyada yer alır. Bu konuyu SEO tarafıyla birlikte SEO sayfasında da anlattık.
robots.txt bir nezaket kuralıdır; botlar ona uyar ama uymak zorunda değildir. Saygılı büyük botlar uyar, kötü niyetli olanlar uymayabilir. Gerçekten korunması gereken içerik robots.txt ile değil, giriş şifresi ya da sunucu korumasıyla saklanır.
Aynı şekilde robots.txt'de izin vermek cevaplarda çıkmayı garanti etmez; yalnız kapıyı açar.
Bazı bot koruma ve güvenlik katmanları, yapay zekâ botlarını "otomatik trafik" sayıp engeller. Site güvenliği için iyi niyetli bir ayar, istemeden görünürlüğünü kapatabilir. Bunu bilmeden robots.txt'yi düzeltmek işe yaramaz.
Altyapı tarafındaki ayarları kontrol etmek için GEO çalışmasının başında erişim testi yaparız.
Cevaplarda kaynak olmak istiyorsan arama ve cevap botlarının sitene girebilmesi gerekir. Eğitim botlarına izin vermek ise ayrı ve ticari bir karardır.
Hayır. GPTBot OpenAI'ın model eğitimi için kullandığı bottur. OAI-SearchBot ise ChatGPT arama sonuçları içindir. Adlar zamanla değişebilir, güncel adlar için şirket belgelerine bakılır.
Hayır. robots.txt uyumlu botlara yönelik bir kuraldır. Gizli kalması gereken içerik giriş şifresi ya da sunucu korumasıyla saklanmalıdır.
Evet. Hazır kuralı kullanır ya da özel kural yazarsın. Kaydedince yayın anında güncellenir.
Garanti yok. İzin yalnız kapıyı açar; çıkıp çıkmamak içeriğin kalitesine, güncelliğine ve tutarlılığına bağlıdır.
Evet, bazı bot koruma katmanları yapay zekâ botlarını da engelleyebilir. GEO çalışmasının başında erişim testiyle bunu kontrol ederiz.
Numaranızı bırakın, sizi arayalım. Size uygun çözümü birlikte netleştirelim.
Sizi arayalım
Türkçe
English
Deutsch
Français
Español