Robots.txt bir tarayıcının hangi yolları taramasını istediğinizi anlatır. Noindex ise sayfanın arama dizininde yer almaması için kullanılan bir işarettir. Bu ayrım özellikle test sitesi, müşteri paneli ve filtre adreslerinde önemlidir. Bir URL’yi robots.txt ile engellemek, onun hiçbir şekilde arama sonucunda görünmeyeceği anlamına gelmez. Gizli dosyaların korunması da bu dosyaya bırakılamaz; kimlik doğrulama ve sunucu erişim kuralları ayrı çalışmalıdır.
Başlamadan önce
Site kökündeki robots.txt dosyasına erişiminiz ve sayfa başlıklarını veya HTTP yanıtlarını düzenleme yetkiniz olmalıdır. Yayınlanacak içeriklerle özel alanların listesini çıkarın. Test sunucusunun canlı alan adına yönlenmediğini kontrol edin. Değiştirmeden önce dosyanın kopyasını saklayın. Arama motorunu engellemenin kullanıcıların doğrudan erişimini kapatmadığını ekip üyelerine açıkça belirtin; hassas alanlara ayrıca giriş gereklidir.
Uygulama adımları
- URL gruplarını ayırın
Herkese açık rehberler, ürünler ve kurumsal sayfalar normal olarak keşfedilebilir kalmalıdır. Oturumlu müşteri sayfaları, sepet ve yönetim ekranları farklı bir yayın amacına sahiptir. Her gruba aynı genel engeli uygulamak yerine erişim ve indeks kararını ayrı kaydedin.
- Robots dosyasının konumunu kontrol edin
Dosya ilgili alan adının kökünde /robots.txt olarak sunulmalıdır. Alt klasördeki aynı adlı dosya tüm site için geçerli olmaz. Bir alt alan adı veya farklı protokol için kuralları ayrıca inceleyin; kullanılan hostun gerçek yanıtını test edin.
- Kuralları küçük kapsamda yazın
User-agent ve Disallow satırlarının hangi bot ve yol grubuna uygulandığını okuyun. Canlı siteye yanlışlıkla bütün yolları engelleyen / kuralı taşımayın. Kuralın dışında kalan benzer URL’leri ve büyük küçük harf farklarını temsilî adreslerle kontrol edin.
- Noindex çıktısını ekleyin
HTML sayfalarında robots meta etiketi veya uygun HTTP X-Robots-Tag başlığı kullanılabilir. Etiketin gerçek yanıtta bulunduğunu doğrulayın. Bot sayfayı robots.txt nedeniyle okuyamıyorsa noindex işaretini de göremeyebilir; bu çelişkiyi kaldırmadan sonucu beklemeyin.
- Özel içeriği teknik olarak koruyun
Yönetim sayfaları yetkisiz istekte giriş ekranına yönlenmeli veya uygun erişim hatası vermelidir. Yapılandırma dosyaları ve yedekler doğrudan indirilememelidir. Noindex bulunması bir yetki kontrolünü gereksiz yapmaz; bu testleri oturumsuz bir tarayıcıyla ayrıca uygulayın.
- Canlıya geçiş listesini kullanın
Test ortamındaki noindex ve robots engellerinin canlı içerikte kalmadığını kontrol edin. Özel sayfaların işaretlerini koruyun. İlk yayın sonrasında sitemap adreslerini ve önemli sayfaların erişimini yeniden test ederek yalnızca dosya yüklemenin tamamlanmış sayılmasını önleyin.
Sonucu doğrulama
Bir açık makalenin 200 yanıtını, robots.txt içinde yolu engelleyen satır olmadığını ve noindex taşımadığını kontrol edin. Bir müşteri panelini oturumsuz açarak içeriğin gösterilmediğini doğrulayın. Kaynak kodu ve HTTP başlıkları birlikte okunmalıdır; HTML’de index bulunurken sunucu noindex gönderiyor olabilir. Search Console URL denetimi tarama ve dizin durumunu takip etmek için kullanılabilir.
Sık karşılaşılan sorunlar
Canlı bütün site dizinden düşüyorsa öncelikle test ortamından kalan genel noindex işaretlerini araştırın. Robots.txt dosyasının kendisi 500 yanıt veriyorsa sunucu hatasını giderin. Engellenen bir URL arama sonucunda görünüyorsa diğer sitelerden gelen bağlantıları ve noindex okunabilirliğini inceleyin. Hassas yedek görünmüşse robots satırı eklemekle yetinmeyin; dosyayı web kökünden çıkarıp erişimi ve olası açıklamayı değerlendirin.
Uygulama örneği
Örneğin /yardim/imap-kurulumu gibi yayınlanmış bir rehber yolu açık olmalıdır; /musteri-paneli ise oturum gerektirmelidir. Staging alan adındaki tüm içeriği kullanıcı parolasıyla koruyabilirsiniz. Canlıya aktarım sırasında staging noindex ayarının da kopyalanması ürün ve makalelerin yayın amacını tersine çevirir; geçiş kontrolünde bunu özellikle inceleyin.
Sık sorulan sorular
Şifreli panel için robots engeli yeterli mi?
Hayır. Panel oturum ve yetki kontrolüyle korunmalıdır. Tarama işaretleri yalnızca arama davranışını yönlendirir; doğrudan URL bilen bir kişiye erişim yetkisi vermez veya onu durdurmaz.
Noindex hemen sonuçtan kaldırır mı?
Sonucun güncellenmesi tarama ve işleme gerektirir. İşaretin okunabilirliğini doğrulayın ve ilgili URL’nin durumunu izleyin. Acil görünürlük sorunları için Search Console araçları ayrı değerlendirilebilir; erişim güvenliğini bunlara bağlamayın.
İlgili rehberler
Süreç özeti
İşlem ve doğrulama sırası
| Adım | Kontrol |
|---|---|
| 1 | Yayın amacını seç |
| 2 | Tarama kuralını oku |
| 3 | Noindex çıktısını doğrula |
| 4 | Erişimi ayrıca koru |