Robots.txt Kullanımı ve Önemi

  • Tarih : 9.11.2022 14:14:35
  • Okuma Süresi : 00:05:00

Dosyanızın indekslenmesini ve arama motorlarında yapılacak aramalarda çıkmasını istemiyor musunuz? Robots.txt sayesinde bu isteğinizi gerçekleştirebilirsiniz.

robots.txt nedir?
Robots.txt, arama motoru tarayıcıları için talimatlar içeren bir metin dosyasıdır. “Text (Yazı)” sözcüğünün kısaltılmasından oluşmaktadır. Robots.txt dosyası, web sitesi tarayıcılarının hangi sayfalara erişeceğini kontrol eder. Ancak bunlar robots.txt dosyası tarafından açıkça adlandırılmaz, etiketin görülmesi için sayfanın taranması gerekir. Bu yöntem çoğunlukla isteklerin sitenizde yoğunluğa yol açmasını engellemek için kullanılır.
Bir etki alanının kök dizininde depolanan Robots.txt dosyasını kullanarak, tüm etki alanlarını, tam dizinleri, bir veya daha fazla alt dizini veya tek tek dosyaları arama motoru taramasından kolayca hariç tutabilirsiniz.

Robots.txt dosyası ne için kullanılır?
Robots.txt dosyasının ne için kullanılacağı dosya türüne bağlıdır:

Web Sayfası;
Arama motorları tarayıcılarından gelen isteklerin sunucunuzda yoğunluğa yol açacağını düşündüğünüz durumlarda tarama trafiğini yönetmek veya sitenizdeki önemsiz ya da birbirine benzer sayfaların taranmasını önlemek için web sayfalarında robots.txt dosyası kullanabilirsiniz.

Medya Dosyası;
Tarama trafiğini yönetmek ve resim, video, ses dosyalarının arama motoru arama sonuçlarında görünmesini engellemek için robots.txt dosyası kullanılabilir. Bu yöntem, diğer sayfaların veya kullanıcıların resim, video veya ses dosyanıza bağlantı vermesini engellemez.

Kaynak Dosyası;
Önemli olmayan resim, komut dosyası veya stil dosyaları gibi kaynakları engellemek için robots.txt dosyası kullanılabilir. Bu yöntem, engellenen kaynaklar olmadan yüklenen sayfaların bu kayıptan önemli ölçüde etkilenmeyeceği düşünüldüğü durumlarda uygulanmalıdır.

Robots.txt nedir

Robots.txt dosyası oluşturmak için;
Geçerli bir metin dosyası oluşturan her şeyi kullanabilirsiniz. Robots.txt dosyalarını oluşturmak için yaygın olarak kullanılan programlar; Not Defteri, TextEdit, vi veya emacs'dir.

Robots.Txt Hakkında Dikkat Edilmesi Gerekenler

  • Yetkisiz erişime karşı koruma sağlamaz.
  • Dosya doğrudan etki alanınızın kök dizininde bulunmalıdır ve robotlar robots.txt dosyasını ve talimatlarını büyük-küçük harf duyarlı olarak okuduğundan küçük harfle yazılmalıdır.
  • Yalnızca web sitenizin taranmasını kontrol eder, dizine eklemeyi kontrol etmez.
  • Özellikle mobil robotlar tarafından tarama için kullanıldığından, CSS ve JavaScript dosyalarının da engelinin kaldırılması gerekir.
  • Robots.Txt dosyanız, web sayfanızın kök dizininde bir UTF-8 veya ASCII metin dosyası olarak kaydedilmelidir. Bu ada sahip yalnızca bir dosya olmalıdır.
  • Dosyayı web sitenizin kök dizinine kaydetmeden önce sözdizimini kontrol etmelisiniz. Küçük hatalar bile arama botlarının izin vermeme kurallarını göz ardı etmelerine ve dizine alınmaması gereken web sitelerini taramalarına neden olabilir.
  • Dosya, web sitesinin en üst düzey dizinine yerleştirilmelidir.