robots.txt Nedir, Ne İşe Yarar ve Nasıl Yapılır?

robots.txt Nedir, Ne İşe Yarar ve Nasıl Yapılır?

robots.txt nedir? Robots.txt sitenizi ziyaret eden arama motorları tarayıcılarının yani botlarının sitenizde erişmesini istemediğimiz yerleri engelleyen bir sistemdir. Bu sistemi sitenizin ana dizinine eklemelisiniz.

Arama motorları sitenizi ziyarete geldiğinde ilk önce robots.txt dosyası varsa bu dosyayı ziyaret edecektir. Daha sonra bu dosyada belirttiğiniz yerlere girmeyeceğini anlayacaktır.

Bu dosya önemli bir dosyadır. Çünkü sitenizin her türlü bilgilerine botların ulaşabileceklerini biliyor musunuz? Yani admin şifrelerinize, resimlere vb. her şeyinizi görebilirler. Bunu bu işi bilen her hacker yapabilir.

Kesinlikle robots.txt dosyasını kullanmalısınız. Ne kadar önemli olduğu aşikardır zaten. Ayrıca seo açısından da hatta Google açısından da çok önemli olduğunu söylemeliyim.

Arama botlarının ve de zararlı botların girişi engellemek için robots.txt kodlarını sitemize eklemeye başlayalım:

robots.txt Nasıl Yapılır Hangi Kodlar Ne İşe Yarar: 

User-agent: *

Tüm botlar anlamına gelmektedir ve bu (*) işaretin yerine tek bot adı da yazabilirsiniz.

Allow: /

Sitede hangi yerlerin dizine eklenmesini istediğimizi ve de yazacağımızı belirtir.

Disallow: / 

Yukarıdaki kodun tam tersine sitenizdeki hangi yerlerin dizine eklenmesini istemediğimizi yazacağımızı belirtir.

Crawl-delay

Sunucu hatası yaşayan sitelerde ve ziyaretçi trafiği oldukça fazla olan sitelerin kullandığı koddur. Bu tür site sahiplerinin botların site tarama süresini belirtmesine yaramaktadır.

Kod 1

<User-agent: *Allow: />

(*) bu işaret tüm botlara istisnasız indexlemesine izni vereceğiniz anlamındadır.
(*) bu işaretin yerine isterseniz ayrı ayrı bot ismide yazarak arama motoru botlara izin verebilirsiniz.

Kod 2

<User-agent: *Disallow: />

Sitenizdeki bazı yerlerin adlarını girerek botların bu yerleri indexlemesini engellediğimizi ve bu botlara bildirdiğimiz anlamındadır. Yani siteye gelecek olan botlar bunu anlayacaktır.  

Örnek: Aşağıda bulunan 5 dosyayı botlar indexlemeyeceklerdir.

<User-agent: *
Disallow: /
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /index.php
Disallow: /wp-includes/>

Kod 3

<User-agent: *
Sitemap: http://www.siteadresiniz.com/sitemap.xml>

Botların XML site haritası yani sitemap dizinini indexlemesini engellemeniz içindir.

robots.txt Dosyasını Oluşturmak ve Sitenizin Ana dizinine Nasıl Ekleme?

robots.txt dosyası oluşturalım. İçine botların indexlememesi gereken yerlerin kodlarını da ekleyerek masaüstüne kayıt edin.

Önce masaüstünüzde bir sağ tıklayarak bir notepad++ ya da metin belgesi açın.
 

<User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /index.php
Disallow: /wp-includes/
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: */trackback/
Allow: /wp-admin/admin-ajax.php
Sitemap: http://www.siteadresiniz.com/sitemap.xml>


Ben bu kodları kullanıyorum sizde dilerseniz bu kodları kullanabilirsiniz. Ekleyeceğiniz ya da çıkaracağınız yerler olabilir istediğiniz gibi yapabilirsiniz.

 
Kodları ekledikten sonra dikkatlice dosya uzantısını robots.txt yapıp masaüstüne kaydetmelisiniz. Daha sonrada sitenizin ana dizinine gidin.
 

Filezilla ve cPanel Üzerinden robots.txt Dosyası Yüklemek?

1- Filezilla ile robots.txt Dosyası Yüklemek

İsterseniz uzak kullanımı sağlayan Filezilla programı ile de ana dizine ulaşım sağlayabilirsiniz. Buradan da public_html klasörüne gidin. Yukarıda oluşturmuş olduğumuz robots.txt dosyasını sürükleyerek klasörün içerisine yerleştirin.

 

Filezilla ile bu şekilde yapıyoruz.

2- cPanel Üzerinden robots.txt Dosyası Yüklemek?

cPanelinize gidin ve dosya yöneticisine tıklayın. Daha sonra açılan ekranda public_html klasörünü seçerek, sayfanın üst kısmında bulunan yükle butonuna basın.

 
Yukarıda oluşturduğumuz olduğumuz robots.txt dosyasını dosya seç butonuyla Bilgisayarınızdan yükleyin işlem bu kadar.
 

Yukarıdaki götermiş olduğum yollardan herhangi biri ile yapmış olduğunuz işlemin son aşaması olarak, eklemiş olduğumuz dosyamızın çalışıp çalışmadığını kontrol etmek.

Bunun içinde Google Search'a giderek test edebilirsiniz. Aşağıda resimde de belirttiğim gibi yukarıdaki oluşturduğunu robots.txt kodlarını bu kısmada yapıştırın.

   
Kodları yapıştırdıktan sonra şimdi kontrol edin. Kontrol için önce alttaki kutuya dosyaya eklediğiniz index almaması gereken bir yerin adını girin ve sağ alt kısımda bulunan test et butonuna basın ve kontrol işleminizi gerçekleştirin.

robots.txt dosyası nasıl oluşturulur,
Dizin listeleme açığı kapatma,
Google index,
cpanel dizin listeleme kapatma,
Wordpress dizin açığı,
Wordpress dizin sorunu,
Wordpress htaccess ayarları,
htaccess dizin listeleme engelleme,
işte bu problemleri bu yazım ile halledebilirsiniz. Kolay gelsin.

Tavsiye Yazı: Blogger Footer Ekleme Kodu Siteye Nasıl Eklenir?