Seo

Derinlemesine Robots.txt

Robots.txt hakkında derinlemesine bilgi veriyorum! Robots.txt dosyası, geçerli olacağı web sitesi ana makinesinin kök dizininde bulunmalıdır.

SEO öğrenmeye başladıysanız ve bu alanda ilerlemek istiyorsanız karşınıza birçok teknik terim çıkacaktır. SEO ’nun daha çok teknik bölümünde yer alan bu terimleri bilmek, iyi bir SEO uzmanı olmak için olmazsa olmazdır. Bugün sizlere teknik SEO ’nun bel kemiğinden biri olan robots.txt’i anlatacağım.

Başta ismi bile herhangi şey çağrıştırmıyor ya da fazla komplike gözüküyor olabilir. Ama gözünüz korkmasın. Çünkü bu terimi sizlere elimden geldiğince basit ve aynı zamanda ayrıntılarıyla anlatıyor olacağım. Bu metni okuduktan sonra robots.txt ’i tüm yönleriyle kavrayacak ve kendi kendinize robots.txt dosyası oluşturmayı öğreneceksiniz.
O halde hadi başlayalım!

robots 1
Derinlemesine Robots.txt

Robots.txt nedir?

Robots.txt aslında basit bir komut dosyasıdır. Bu komut dosyasıyla birlikte arama motoru botlarının sitenize nasıl erişebileceğine, içeriklerinizi nasıl tarayacağına ve sitenizin hangi bölümlerinin dizine ekleneceğine siz karar verirsiniz. Arama motoru yazılımları, sitenize geldiğinde öncelikle robots.txt dosyasını tarar ve dosyadaki komutlara göre sitenizin izin verilen sayfalarını dizine ekler. Yani, robots.txt dosyasıyla birlikte sitenizin kontrolü ve sınırları kendi elinizdedir, arama motoru botları da bu sınır dahilinde sitenizi tarayabilir.

Örneğin web sitenizin bazı bölümlerini arama motoru botlarının erişimine kapatmak istiyorsunuz. Bu alanlar bazı kişisel, ya da önemli bilgiler içerebilir ya da indexlenmesini istemeyeceğiniz bir bölüm olabilir. Bu noktada tam olarak ihtiyacınıza cevap veren şey robots.txt dosyası oluyor! Robots.txt dosyası içerdiği komutlarla arama motoru botlarına yön verir.
Arama motoru botları da robots.txt’in komutlarına uyar ve sitenizi istediğiniz şekilde tarar.

Sonuç olarak robots.txt dosyası her web sitesi için gerekli bir komut dosyasıdır. Bu noktada dikkat edilmesi  gereken bir konu da robots.txt dosyasının doğru hazırlanmış olması gerektiğidir. Yani herhangi bir robots.txt dosyasının varlığı, istediğiniz şekilde bir tarama yapılacağı anlamına gelmez. Önemli olan, robots.txt dosyasının doğru komutlarla hazırlanmış olmasıdır. Yanlış ve eksik olarak hazırlanmış bir robots.txt dosyası arama motoru botları tarafından dikkate alınmayabilir ve taranmasını istemediğiniz dizinler de taranabilir.

İlginizi çekebilir;  Google Analytics İle Gerçek Zamanlı Analiz!

İşte sizin için örnek olarak düzenlenmiş bir robots.txt dosyası:
Tüm arama motoru robotları tarafından resimlerin indexlenmesinin engellenmesi:

Bu örnek, robotların sitenizdeki tüm görüntüleri (tüm resimler klasörü, .jpg, .pgn, .gif ile biten her şey) indirmesini önler. Diğer her şeye izin verilir.

User-agent: *
Disallow: /*.jpg$
Disallow: /*.png$
Disallow: /*.gif$
Disallow: /images/
Allow: /

Örneğin sitenizde herhangi bir içeriğin taranmasını istemiyorsunuz. O halde Robots.txt dosyanız bunları içeriyor olmalı:
User-agent: Robot adı (Google, Yahoo, Bing)

Disallow: Engellenecek dizin

WordPress için robots.txt örneği

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /attachments/
Disallow: /?attachment_id=*
Disallow: /?replytocom=*
Sitemap: https://emreallison.com/sitemap.xml

Sonuç olarak robots.txt dosyasının ne işe yaradığını ve nerelerde kullanılması gerektiğini öğrendik. Daha önceden de belirttiğim üzere her sitenin bir robots.txt dosyasına sahip olması gerekmiyor.

Sadece taranmasını istemediğiniz alanlar, ya da önemli bilgilerin olduğunu düşündüğünüz bölümler varsa robots.txt dosyası kullanmak yararlı olacaktır. Arama motoru robotları sitenize ilk geldiğinde ilk olarak varsa robots.txt dosyalarına bakacak ve içindeki komutlara göre hareket edecektir.

Bu noktada robots.txt noktasına sahip olmak da istemediğiniz alanların taranmamasına yardımcı olur ve site indexlenmesinde zaman kazanmış olursunuz.

Robots.txt sayesinde sitenizin istediğiniz şekilde arama motoru dizinine eklenmesini sağlarsınız.
Bir sonraki yazımda görüşmek üzere. Hoşça kalın :-)

Emre Allison

Tam bir teknoloji aşığı, yazılım, donanım meraklısı ve sıkı bir web geliştiricisiyim. Tecrübe ve birikimlerini güncel teknolojik gelişmeler ışığında daha geniş kitlelere ulaştırabilmek adına emreallison.com‘da devam ettiriyorum.

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

Başa dön tuşu
error: