robots.txt

ROBOTS.TXT VE SEO

Robots.txt mantığını tam anlamıyla anlayabilmek için öncelikle basite indirgeyerek düşünmek gerekir. Şöyleki; robots.txt dosyası arama motoru botlarına komut veya başka bir değişle  direkt olarak istek gönderebildiğimiz tek argümandır.

Web sitesi olan hemen herkezin robots.txt hakkında az-çok bilgisi vardır. Ancak burada bilinmesi gereken bu dosya yanlış kullanıldığı zaman sitenize olumsuz etkiler verebilmektedir.

Peki Botlara Nasıl Komut verebiliriz ?

Aslında bu txt dosyası, temel olarak sitemizde dizinlerde göstermek istemediğimiz urllerin botlar tarafından indexlenmesini engellemektir. Örneğin sitenizde http://www.ornek.com/ornekurl diye bir urlniz var ve sizde bunun google botları tarafından serplerde çıkmasını istemiyorsunuz. İşte tam burda işinize yarıyor bu melet. Çünkü Global arama motorlarının botları sitenizi ziyaret ettiğinde yaptığı ilk şey robots.txt dosyasına bakıp ordaki komutları uygulamaktır. Yani orda şurdaki uzantıya bakma deniyorsa bot oraya kesinlikle bakmaz… (bu bütün arama motorları için geçerli değildir. Bazı arama motorları ordaki komutları kendilerine göre yorumlar bazıları hiç iplemez:) )

Temel Robots.txt komutları

user-agent : Kelime anlamı “kullanıcı arayüzü” fakat robot.txt dosyamızda bot’un ismini ifade eder.

disallow: dosyadaki en önemli komutlardan biridir. izin verilmiyen uzantılar bunun önünde belirtilir.

* (yıldız işarareti) :  heryerde olduğu gibi “hepsi” anlamına gelir.

sanırım bunları bilmek yeterlidir.

Robots.txt Dosyası oluşturmak

Basit bir robots.txt dosyası oluşturacak olursak.

1. Öncelikle bot ismimizi yazalım. Google botumuzun ismi “Googlebot”

User-agent: Googlebot

2. Yasaklayacağımız dizin

Diyelimki http://www.ornek.com/admin/ diye bir admin paneliniz var ve bu uzantının botlar tarafından okunmasını istemiyorsunuz.

Disallow: /admin/

3.Bütün Siteyi yasaklamak

Farz-ı misal sitedeki hiçbiryerin botlar tarafından okunmasını istemiyorsunuz.

User-agent: *

Disallow: *

Yukarıdakinin anlamı sitemdeki bütün dizinlerin-urlerin bütün botlar tarafından okunmasını engelle.

Robots.txt nin Seoya Etkisi

Aslında Robots.txt dosyası Seo için teknik olarak etkili değildir. Ancak yukarıdada söylediğimiz gibi eğer bilinçsizce kullanırsa serp sonuçlarına etki edebilir ve böylece siteniz eksik gözükür… hakettiği değeri almaz.  Bunu Neden söylüyorsunuz diye bir soru gelirse aklınıza hemen cevabını vereyim.

Bazı arkadaşlar Hem Seo bazlı olarak hemde işleyiş olarak gereksiz arayışlara girer. Robots.txt de bunlardan biridir. Zannederki bu dosya onu kurtaracaktır. Gider olmadık yerlerden sallama bilgileri alır ve sitesinde uygular. Demem o ki, bu dosya üzerinde çok fazla durmayın ve düşünmeyin basit olarak robots.txt dosyanızı hazırlayın üzerinde fazla kafa yormadan ve sitenizin ana dizinine atın. yani Dosyanız şu şekilde gözükecek: http://www.death-system.org/robots.txt

Robots.txt dosyasını en sade hali ile anlatmaya çalıştım umarım bilmeyen, eksik bilen veya yanlış bilenlerin işine yarar.

//DeathSyStem//