robots.txt dosyası kullanım

Robots.txt dosyası arama motorları ve örümceklere sitenizdeki dosya ve klasörleri gezip kayıt etmeleri için izin veren ya da engelleyen dosyadır.Dosya kendi başına normal bir text dosyasından farksızdır ve basit şekilde Notepad ile hazırlanabilir.Anasayfanızın ya da sitenizin bulunduğu ana...