Robots.txt dosyası, web sitenizin kök dizininde bulunan ve web tarayıcılarına ve arama motorlarına hangi sayfaların dizine eklenip eklenmeyeceğini belirten bir metin dosyasıdır. İşte robots.txt dosyası oluşturmak için temel adımlar:
1.Bir metin düzenleyici kullanarak bir metin dosyası oluşturun ve adını “robots.txt” olarak kaydedin. ...