Etiket: tarama

Web Sitenizin Robots.txt Dosyası Oluştuması ve Kullanması — Sunucu Kaynak Tüketimi Optimize Edilmesi
Robots.txt dosyası, web sitenizin kök dizininde bulunan ve web tarayıcılarına ve arama motorlarına hangi sayfaların dizine eklenip eklenmeyeceğini belirten bir metin dosyasıdır. İşte robots.txt dosyası…
