robots.txt

• ikide bir 404 hatası bildiren scriptim'den robots.txt'ye ulaşılamadı diye mail almaktan ve istatistiklerimde 404 hataları arasında robots.txt görmekten bıktım, hem robotlar sunucuma hiç de yük bindirmiyor diyorsanız. robots.txt diye bir metin dosyası oluşturup root dizininize döşeyiverin, içeriği şöyle olsun;
  
  # gel gel ne olursan yine de gel scripting aş. sunar...
  # site.com'un robotlara kucak açtığının göstergesidir.
  # bir sorununuz varsa lütfen mevlana@site.com'a mail atın.
  
  user-agent: *
  disallow: