http://prime.itxoft.com/understanding-robotstxt-itxoft-13079