http://grow.itxoft.com/understanding-robots-txt-itxoft-16176