БЫ ПРОВЕРКИ ФАЙЛА ROBOTS.TXT:
1. Ввести в браузере: http://www.site.ru/robots.txt (где site.ru – имя
вашего сайта);
2. 2) Воспользоваться сервисом «Анализ robots.txt» от Яндекса
http://webmaster.yandex.ru/robots.xml; 3. Использовать автоматизированные сервисы Rooletka или ROOKEE. 10 грехов SEO-оптимизатора
4
Игнорирование файла robots.txt
грех 1