Настройка robots.txt: правила Allow и Disallow, частые ошибки и способы проверки
robots.txt решает, может ли Google сканировать ваши страницы, но не влияет на то, попадёте ли вы в индекс и в выдачу. Одна ошибка в символе — и весь сайт исчезнет из результатов поиска. Контринтуитивный момент...

