ixnfo.com
Руководство по использованию robots.txt
robots.txt — файл с ограничениями доступа к веб-серверу для поисковых роботов.Должен находится только в корневой директории сайта, и содержать буквы только нижнего регистра, то есть «rob…