Онлайн генератор файла robots.txt для сайта
Опубликовано: 01.09.2018
Настройки индексации для следующих ботов:
Таймаут между переходами робота по страницам:
Запрет индексации разделов, страниц (каждый раздел или страница с новой строки):
Готовый robots.txt:
Сохраните данные в файл «robots.txt» и скопируйте в корневую папку сайта.
Данный сервис позволяет в упрощенном порядке автоматически сгенерировать файл для своего сайта. Файл robot.txt необходим для правильной индексации поисковыми системами (Google, Yandex и прочими). При помощи этого файла можно задать поисковым роботам ряд ограничений: закрыть (Disallow) или открыть (Allow) страницу от индексации, показать основной хост (директива Host), показать адрес карты сайта (файл Sitemap.xml) и многое другое. Например, закрывается страница сайта с админ-панелью, также можно исключить (Disallow) из поисковой выдачи дублирующие страницы своего сайта. Это позволит увеличить доверие сервисов к новому или старому интернет ресурсу.Директива User-agent позволяет указывать, к какому из поисковых сервисов будет предназначена нижеприведенная настройка. С помощью этой функции в robot.txt можно полностью разрешить (запретить) индексирование всего контента своего сайта.
How to Create Robots.txt File | How to Implement robots.txt file | Implement robot.txt file
Онлайн помощник для начинающих WEB-мастеров поможет быстро создать файл необходимой конфигурации для дальнейшего размещения в корневой папке каталога своего сайта. Онлайн генератор файла robot.txt с необходимыми параметрами для нового интернет ресурса создаётся за считанные секунды, достаточно только ввести необходимые данные в разделы формы.
Как настроить файл Robots.txt
Директивная функция Crawl-delay позволяет указывать поисковым службам частоту входа на страницы сайта. Цифровой показатель, прописанный здесь, позволит указывать интервал времени в секундах. Эта директива нужна для интернет ресурсов имеющих большое количество страниц, а так же данная директива поможет снизить нагрузку на хостинг или сервер.