1. Що таке файл robots.txt? Пошукові системи регулярно надсилають так звані сканери (які також називаються...
2. Файл robots.txt визначає, що не слід сканувати
3. Як оптимізувати robots.txt на Wordpress?
4. Створіть файл robots.txt за допомогою плагінів WordPress
5. Натиснувши на "Редактор файлів", ви можете змінити файл robots.txt в WordPress
6. Висновок: Оптимізуйте robots.txt для вашого WordPress вручну, якщо це необхідно

Що таке файл robots.txt?

Пошукові системи регулярно надсилають так звані сканери (які також називаються пошуковими або павуковими) для пошуку веб-сайтів для нових записів і підсторінок. Використовуючи файл robots.txt, ви можете контролювати, які підсторінки вашого сайту не слід відстежувати сканерами, і не повинні бути включені до індексу Google. Відповідні сторінки не відображаються в результатах пошуку. Звичайно, ви можете не лише встановити це для Google, але й для інших пошукових систем, таких як Bing, Yahoo і Co.

• Файл robots.txt визначає, що потрібно відображати на пошукових системах, наприклад Google, з вашого власного сайту.
• WordPress створює віртуальний файл robots.txt, який автоматично відтворюється.
• Для більшості веб-майстрів власне доповнення має сенс.

Google Crawler періодично сканує веб-сайти для нових постів індексування

Чи WordPress автоматично створює файл robots.txt?

WordPress створить ваш власний файл robots.txt, якщо ви не створите самостійний файл. Файл robots.txt в WordPress досить вузький і має такий вміст:

• User-agent: *
• Заборонити: / wp-admin /
• Заборонити: / wp-includes /

WordPress визначає, який пошуковий механізм посилає своїх сканерів (user-agent) на ваш сайт (зірочка - це всі пошукові системи в прикладі) і індексує весь сайт, за винятком каталогів / wp-admin і / wp-includes / допускається. Команда "disallow" блокує доступ бота до двох названих каталогів. Вищезазначені налаштування за замовчуванням мають сенс в принципі, тому що вони переконуються, що сканер може викликати всі сторінки . Тим не менш, зазвичай рекомендується вручну налаштувати robots.txt для WordPress. Тому що підсторінки, такі як відбиток, не повинні бути перелічені на Google. Крім того, плагіни не повинні відображатися в результатах пошуку. Оскільки, якщо плагін має вразливість, зловмисникам легко знайти сайти, на яких розширення ввімкнено. Тому robots.txt повинен блокувати все, що не призначене для громадськості, і надає користувачеві оголошення без доданої вартості.

Файл robots.txt визначає, що не слід сканувати

Що потрібно зробити Wordpress у файлі robots.txt?

Кожен веб-майстер по-різному визначає файл robots.txt для WordPress, залежно від структури сторінки та власних уподобань. Проте наступний приклад дає добру орієнтацію, оскільки він охоплює найбільш важливі випадки:

• User-agent: зображення Googlebot
• Заборонити: Дозволити: / *
• User-agent: Mediapartners-Google
• Заборонити: Дозволити: / *
• Користувач-агент: duggmirror
• Заборонити: /
• User-agent: *
• Заборонити: / cgi-bin /
• Заборонити: / wp-admin /
• Заборонити: / wp-includes /
• Заборонити: / wp-content / plugins /
• Заборонити: / wp-content / cache /
• Заборонити: / wp-content / themes /
• Заборонити: / трекбек /
• Заборонити: / feed /
• Заборонити: / коментарі /
• Заборонити: / категорія /
• Заборонити: / день /
• Заборонити: * / трекбек /
• Заборонити: * / feed /
• Заборонити: * / коментарі /
• Заборонити: / *?
• Дозволити: / wp-content / uploads /

У перших рядках під user-agent визначається, яким ботам дозволений доступ. Відповідно, дозволено пошук зображень Google і об'яв Google. Рядок user-agent: * виражає, що такі обмеження застосовуються до всіх пошукових систем. Рядки нижче визначають, серед іншого, що каталог admin ( / wp-admin / ), а також плагіни ( / wp-content / plugins / ) і теми ( / wp-content / themes / ) не вказані. Коментарі, архіви та канали також виключаються для зменшення ризику дублювання вмісту . Оскільки повідомлення розміщені як на вашому сайті, так і в додатковому архіві, Google може покарати вас за дубльований вміст, щоб, наприклад, ваш рейтинг погіршився. Зірочка в останніх командах гарантує, що всі файли з доріжок "trackback", "feed" і "comments" не скануються. У передостанній лінії зірочка вказує, що всі URL-адреси, які містять знак запитання, не повинні бути проіндексовані. Щоб показати структуру веб-сторінки Google Crawler, можна також ввести файл мапи сайту у файл robots.txt.

Як оптимізувати robots.txt на Wordpress?

Файл robots.txt, створений за допомогою WordPress, створюється і виводиться через файл wp-functions.php . Зміни можна зробити за допомогою редактора, наприклад Notepad ++. Однак ці зміни перезаписуються під час оновлення WordPress, роблячи його відновлення встановлюються стандартні налаштування. Більш доцільно створювати новий файл з ім'ям robots.txt у редакторі та зберігати його у кореневому каталозі (також званий кореневий каталог) вашого домену. Якщо ваш домен http://www.your-example.com , шлях до файлу robots.txt має виглядати так: http://www.your-example.com/robots.txt . Після створення такого файлу він завжди має перевагу над автоматично створеним файлом robots.txt з WordPress.

Створіть файл robots.txt за допомогою плагінів WordPress

З WordPress створення robots.txt навіть простіше, ніж плагіни . Є кілька SEO Плагіни, які дозволяють створювати або змінювати файл robots.txt безпосередньо в серверній частині. Один з найбільш перевірених плагінів - Yoast SEO . Якщо ви успішно встановили та активували розширення, ви можете перейти до пункту меню "SEO => Tools" і потім натиснути на "File Editor", де ви зможете редагувати файл robots.txt безпосередньо в WordPress. Натиснувши кнопку "Застосувати зміни в файлі robots.txt", ваші зміни зберігаються і негайно активуються.

Натиснувши на "Редактор файлів", ви можете змінити файл robots.txt в WordPress

Увага: не всі боти пристають до файлу robots.txt

Набір правил поведінки в файлі robots.txt для WordPress служить лише керівництвом для сканерів пошукових систем, він не є обов'язковим . Хоча боти від Google та інших авторитетних пошукових систем завжди дотримуються своїх тверджень, інші сканери не завжди це роблять. Тому, якщо ви хочете переконатися, що певні частини вашого веб-сайту не індексовані ніде, вам слід подумати про інші способи блокування - наприклад, файли та папки, захищені паролем на вашому сервері.

Висновок: Оптимізуйте robots.txt для вашого WordPress вручну, якщо це необхідно

Використовуючи файл robots.txt, ви можете точно вказати, до яких частин вашого сайту дозволено користуватися сканерам пошукової системи, а які залишаються заблокованими. За допомогою індивідуальних налаштувань ви можете адаптувати поведінку пошукових систем до умов вашого сайту.

• Визначте, які підсторінки повинні бути вказані для Google та інших пошукових систем.
• Файл robots.txt завжди повинен зберігатися в кореневому каталозі вашого домену.
• WordPress SEO плагіни дозволяють легко створювати і редагувати robots.txt.