1. Крок 1: Створіть файл у текстовому редакторі
2. Крок 2. Оптимізуйте файл для пошукових систем
3. Крок 3. Завантажте файл на свій сайт

Ключовою частиною поліпшення видимості вашого сайту є гарантування того, що він відображається в результатах пошуку. Однак не менш важливо, щоб ці результати точно відображали найкращий вміст вашого сайту. Більшість сайтів містять певний вміст, який ви не хочете відображати під час пошуку. Отже, як ви можете контролювати те, що Google робить і не відображає?

Тут входить невеликий файл, відомий просто як файл robots.txt . На перший погляд може здатися, що цей файл не дуже схожий, але цей файл може мати величезний вплив на загальний рівень вашого сайту Оптимізація пошукової системи (SEO) . Вона дає змогу контролювати, які області вашого сайту видно пошуковим системам. Крім того, він гарантує, що вони швидше помітять оновлення, зроблені на вашому сайті.

У цій статті ми розглянемо, як можна створити файл robots.txt для WordPress, щоб покращити рейтинг вашого сайту в Google. Ви дізнаєтеся, як створити файл, куди його додати на ваш сайт WordPress, і як його слід включити. Нарешті, ми покажемо, як подати його до Консоль пошуку Google . Давайте розпочнемо!

Найпростішим чином robots.txt - це текстовий файл, що містить прості інструкції інформувати пошукові системи що вони повинні і не повинні читати на вашому сайті. Ви можете вважати це напрямками, які ви надаєте сайтам, таким як Google. Вона повідомляє їм, які сторінки та каталоги ви не хочете включати до результатів пошуку.

Чому це важливо і як це впливає на ваш SEO? Щоб відповісти на це питання, потрібно говорити про сканери. Сканер - це програма, яку пошукові системи використовують для читання веб-сайтів, щоб індексувати їх, щоб вони могли відображатися в результатах пошуку. Можливо, ви вже знайомі з сканером Google, який називається Googlebot .

Коли ці програми сканують ваш веб-сайт, вони за замовчуванням перевірятимуть кожну сторінку в ній. Отже, чим більше сторінок містить ваш сайт, тим довше він буде читати все. Для того, щоб сканери не впливали на сайти негативно, перевантажуючи їх, кожному сайту надається "бюджет сканування". Таким чином, Google пояснює бюджет сканування :

"Простіше кажучи, це являє собою кількість одночасних паралельних зв'язків, які Googlebot може використовувати для сканування сайту, а також час, який він повинен чекати між витяганнями."

У цій же статті Google також визначає, що "має багато URL-адрес з низькою доданою вартістю" як важливий фактор, який негативно впливає на індексацію сайту. Практично це означає, що якщо сканер повинен переходити до сторінок низької якості, він фактично витрачає бюджет сканування на несуттєвий вміст, а не на вміст, який він хоче знайти. Це також призведе до того, що весь сайт буде скануватися рідше. Окрім того, оновлення займе більше часу, щоб відображатися в результатах пошуку.

Наразі ви сподіваєтеся зрозуміти, чому додавання файлу robots.txt на ваш сайт є важливим для оптимізації його видимості. Настав час подивитися, як можна створити такий файл і додати його до свого сайту WordPress. У цьому посібнику ми проведемо вас на кожному етапі процесу. Ми покажемо вам, як написати файл, де знаходиться robots.txt в WordPress, і як подати його в Google.

Крок 1: Створіть файл у текстовому редакторі

Все, що потрібно для створення файлу robots.txt - це простий текстовий редактор, наприклад, TextEdit або Notepad. Сам файл - це лише список однієї або декількох директив, які використовують сканери для визначення частин вашого сайту для читання та індексування. Таким чином, написання одного полягає в тому, щоб додати потрібні інструкції, використовуючи необхідний синтаксис, який ми розглянемо зараз.

Давайте подивимося на зразок файлу robots.txt з певним стандартним кодом:

Рядок " Агент-користувач" визначає, на які сканери спрямована ця конкретна директива. Оскільки цей приклад використовує символ зірочки (*), ця директива спрямована на всіх сканерів. Якщо ви хотіли лише орієнтуватися на певного сканера, наприклад, Googlebot, це виглядатиме так:

Другий рядок містить інструкції, які ви надаєте сканеру, який у цьому випадку є забороненим . Це визначає, які частини вашого сайту ви не бажаєте сканувати вказаний агент користувача. Цей приклад залишає рядок порожнім, а це означає, що папки не заборонені. Тому сканер буде читати все на сайті.

Припустимо, що ми хочемо, щоб Googlebot не сканував папку / old-photos / . У цьому сценарії ваш текстовий файл має виглядати так:

Важливо відзначити, що ці значення чутливі до регістру. Отже, якщо папка насправді називається / Old-Photos / , ця інструкція не буде застосовуватися до неї.

Тепер, скажімо, є деякі файли в цій папці, які ви хочете, щоб він побачив. Це можна зробити за допомогою директиви Allow :

Є також деякі додаткові нестандартні директиви , такі як Crawl-delay , Sitemap і Host , але вони не зрозумілі всім сканерам. Наприклад, Googlebot буде лише прийняти файл Sitemap , який вказує сканера на XML-карту сайту. Однак, як правило, вам не потрібно турбуватися про те, що це стосується надішліть карту сайту безпосередньо через консоль пошуку Google .

Тепер, коли ви знаєте, як зібрати файл robots.txt , давайте подивимося, що він повинен включати для найкращих результатів!

Крок 2. Оптимізуйте файл для пошукових систем

Щоб оптимізувати файл robots.txt , спершу необхідно розглянути, які області вашого сайту ви не хочете обхоплювати сканерами. Це включає, але, звичайно, не обмежується, сфери, які не є видимими для громадськості або які не мають сенсу за межами конкретного контексту.

Пам’ятайте, що це не стосується активів JavaScript або CSS, які ви ніколи не повинні блокувати. Насправді, це щось Google спеціально порадив , оскільки він зупиняє їх сканери повністю розуміти, як працює ваш сайт і може заважати оцінці вашого SEO:

"Заборона сканування файлів Javascript або CSS у файлі robots.txt вашого сайту безпосередньо завдає шкоди тому, як наші алгоритми відтворюють і індексують ваш вміст, і можуть призвести до субоптимального рейтингу."

Одним із прикладів сторінки, яку ви, ймовірно, хочете заборонити, є ваша сторінка входу в систему адміністратора WordPress, яку ви можете зробити так:

Однак багато тем покладаються на файл, розташований у цьому каталозі, званий admin-ajax.php . Ви хочете дозволити цей файл, оскільки він є елементом JavaScript:

Іншим прикладом типу сторінки, яку потрібно заборонити, є сторінки "Спасибі", які відвідувачі бачать тільки після заповнення форми. Знову ж таки, у результатах пошуку немає жодного сенсу, тому ви можете заборонити:

Це лише кілька прикладів, і те, що потрібно заблокувати у файлі robots.txt, залежить від вмісту вашого сайту. Таким чином, ви повинні будете використовувати найкраще судження і завжди враховувати вплив, який матиме кожний Дозволити або Заборонити . Наприклад, наступна директива блокує весь сайт від усіх сканерів, тому важливо не отримувати недбалого:

Інша ключова річ, яку слід пам'ятати, полягає в тому, що директиви у файлі robots.txt є лише такими: директивами. Тільки тому, що ви розказуєте ботам не сканувати сторінку чи папку, це не означає, що вони не будуть. Якщо на сторінці достатньо посилань на неї, вона буде індексована, навіть якщо вона відображається у файлі robots.txt . Якщо ви хочете гарантувати, що сторінка ніколи не відображатиметься в результатах пошуку Google, слід використовувати мета-тег noindex замість цього.

З цієї причини файл robots.txt ніколи не повинен використовуватися в цілях безпеки. Якщо ви хочете "приховати" частини вашого сайту таким чином, ваш файл robots.txt просто буде показувати шкідливі боти на частини, на які ви найменше хочете їх подивитися.

Крок 3. Завантажте файл на свій сайт

Після завершення налаштування файлу збережіть його як файл robots.txt . Надзвичайно важливо, щоб це було точне ім'я файлу, оскільки його чутливі до регістру. Сканери не знайдуть файли з ім'ям Robots.txt або robots.TXT , наприклад. Після цього файл можна завантажити на свій сайт WordPress, додавши його до кореневого каталогу. Важливо, що це ваше місцезнаходження WordPress robots.txt, оскільки саме там шукатимуть його сканери. Якщо веб-сайт http://example.com , URL-адреса вашого файлу має бути http://example.com/robots.txt .

Як ви фактично завантажуєте файл залежить від способу налаштування вашого сайту. Вам може знадобитися використовуйте рішення FTP , хоча певні плагіни WordPress полегшать завдання. Наприклад, Yoast SEO має генератор robots.txt, за допомогою якого ви можете редагуйте файл robots.txt безпосередньо з адміністративної панелі.

Ви завершили роботу файлу robots.txt і додали його до свого сайту WordPress. Тепер настав час повідомити Google про це. Це робиться через Консоль пошуку Google , яка є послугою Google для веб-майстрів, щоб перевірити статус індексування своїх сайтів. Вона також містить численні інструменти для оптимізації видимості.

Надсилаючи ваш файл WordPress robots.txt , ви повідомляєте Google, що ви хочете, щоб Googlebot сканував ваш сайт відповідно до директив. Необхідно повторно подати файл кожного разу, коли ви його оновлюєте. Таким чином, ви можете переконатися, що ваші зміни набудуть чинності якомога швидше. Якщо у вас ще немає зареєстровані та перевірені на своєму сайті за допомогою консолі пошуку Google, переконайтеся, що ви робите це першим.

Почніть з доступу до інструмент тестування robots.txt . Це дозволяє переглядати та перевіряти файл robots.txt перед його поданням:

Якщо сайт вже підключено до консолі пошуку, текстовий редактор автоматично містить вміст поточного файлу robots.txt . Якщо він містить будь-які синтаксичні попередження або логічні помилки, вони будуть виділені тут. Відредагуйте файл, щоб виправити всі проблеми, перш ніж перейти до:

Під текстовим редактором знаходиться поле, яке дозволяє перевірити, чи певна область вашого сайту заблокована або дозволена певними сканерами:

Просто введіть URL-адресу та натисніть кнопку Перевірити . Якщо URL-адреса не дозволена, кнопка буде читатися заблоковано , а відповідна директива буде виділена червоним кольором у редакторі:

З іншого боку, якщо URL не заблоковано, кнопка буде читатися Allowed . Якщо в коді є відповідна директива Allow , вона також буде виділена зеленим кольором:

Якщо результати цих тестів не є тим, що ви очікували або хотіли, переконайтеся, що подивіться на свій код, щоб побачити, які зміни потрібно зробити. На цьому етапі варто скористатися цим інструментом, щоб перевірити ваші сторінки, а не ризикнути небажаною індексацією, так що не поспішайте.

Коли ви задоволені тим, що код не містить жодних проблем і відповідає вашим вимогам, ви можете скопіювати його з редактора і додати його до фактичного файлу robots.txt . Потім натисніть кнопку " Надіслати" , яка відкриє діалогове вікно з трьома різними опціями:

• Завантажити: генерує та завантажує файл robots.txt на основі вмісту у текстовому редакторі інструмента тестування.
• Переглянути завантажену версію : відкриється поточний файл robots.txt сайту .
• Надіслати : цей файл файлу robots.txt сайту надсилається до Google.

Натисніть " Надіслати", коли потрібно попросити Google сканувати ваш сайт і відкрити оновлення. Google виконає запит, але ви можете перезавантажити сторінку, щоб побачити, коли відображається оновлений файл robots.txt у WordPress.

Добре продуманий файл robots.txt є потужним інструментом, який можна використовувати для покращення SEO в WordPress. Вона дає змогу контролювати, які частини вашого сайту відображатимуться в результатах пошуку, і гарантує, що сканери пошукових систем швидше отримують зміни на вашому сайті.

Нижче наведено стислий опис кроків, які необхідно виконати, щоб створити файл robots.txt у WordPress:

1. Створіть файл robots.txt за допомогою інструмента редагування тексту.
2. Відредагуйте файл robots.txt для WordPress, щоб заборонити всі області сайту, які ви не бажаєте сканувати Googlebot.
3. Завантажте налаштований файл до кореневого каталогу веб-сайту.
4. Використовуйте тест файлу robots.txt Інструмент тестування robots.txt від Google , а потім подайте його до Консоль пошуку Google .

Чи є у вас додаткові питання стосовно файлу robots.txt ? Будь ласка, повідомте нам про це у коментарях нижче!