1. Що дає оновлена ​​пошукова система
2. Що цікавого?
3. Як нейронні мережі стають «розумнішими»
4. Поради:
5. Що далі?

Офіційна презентація пошуку відбулася 22 серпня 2017 року. В її основі лежить пошуковий алгоритм "Корольов". Фахівці «Яндекса» змогли навчити нейронні мережі зіставляти сенс запитів веб-сторінок. Тепер новий алгоритм здатний дати відповідь на довгі і рідкісні запити, які часто задаються на природній мові. При старій системі "Палех" якість видачі була низькою - алгоритм розумів тільки суть заголовка, а не всього тексту.

По-справжньому «космічна» нейросеть була презентована в Московському планетарії. Назва пошуковий алгоритм отримав на честь основоположника радянської космонавтики Сергія Павловича Корольова.

Оновлена ​​система пошуку, на основі алгоритму «Корольов», стала новим напрямком в роботі компанії. У 2016 році «Яндексом» був анонсований алгоритм «Палех». Попередник нової нейронної мережі був здатний тільки на зіставлення змісту запиту з заголовком веб-сторінки. «Корольов» зробив крок "у відкритий космос" - нейронні мережі стали обробляти не тільки заголовок, але і всю сторінку цілком.

Посилання на нового проекту.

Що дає оновлена ​​пошукова система

Головна відмінність "Корольов" від попередньої версії пошукового алгоритму - оптимізація видачі результатів з урахуванням складним запитів. Особливість нової версії пошуку - використання пошукової статистики і оцінки мільйонів людей.Такім чином, це дозволяє підвищити релевантність пошукової видачі.

Що цікавого?

Основа алгоритму. В основі алгоритму - нейронні мережі. Штучний інтелект допомагає "Яндекс" обробляти і аналізувати великі потоки інформації. Головне у всіх нейромережевих моделях - це метод «навчання з учителем». Таким чином, нейромережі добре працюють, коли є навчальні приклади, причому їх повинно бути досить багато (як хороших, так і поганих).

Формування запиту. Тепер користувач нової пошукової системи може сформувати запит абстрактно. Наприклад: запит [картина, де небо закручується] нейронна мережа розпізнає, як картину Ван Гога «Зоряна ніч».

Обсяг обробки. У «Палеху» нейронні моделі застосовувалися тільки на самих пізніх стадіях ранжирування - 150 кращих результатів на запит. Це призводило до втрати частини обсягу пошукової видачі на ранніх стадіях ранжирування, які могли бути корисні. Це особливо важливо для складних і низькочастотних запитів. В алгоритмі «Корольов» все обчислення відбуваються заздалегідь. Загальний обсяг роботи оцінюють в 200 тис. Документів на запит, замість 150 - що в тисячу разів більше;

Поліпшення пошуку. Пошук став більш персоналізованих. Видача результату індивідуальна для кожного користувача на основі колишніх запитів. «Яндекс» збирає і обробляє персональні дані відповідно до політики конфіденційності;

Як нейронні мережі стають «розумнішими»

Згідно зі статистикою, з 2009 до 2013 року пошуковик отримав більше 30 млн. Оцінок. Це було б неможливо без асессоров (людей що займаються оцінкою релевантності документів вимогу).

Пошук по картинках, по відео, внутрішні класифікатори та алгоритми - працюють на технологіях машинного навчання. Для підтримки платформ потрібна велика кількість оцінок, отже, асессоров. Після розширення, «Яндекс» прийняв рішення про створення краудсорсінговой платформи «Яндекс.Толока».

«Толока» - сервіс, на якому замовники розміщують завдання з аналізу та оцінки контенту. Частина роботи, яку просто зробити людині, але не під силу комп'ютера. Можна вибрати вподобане завдання, виконати його і отримати винагороду. Не варто плутати цей сервіс білоруської краудфандіноговой платформою Talaka.by. Втім, користь і першого і другого сервісу очевидна.

За кілька років в сервісі зібралося понад 1 млн осіб, які зробили понад 2 млрд оцінок. Це дозволило Яндексу зробити величезний ривок в масштабуванні і обсязі навчальних даних. Тільки в 2017 році завдання виконували понад 500 000 чоловік.

Ведучий QA фахівець Artox Media Digital Group (МСК) Антон Шабан про оптимізацію текстів під «Корольов».

«Чим більше пошуковик вчиться визначати зміст тексту, тим менше потрібно входжень ключових слів. Але принципи оптимізації не змінюються », - стверджує Антон Шабан.

Наприклад, ще в 2015 році Google розповів про алгоритм RankBrain, який допомагає пошуку поліпшити відповідати на багатослівні запити, задані на природній мові. Порівнюючи роботи пошуку «Яндекса» і «Google», користувачі відзначили, що алгоритм RankBrain добре справляється із запитами в пошуковій стрічці.

Запуск нового алгоритму від Google не вимагав цілеспрямованої оптимізації, тому і в «Яндексі» це ніяк глобально не впливає на SEO-просування сайтів .

Поради:

1. Переконайтеся, що сторінка відповідає на запити, під які вона оптимізована і за якими переходять користувачі.

2. Переконайтеся, що сторінка все ж включає слова з пошукових запитів. Ми не говоримо про прямі входження, просто перевірте, чи є слова із запитів в будь-якій формі на сторінці.

3. Тематичні слова можуть надати сторінці додаткову релевантність, але це явно не просто часто повторювані слова на сторінках конкурентів. Надалі SEO-сервіси швидше за все продовжать розвиток в цьому напрямку.

4. Перевірте, чи не вибивається чи показник відмов з середнього показника по сайту. Якщо за запитом сайт знаходиться на високій позиції і користувач знаходить те, що йому потрібно, сайт може бути показаний по подібним за змістом ключовими фразами (якщо такі є).

5. Кліки в пошуку показують задоволеність користувача результатом. Це не нове, але варто ще раз перевірити сніппети (ключові слова) по ключових запитах. Можливо, десь вийде підвищити кликабельность.

Що далі?

- Пошуковик зможе ще краще знаходити інформацію, близьку за змістом до запиту. Наявність входжень ключових слів стане ще менш важливим.

- До поточного алгоритму буде додана персоналізація.

- У перспективі хороші матеріали, що відповідають на запит користувача, можуть отримати ще більше трафіку по мікрочастотним, рідкісним або семантично схожим запитам.

- По низькочастотних ключових фразах може збільшитися конкуренція за рахунок більшої релевантності неоптимізованих документів.

- Гіпотеза. За допомогою подібних алгоритмів Яндекс може краще оцінювати, наскільки семантично пов'язані сторінки, що посилаються на інші, і враховувати це для оцінки зовнішніх посилань. Швидше за все це може бути значущим фактором з урахуванням слабкого впливу посилань в «Яндексі».

- Нейросети вже перетворили з тренда в даність, тому варто очікувати подальших змін, пов'язаних з нейросетями, і в інших сервісах «Яндекса».

- Алгоритм буде навчатися далі і поліпшуватися.

Розробники підкреслюють, що запуск нового проекту «Корольов» не був би можливий без всіх користувачів пошуку «Яндекс». Алгоритми придумують розробники, а вчать - мільйони користувачів «Яндекса».