«Найбільший прорив в пошуку за останні п'ять років»: Google запустив BERT | Бізнес Майстерня

«Найбільший прорив в пошуку за останні п'ять років»: Google запустив BERT

«Найбільший прорив в пошуку за останні п'ять років»: Google запустив BERT

Google

За допомогою технології BERT (Bidirectional Encoder Representations from Transformers - NLP на базі нейронних мереж) результати пошуку стануть більш осмисленими, наближеними до того, що насправді хотів дізнатися користувач. Просто спеціальні моделі тепер будуть обробляти слова в пошуковому запиті не по порядку, а з урахуванням контексту. Уже зараз пошук на основі BERT допомагає краще зрозуміти кожний десятий запит в США англійською мовою, а згодом, після успішного навчання оновлення запрацює для інших мов і локалізацій.

Відпаде необхідність формулювати запит спеціально - Search зможе зрозуміти контекст слів навіть в довгому запиті з безліччю прийменників типу "for" і "to", які іноді радикально змінюють сенс фрази.

Наприклад, пошук "2019 brazil traveler to usa need a visa". Тут "to" і його зв'язок з іншими словами в запиті особливо важливі для розуміння змісту. Мова йде про подорож бразильця в США, а не навпаки. Раніше алгоритм не бачив зв'язку з цим, і в видачу потрапляли матеріали про громадян США, які подорожують до Бразилії. За допомогою BERT пошук надасть більш релевантний результат для цього запиту.

бразилія

Давайте подивимося на інший запит: "do estheticians stand a lot at work". Раніше термін «автономний» сприймався як слово «стояти» ("stand"). BERT все зрозуміє правильно:

запит

Ось ще кілька прикладів, коли BERT зловить нюанси мови там, де комп'ютери не сприймають текст як люди.

медицина

Тільки з появою BERT "for someone" стало важливою смисловою частиною цього запиту.

паркінг

Раніше при пошуку взагалі ігнорували слово "no", не розуміючи, наскільки воно важливе для правильної відповіді.

пошук

BERT вибирає більш корисний результат саме для дорослої категорії користувачів.

Розуміння мови залишиться вічною проблемою, а значить удосконалювати Пошук доведеться нескінченно. Звичайно, краще не випробовувати BERT запитом "what state is south of Nebraska" («який штат знаходиться на південь від Небраски») - швидше за все, вона видасть "South Nebraska" («Південна Небраска»). Хоча очевидно, що це Канзас. Проте моделі, яких навчають англійською, вже намагаються застосувати до інших мов. І навіть встигли отримати відчутний ефект на таких мовах, як корейська, хінді та португальська.

Фото: flickr.com
Обробка: Vinci
назад
далі