Компания «Яндекс» внедрила новый поисковый алгоритм под названием «Палех», призванный помочь системе точнее понимать смысл запросов пользователей.
Отмечается, что каждый день поиск «Яндекса» отвечает примерно на 280 млн запросов. Часть из них повторяются буквально каждую секунду, а какие-то оказываются уникальными. График частотного распределения запросов можно представить в виде птицы, у которой есть клюв, туловище и длинный хвост. Список самых распространённых запросов не особо велик, но их задают очень-очень часто — это «клюв» птицы. Запросы средней частотности образуют «туловище». Низкочастотные запросы по отдельности встречаются чрезвычайно редко, но вместе составляют существенную часть поискового потока и поэтому складываются в «длинный хвост».
Новый алгоритм «Палех» (назван в честь Жар-птицы) как раз и призван повысить качество результатов, генерируемых в ответ на уникальные запросы, попадающие в «хвост» поиска.
«Палех» использует поисковую модель на нейронных сетях. Система умеет устанавливать смысловые соответствия между поисковым запросом и заголовками веб-страниц. С её помощью можно выявить, что в запросе и на странице говорится об одном и том же, даже если у них нет общих ключевых слов.
«Яндекс» отмечает, что искусственные нейронные сети — один из методов машинного обучения. Он показывает отличные результаты в анализе естественной информации: изображений, звука, текста.
Алгоритм «Палех» поможет искать ответы на сложные запросы, для которых нет пользовательской статистики или в которых отсутствует конкретика. Так, поиск поймёт, что в запросе «фильм про человека который выращивал картошку на другой планете» речь идёт о «Марсианине», хотя релевантные страницы могут и не содержать слов «картошка» или «планета».
Более подробную информацию о новом алгоритме можно найти здесь.
Источник:
