Релевантность и авторитетность

Любой пользователь, делая запрос в поисковой машине, естественно ожидает получить наиболее релевантные результаты. Например, если некто делает поиск по фразе “отпуск на Бали”, он будет весьма разочарован, получив в ответ ссылку на личный блог Васи Пупкина с фотографиям его поездки на Бали. Очевидно, что целью поиска был крупный туроператор с приемлемыми ценами. Таким образом, пользователю важно получить не просто релевантные, но и авторитетные результаты. И чем больше страниц появляется каждый день в интернете, тем сильнее сдвиг в алгоритмах поисковых машин в сторону авторитетности.

По сравнению с недавним прошлым сейчас позиции страниц в поисковиках рассчитываются по-иному. Все меньший вес получают в алгоритмах плотность ключевых слов или структура страницы. Отныне релеватность страницы определяется контекстом, в котором существет страница. Контекст - это набор страниц, связанных входящими или исходящими ссылками с данной страницей. Если эта страница об отпуске на Бали, то от нее ожидается связь с другими страницами о Бали и отпусках. Содержимое страницы, плотность ключевых слов имеют второстепенное значение и используются для регулирования результатов в случае, когда имеется ссылка на нерелевантные страницы, например, на сайты рейтингов или статистики.

Ссылочные алгоритмы сортировки (Link Analysis Ranking Algorithms)

Почему же контент страницы недостаточен для определения релевантности? В первую очередь - из-за проблемы избытка результатов поиска, когда количество страниц, считающихся релевантыми на основе только их содержимого, слишком велико для просмотра пользователем. В этом случае, поиск авторитетных страниц способен резко сократить количество результатов и повысить их качество. Однако, авторитетность страницы еще более расплывчатое понятие, чем релевантность. Авторитетность должна выражать важность и вес данного веб-документа. И тут сама природа сети -среды, связанной гипертекстовыми ссылками,- предлагает эффективный способ расчета авторитетности - использование ссылок, как параметра, отражающего “общественное признание” веб-страниц.

Эта идея появилась еще на заре интернета и Джон Клейнберг (Jon Kleinberg) был одним из первых, кто разработал работоспособный подход, описанный в его эпохальной работе “Authoritative Sources in a Hyperlinked Environment” (1998). Он предложил идею, согдасно которой каждая страница выступает одновременно в роли хаба (“hub”) и авторитета (“authority”). Авторитет (далее authority-страница) это страница с большим количеством входящих ссылок (высокой степенью in-degree). Authoritiy-страницы, возвращенные поисковиком как релевантные некоему запросу, должны демнострировать перекрытие множеств страниц, ссылающихся на них. Страницы, которые содержат ссылки на релевантные источники, называются хабами (hubs). Хабы опеределяют релевантность authority-страниц некой теме и позволяют отсекать нерелевантные страницы, несмотря на то, что они обладают высокой степенью in-degree.

Ссылочные алгоритмы сортировки используют графы, подобные изображенному на рисунке. Узлы графа представляют собой страницы, ребра - гипертекстовые ссылки. Эти графы - простые, т.е. две и более ссылки между страницами считаются одним ребром, ссылки страницы на саму себя не считаются вовсе. Ребрам графа может назначаться различный вес, в зависимости от того, какие параметры кроме ссылок поисковики считают важными при опеределении авторитетности, например, возраст домена.

Смотрите другие мои посты, в которых я более подробно описываю ссылочные алгоритмы сортировки.

Источники

• Kleinberg, J. May 1997, ‘Authoritative sources in a hyperlinked environment’. Technical Report RJ 10076, IBM,. Available at http://citeseer.ist.psu.edu/article/kleinberg98authoritative.html
• Borodin, A, Roberts, G.O., Rosenthal, J.S. and Tsaparas, P. ‘Finding authorities and hubs from link structures on the World Wide Web’. In Proceedings of the 10 th International World Wide Web Conference, Hong Kong, May 2001. Available at http://citeseer.ist.psu.edu/borodin01finding.html

Share elsewhere