Для многих из нас дублированный контент – это прежде всего риск санкций со стороны поисковых машин. Санкции эти представляют собой не просто понижение в рейтинге выдачи, но нечто гораздо более серьезное – перенос страниц в дополнительные (supplementary) результаты, в которых средний веб-пользователь их врядли обнаружит. При этом решение, которое принимает Google, выбирая какой URL из дубликатов показывать в выдаче, не всегда можно назвать логичным. В этом треде [1] форума WebmasterWorld, например, обсуждается случай, когда оригинальная авторитетная страница исчезла из результатов вместе со своими дубликатами. Учитывая, что подобные случаи нередки и могут произойти с каждым, легко понять, почему эта проблема привлекает к себе такое внимание.

Типы дублированного контента

Дублированный контент это не просто «копи-пэйст», и его определение выходит за рамки контента, «позаимствованного» с сайта конкурентов или RSS. Кроме этих классических случаев существует ряд аспектов, также относящихся к дублированному контенту.

Циклическая навигация

Jake Baille из компании TrueLocal, введший это понятие в оборот, туманно определяет циклическую навигацию (circular navigation) как “having multiple paths across website” (наличие множественных путей на сайте) [2]. Очевидно, он имеет ввиду возможность получать в рамках одного сайта идентичный контент по разным URL. Примером тому может быть статья, доступная по следующим ссылкам:

- www.example.com/articles/1/ ,
- www.mysite.com/article1/
- www.mysite.com/articles.php?id=1

Другой часто встречающийся пример множественных URL – это форумы. Каждый тред может быть доступен по ссылке типа: www.myforum.com/index.php/topic.1201.html, и в треде каждый пост также может быть получен по URL вроде www.myforum.com/index.php/topic.1201.msg.01.html . В глазах поисковика это все разные страницы, имеющий один и тот же контент. Какое может быть решение? Редизайн с использованием унифицированных ссылок, 301 редирект или добавление исключений в robots.txt.

301 редирект также решает подобную проблему с внешними ссылками. Если на одну и ту же вашу страницы ссылаются извне, используя разные URL, то необходимо выбрать стандартную ссылку и сделать на нее 301 редирект, примерно так, как описано в этом туториале [3]

Версии для печати

Создание печатных версий страниц - обычная практика, особенно для новостных сайтов. Тем не менее версии для печати представляют сосбой классический пример дублированного контента. К счастью, здесь проблему решить способно простое добавление тэга ‘noindex’.

Страницы с описанием продуктов

Страницы продуктов составляют значтельную часть содержимого онлайновых магазинов. Как правило, они создаются автоматически из базы данных с использованием единого шаблона. Часто два разных продукта имеют одно описание, и их страницы отличаются лишь несколькими словами или цифрами. Разумеется, в этом случае они будут отфильтрованы поисковиком. К сожалению, я не нашел легкого решения этой проблемы. Есть две альтернативы, которые «обе хуже». Либо вы закрываете доступ ко всем одинаковым страницам кроме одной и теряете трафик, либо, засучив рукава, добавляете нечто уникальное в каждую из них, например, отзывы клиентов. Последний вариант может быть фактически невозможным, если у вас более сотни типов продуктов в базе.

Как работают фильтры поисковиков?

В data mining существует ряд алгоритмов, способных определять степень схожести текстов. Считается[2], что Yahoo использует алгоритм w-shingling [4]. Каждый документ имеет собственный уникальный отпечаток, выражаемый смежными блоками текста, т.н. shinglings. Этот алгоритм опеределяет смежные блоки в первом тексте и затем сверяет их с аналогичными во втором образце. Величина пересечения и совпадения блоков опеределяет степень схожести двух образцов. Другой подобный алгоритм - «расстояние Левенштейна» [5] .

Логично ожидать от поисковиков способности опеределять источник контента и назначать ему высший ранг. Простейшим способом было бы сравнение даты индексирования, подразумевая, что оригинал появляется раньше. Однако, с распространением RSS копии имеют шанс быть проиндексированными раньше, чем оригинал, так что этот подход уже не является корректным.

Что касается права оригинала занимать более высокую позицию в выдаче – к сожалению, это не всегда так. Автор этой [6] статьи рассказывает о своем опыте распространения одного текста в рамках article marketing. Согласно Google текст изначально появился в 19000 копиях, но по прошествии времени Google, Yahoo и MSN убрали из своих индексов большинство дубликатов, оставив лишь несколько десятков результатов.

В тесте по запросу на заголовок текста поисковики показали следующие результаты. Фильтр MSN не только смог определить источник, но и поставил его выше других результатов. Yahoo также нашел оригинал, но его позиция несколько раз менялась, оставаясь в десятке, очевидно, отражая влияние других факторов, по которым Yahoo сортирует результаты.

К удивлению автора теста, Google вообще исключил источник из очищенного списка результатов! Похоже Google счел нужным показать только те страницы, которые его алгоритм считает релевантными и авторитетными вне зависимости от того, копия ли это или оригинал. Я уже упоминал выше подобный случай [1] . Обе истории имели место в конце 2005 – начале 2006 и свидетельств о том, что положение изменилось, я пока не нашел.

Источники

1. ‘Duplicate Content Observation‘. WebmasterWorld.com
2. ‘Duplicate Content Issues‘. SERoundtable.com.2006.02.28
3. ‘301 Redirect — a How-To‘ BeyondInk.com
4. ‘W-Shingling‘. Wikipedia
5. ‘Levenshtein Distance‘. Wikipedia
6. ‘Duplicate Content Penalties Problems with Googles Filter‘ by J.S.Cassidy, published at SEOChat.com
7. ‘Duplicate Content Filter: What it is and how it works‘. WebConfs.com
8. CopyScape.com — discovers copied and similar pages.

Исследования глазной активности.

Целью этих исследований является изучение процесса просмотра пользователями листингов в выдаче и выбора ссылок для перехода. Результаты подобных экспериментов позоволяют интернет-маркетологам делать более или менее точные прогнозы изменения трафика при повышении или понижении ранга результатов в выдаче. Для инженеров поисковых машин эти данные также могут быть весьма ценны, так как на их основе можно совершенствовать интерфейсы поисковиков и делать заключения о релевантности результатов поиска.

Для определения моделей поведения пользователей на странице выдачи, исследователи используют ряд показателей глазной активности, отмечаемые при помощи CCD -камеры (charged couple device), по принципу действия напоминающей устройство для считывания штрих-кодов. Также могут применяться и инфракрасные камеры. Показатели глазной активности включают в себя фиксацию, скачкобразное движение глаз, траекторию перемещения взгляда и изменение диаметра зрачка. Наиболее важными из них являются фиксация взгляда, как правило, длительностью 200-300 мсек, обозначающая повышенное внимание к определенной области экрана, и изменение диаметра зрачка, отражающее степень заинтересованности пользователя некоторым участком страницы выдачи.

Исследование глазной активности пользователей в университете Cornell

Одним из наиболее известных исследований такого рода является эксперимент, проведенный в университете Cornell, США. Laura A. Granka, Thorsten Joachims and Geri Cay ([1]) изучили взаимодействие с результатами интернет поиска среди выборки из 26 студентов, которым поставили задачу найти информацию по ряду тем, включающих музыку, политику, кинематограф, путешествия и т.п. Всего было произведено 397 запросов в Google. Эксперимент дал следующие результаты.

Рис 1. Распределение кликов и внимания на странице выдачи Google

Результаты исследования: распределение внимания и кликов.

Как можно видеть из графика внизу и карты на рис 1., первые два листинга получают более половины внимания пользователей в единицах времени фиксации взгляда. Хотя оба листинга получают примерно равное внимание, количество кликов различается более чем в 4 раза! Длительность фиксации взгляда пользователей резко падает после второго результата. Листинги с 6го по 10й получают примерно равное внимание. Любопытным здесь является то, что листинг №7 получает меньше внимания чем предыдущий 6й и следующий 8й. Это может быть объяснено эффектом прокрутки страницы. Седьмой результат, как правило, находится за краем экрана, и пользователи часто пропускают его при перелистывании страницы вниз. Это также сказывается и на количестве кликов - в течение всего эксперимента 7й листинг был кликнут только один раз. На графике также можно видеть показатели и для 11го листинга - результата со второй страницы выдачи. Он получил всего около 1% кликов и внимания - в 2,5 раза меньше чем последний - 10й - результат на первой странице.

Рис 2. Время просмотра результатов поиска в сравнении с количеством переходов. Источник [1]

Часто попадание “в десятку” выдачи считается признаком успеха оптимизаторов и маркетологов. Это, впрочем, весьма грубое предположение. Как можно видеть из результатов эксперимента, первая десятка результатов представляет собой неоднородную группу, в которой количество кликов растет логарифмически с увеличением ранга. Так первые пять позиций получают 88% всего трафика, а первые три - 79%.

Модели взаимодействия со списком результатов.

Другим важным результатом данного исследование является определение моделей поведения пользователей при просмотре списка результатов. Для определения эффективности поискового алгоритма крайне необходимо знать, как пользователи оценивают представленные им результаты перед тем как кликнуть на один из них. Например, если пользователь кликает третий листинг, то просмотрел ли он перед этим результаты выше и ниже него? Следующий график дает ответ на этот вопрос.

Рис.3 Количество результатов, просмотренных выше и ниже выбранного листинга. Источник [1]

Здесь также можно наблюдать эффект перелистывания страницы. Если при выборе первых пяти позиций пользователь в среднем просматривает от 1 до 2,68 листингов выше и ниже по списку, то в случае выбора 7го результата пользователь просматривает всю страницу. Результаты ниже 7го, как правило, выбираются после просмотра первых четырех-пяти листингов. Также можно видеть, что количество просмотренных результатов выше выбранного листинга больше, чем просмотренных ниже него. Это отражает очевидную тенденцию просмотра пользователями списка сверху вниз.

Заключение.

Хотя исследование рассматривает только первую страницу поиска, можно предположить, что подобное распределение кликов и внимания имеет место и на последующих страницах, а также, возможно, и среди платных листингов контекстной рекламы, расположенных в правой колонке результатов поиска.

Наряду с научными учреждениями, ряд фирм производит исследования пользовательской активности и для коммерческих целей, в том числе такие компании, как Eyetools.com и Poynterextra (http://www.poynterextra.org/EYETRACK2004/index.htm)

Источники:

1. Laura A. Granka, Thorsten Joachims, Geri Gay. ‘Eye-tracking analysis of user behavior in WWW search’, SIGIR, 2004. Available at http://www.cs.cornell.edu/People/tj/publications/granka_etal_04a.pdf Retrieved on 26.10.06

1. Значения PageRank варьируются от 0 до 10.

Многие люди считают, что PageRank – целое число, или по крайней мере, сходится к целому числу после интенсивных итерационных вычислений. На самом деле PageRank –число с плавающей точкой. Google округляет рассчитанное значение до ближайшего целого и переводит его в шкалу от 0 до 10, которая и показывается в тулбаре.

2. Значение PageRank, показываемое в тулбаре, используется для ранжирования результатов поиска.

Как вы уже вероятно отметили, PageRank, показываемый в тулбаре, обновляется каждые несколько месяцев без регулярных интервалов. В настоящее время Google перешел на постоянное пересчитывание PageRank-а, так что реальное и демонстируемое значения могут значительно отличаться. Таким образом, тулбар показывает не текущий ранг страницы, а уровень, достигнутый ею на время последнего апдейта.

3. PageRank – главный фактор ранжирования результатов поиска.

Не совсем так. PageRank являлся основой успеха Google как поисковика, благодаря своей способности отражать связанную природу интернета через учет ссылок, а также относительную устойчивость к манипулированию. Но с течением времени поисковая технология Google значительно усложнилась. Теперь Google использует большое количество факторов при ранжировании результатов. Некоторые из них зависят от запроса (плотность и частота слов в тексте страницы и входящих ссылок), а некоторые зависят от домена (возраст домена, наличие ключевых слов в имени домена и, конечно же, PageRank). К сожалению, за пределами офисов Google никто не может точно сказать, какой вес имеет каждый фактор, и резонно предположить, что сам PageRank уже не является главным из них.

4. Видимый PageRank возрос – возрастет и трафик

Неверно. Не стоит ожидать резких изменений в трафике после апдейта видимого PageRank-а. Как я уже сказал выше, постоянный перерасчет PageRanka означает, что позиции страниц (а, следовательно, и трафик) будут также последовательно изменятся, по мере того, как ваш сайт получает или теряет ссылки. Так что собственно апдейт значения PageRanka, показываемого в тулбаре, никак не отразится на вашем трафике.

5. Видимый PageRank бесполезен, он скорее развлечение для вебмастеров.

Предположительно так в одном форуме на многочисленные вопросы по видимому PageRank-y ответил представитель Google. На самом деле это лишь частично верно. Причиной, по которой Google больше не синхронизирует апдейты видимого и реального PageRank-а, являются неоднократные попытки хакеров взломать систему и получить доступ к реальным значениям и использовать их для манипулирования результатами поиска. Тем не менее, видимый PageRank – все еще наиболее простой способ оценить авторитетность и качество страницы. Ежедневно миллионы пользователей судят сайты по показаниям своих тулбаров, и длинная зеленая полоска может быть весьма убедительна.

Ссылки по теме:

Matt Cutts explains PageRank

Can Google Multitask?

Google says: Toolbar PageRank is for entertainment purposes only

Однако, если взглянуть на контент и рекламный текст с точки зрения конверсии читателей в клиентов, то разница между ними исчезает. Не имеет значения, создаете ли вы контент или пишете рекламное объявление – все ваши слова должны работать на убеждение и мотивацию пользователя. Таким образом, в глазах посетителей вашего сайта конент есть реклама, а реклама есть контент.

Если только вашей целью не является простое побуждение пользователя кликнуть на рекламу от Google или перейти на сайт спонсора – то рекламного мотивирующего текста вполне достаточно. Но если вы серьезно настроены продавать свой собственный продукт или услугу, и что еще более важно, обеспечить повторные покупки от клиентов в будущем, то вам необходимо найти баланс между информативным содержанием и побудительным рекламным текстом.

Возьмем к примеру сайт финансовой компании, предлагающей кредиты своим клиентам. Зайдя на этот сайт, пользователь, в первую очередь, ищет ответы на базовые вопросы типа «Туда ли я попал? Что мне делать?». Здесь свою работу должен выполнить краткий рекламный текст – заинтересовать перспективного клиента и направить его к собственно контенту. Контент, в данном случае - длинный список условий предоставления кредита, ни в коем случае не должен быть скучным, напротив, подобно рекламному объявлению он должен быть мотивирующим, завоевывая внимание пользователя и в конце концов побуждая его подать заявку на кредит. Таким образом, даже такой в принципе утомительно скучный контент как условия кредитования должен быть написан с соблюдением ключевых правил копирайтинга, касающихся эффективности, юзабилити и мотивации.

Рекламный текст и контент сайта должны органично дополнять друг друга. Мало пользы в потрясающем рекламном тексте, если контент сайта посредственен и лишь разочаровывает пользователя. Верно и наоборот: интересный, уникальный контент не будет и наполовину эффективен, если рекламный текст, которым он представлен, является бессмысленым и непонятным для посетителей.

Итак, до сих пор существовали объективные исторические и организационные различия между созданием контента и написанием рекламных текстов. Но эти различия всего лишь отражают недостатки в процессе убеждения и конверсии клиента. Чтобы обеспечить успех вашего онлайн бизнеса, самое время разрушить эти барьеры.

В: Есть ли какие-либо рекомендации, следуя которым можно улучшить позиции сайта в Google?

О: В первую очередь необходимо убедиться что поисковые роботы могут беспрепятственно проиндексировать ваш сайт. Взгляните на ваш сайт глазами робота, с помощью, к примеру, текстового браузера типа Lynx. Если ваш сайт использует навигацию, реализованную на Javascript, Flash или при помощи меню-картинок, обязательно продублируйте все текстовыми ссылками. Если вы можете по имеющимся текстовым ссылкам открыть любую страницу сайта, то у вас все в порядке. В противном случае, я советую создать отдельную страницу - карту сайта с текстовыми ссылками или воспользоваться для этого службой Google Sitemaps.

Другой крайне важный аспект – контент. Ваш контент должен быть действительно интересным и полезным для посетителей сайта, он должен быть причиной, заставляющей их снова и снова посещать его. Убедитесь, что контент доступен поисковым роботам и после этого смело начинайте оптимизировать и раскручивать свой сайт. Планируя маркетинговую кампанию, подумайте об организациях и людях, связанных с вашей нишей и сделайте так, чтобы они о вас узнали. Например, если ваш сайт о косметологии, поищите докторов-косметологов или косметологические центры. Если у них есть сайты, свяжитесь с ними, расскажите о своем сайте и возможно они начнут ссылаться на вас.

Придумайте какую-нибудь «фишку», нечто действительно ценное, с чем пользователи могут ассоциировать ваш сайт. Это может быть качественный и уникальный контент, статьи или уроки, видео-клипы. Уроки и туториалы, в том числе видео-уроки (обязательно с текстовым транскриптом), исключительно полезны в этом качестве. Они представляют собой весьма ценный контент и особенно любимы пользователями. В урок всегда можно включить маркетинговую фразу типа «если вы собираетесь последовать этому туториалу, то вам возможно понадобится этот продукт, и его вы всегда можете заказать у нас». Таким образом, туториалы могут стать отличным дополнением к онлайновым магазинам – контент для поисковиков, маркетинг для пользователей.

Еще один способ заявить о себе миру и получить односторонние ссылки – это сайты типа Digg, Slash-dot, Reddit, Fark и другие социальные сети с сотнями тысяч посетителей. Придумайте нечто, что выделит вас из толпы и запостьте ваши новости на сайты закладок. В скором времени вы заметите прирост посетителей с этих сайтов, а также по ссылкам с блогов, т.к. пользователи социальных сетей нередко копируют интересные новости к себе в блоги.

Сразу оговорюсь - это перевод моей английской статьи, не отражающий реальности контекстной рекламы и продвижения сайтов в Рунете.

Многие интернет маркетологи и оптимизаторы рассматривают контекстную рекламу в поисковиках как эффективный способ получения целевого трафика для онлайн магазинов. На первый взгляд система платной контекстной рекламы проста: как на аукционе вы делаете ставки на ключевое слово, и наибольшая ставка обеспечивает вам высшую позицию в выдаче (по крайней мере так действует система Overture). Пользователи видят ваш листинг на странице с верхней десяткой результатов поисковика и кликают на него. Вам не нужно вкладывать время и деньги в поисковую оптимизацию сайта или повышать его ссылочную популярность - вы просто платите деньги и надеетесь в скором времени получить поток целевой аудитории. Но замечали ли вы, что все чаще и чаще вам приходится повышать ставки на ключевые слова так, что они уже превосходят порог окупаемости? Ведь иначе ваши объявления окажутся на второй или третьей странице поиска, что означает фактическое прекращение трафика. Но тратя суммы на платную контекстную рекламу, превосходящие ваши доходы, стоит ли вообще продолжать интернет бизнес? Значит, самое время обратить серьезное внимание на продвижение сайта в натуральной выдаче поисковиков.

Не имеет значение в какой нише вы действуете - продвижение по одно- двусложным поисковым запросам крайне сложно и малоэффективно. Не только вам приходится конкурировать с уже популярными раскрученными сайтами, сами по себе одно-двусложные запросы имеют малый коэффициент конверсии в продажи. Используя многосложные запросы, являющиеся менее популярными, вы сталкиваетесь со значительно более слабой конкуренцией. Хотя они и приносят незначительный трафик по отдельности, но используемые вместе способны обеспечить вас достаточным числом посетителей. Кроме того, у них гораздо выше коэффициент конверсии в продажи. Люди, производящие поиск по 4- 5-сложным запросам, с большей вероятностью станут покупателями. Короткие, часто используемые ключевые фразы, означают, что пользователь скорее исследует рынок и еще не готов сделать покупку.

Факты о натуральной выдаче и платной контекстной рекламе

1. Натуральная выдача в среднем приносит 250% больше трафика чем контекстная реклама

Взгляните на картинку внизу. Это карта активности взглядов и кликов интернет пользователей на странице с результатами поиска Google. Эта карта составлена с помощью инфракрасной камеры. Яркие цвета означают места, где взгляд пользователя задерживается на большее время. В исследовании участвовало 400 человек, но их поведение было настолько похожим, что реально хватило бы и восьми пользователей, чтобы произвести подобную карту.

Рис. 1. Карта активности пользователя на результатах поиска Google. Кликните, чтобы увидеть увеличенное изображение. Источник: EyeTools.com

На карте цвета представляют распределение активности взгляда пользователя, а крестики - клики (число на крестике - номер участника исследования). Красный цвет, соответственно, обозначает участки, на которые пользователи смотрят чаще всего (для более подробного объяснения карты, кликните здесь). Очевидно, что первый листинг получает наибольшие внимание и количество кликов, второй меньше, третий еще меньше и так далее. Вы можете также видеть, что немало людей пролистывают страницу до конца, смотрят и кликают последние позиции в выдаче. Область, обозначенная яркими цветами, является т.н. “золотым треугольником”. В нее попадают все листинги натуральной выдачи, т.е. большинство людей просматривают именно натуральную выдачу.

Теперь посмотрите на правую часть страницы, где расположена контекстная реклама. Судя по цветам, ей достается лишь незначительная часть внимания пользователей. Так что, даже если ваш листинг стоит на 9й или 10й полиции в натуральной выдаче, вы получите примерно столько же кликов, сколько может принести ПЕРВАЯ позиция в результатах контекстной рекламы. Остальные позиции спонсируемых результатов приносят еще меньше кликов.

2. Контекстная реклама паразитирует на натуральной выдаче

AdWords, как и любая система оплаты за клик, является паразитом - она делает деньги, предоставляя платные объявления среди результатов натуральной выдачи. Ежедневно Google обрабатывает миллионы запросов, большинство из которых делают пользователи, которые даже не взглянут на контекстную рекламу. Можно привести в пример злополучный Ask.com, который в свое время экспериментировал с платными результатами. Ask.com предоставлял платные листинги вверху страницы результатов так, что пользователям приходилось пролистывать страницу вниз, чтобы добраться до натуральной выдачи. Разумеется люди посчитали такую тактику алчной и просто перестали пользоваться этим поисковиком. Google не собирается повторять эту ошибку, так как изначально он являлся некоммерческим проектом и именно этим, а также качеством своих результатов заработал свою изначальную репутацию. Так что контекстная реклама, за исключением одного-трех листингов в основном располагается справа и не раздражает пользователей.

Итак, карта активности доказывает - пользователи в первую очередь просматривают результаты натуральной выдачи и лишь затем и то не всегда обращают свое внимание на контекстную рекламу.

Введем в поиск Google фразу “best plasma tv”. В выдаче (screenshot) вы можете увидеть листинги, содержащие фразы типа, “consumer reviews on plasma TV”, “plasma TV buying guide”, “compare plasma TV prices” и так далее. Все это - информационные сайты. Алгоритмы Google возвращают в первую очередь информационные сайты, богатые контентом и релевантные ключевым словам. Если взглянуть на контекстную рекламу, то можно увидеть что там листинги имитируют результаты информационных сайтов, используя автоматическую вставку ключевых слов в текст ссылок и тело листинга.

Вывод: пользователи привыкли к натуральному поиску без рекламных объявлений. Неоспоримым фактом является то, что пользователи, ищущие обзор продукта или конкретную модель, прежде всего ожидают получить информационный сайт, чтобы составить свое мнение перед покупкой. Так что, если человек смотрит на страницу результатов поиска, то первые листинги натуральной выдачи (даже если выше расположена пара платных объявлений) - это то место, куда он в первую очередь обратит свое внимание и сделает клик. Это подтверждается и исследованиями активности пользователей - 63% высших листингов натуральной выдачи получают клики.

3. Многосложные ключевые фразы с большей вероятностью обеспечат продажу

Очевидным является тот факт, что многосложные вопросы по отдельности приносят меньше трафика, чем одно-двусложные. Однако, вы можете быть уверены, что если пользователь ищет “ноутбук”, он лишь делает предварительное исследование рынка. Напротив, если пользователь приходит к вам по запросу “недорогие ноутбуки Sony Vaio”, то весьма вероятно, что он уже принял решение купить именно эту модель. Что не менее важно, продвинуть сайт по многосложным запросам не так уж и трудно. Рассмотрим пару примеров. Зайдем на MSN.com (12.8% доли поиска в США) и поищем “affordable custom kitchen cabinets” (screenshot). “Золотой треугольник” действует и на этой странице, как, впрочем, и на любой другой странице в интернете - сначала люди смотрят в верхний левый угол, затем чуть ниже. Кликнем по третьему листингу - вероятно он приносит немало трафика. Что мы видим: EuroKitchenBathCabinets.com- весьма симпатичный сайт. А теперь посмотрим, какой же у него PageRank (если у вас, конечно, есть Google toolbar, или что нибудь в этом роде). PageRank всего 2! Очевидно, вебмастер не затратил слишком ного усилий, чтобы попасть на третье место в MSN - достаточно недели работы по обмену линками, чтобы получить такой PageRank после ближайшего апдейта Google. Разумеется, значения PageRank и позиция в выдаче MSN напрямую не связаны. Но PageRank позволяет нам оценить популярность страницы, а MSN также использует ссылочную популярность при ранжировании результатов.

Теперь поищем “sofa slip covers cheap” (screenshot). Что у нас на второй позиции?: http://www.homenexotic.com/sofa-covers.htm. AdSense-овый сайт - владелец зарабатывает деньги на АдСенс! И его PageRank вообще равен нулю! Эта страница обладает нулевой популярностью, и тем не менее по четырехсложному запросу она на втором месте в натуральной выдаче! А что на ней? Блок АдСенс, немного контента,ссылки на статьи - она явно автоматически генерируется и владелец практически не тратит усилий на ее поддержку.

(Кстати, если вы до сих пор не участвуете в AdSense - то вы, упускаете неплохую возможность заработать лишние несколько десятков долларов в месяц. Крайне рекомендую сходить и зарегистрироваться: )

Разумеется, подобные сайты вы не увидите в выдаче по одно-двусложным запросам. Конкуренция на них слишком высока, слишком много уже раскрученных вебсайтов пытаются завоевать верхние позиции по этим словам. Но даже посредственный сайт оптимизированный по нескольким десятками многосложных запросов способен получить дотаточное количество посетителей.

4. Переходы с натуральной выдаче на 30% чаще завершаются продажей, чем переходы с контекстной рекламы

Большинство коммерческих сайтов используют системы, позволяюшие отслеживать конверсию посетителей в покупателей, выделяя из них демографические группы. Статистика, составленая этими системами показывает, что переходы с натуральной выдачи в среднем на 30% чаще завершаются продажей, чем переходы с платной контекстной рекламы. Так что, если ваш сайт способен оставаться прибыльным при использовании исключительно контекстной рекламы, то с натуральной выдачей ваши доходы возрастут еще больше. То есть, на каждую 1000 долларов от контекстной рекламы вы получите 1300 от переходов с натуральной выдачи. И это еще не все. Не забывайте, что продвижение в натуральной выдаче способно принести вам в среднем в 2.5 раза больше посетителей чем оплата за клики. Итак, все вместе это означает 325% увеличения дохода! Да, разумеется, в отличие от контекстной рекламы, вам не придется платить за клики с натуральной выдачи.

Еще один аспект. Многие специалисты пытаясь увеличить шансы получить клик в контекстной рекламе открывают два счета в системе и стараются сделать так, чтобы два листинга, ведущие на одну и ту же страницу, оказались в врехних позициях спонсируемых результатов. Однако не только эта сама по себе сложная задача, нередко один и тот же пользователь может кликнуть по обоим листингам, и вы заплатите дважды за одного посетителя. Двойные листинги могут быть и в натуральной выдаче, взгляните на этот screenshot. А теперь посмотрите, как двойной листинг выглядит на карте активности:

Рис.2 Карта активности пользователя на странице результатов Google с двойным листингом. Кликните, чтобы увидеть увеличенное изображение. Источник: EyeTools.com

Обратите внимание, сколько людей просмотрело весь листинг до конца слева направо! Даже листинг выше него не получил столько пользовательской активности! Однозначно, что шанс получить клик у такого листинга весьма высок. Исследование активности сообщает, что 70% всех кликов идет на двойные листинги, если они присутствуютсреди результатов поиска. Такой листинг вы не получите нигде, кроме как в натуральной выдаче.

Рассмотрим еще один аспект. Взгляните на таблицу ниже. Она показывает на какие участки страницы результатов поиска в первую очередь обращают свое внимание различные по уровню образования группы пользователей. Из всех этих групп только лица, еще не закончившие школу, прежде всего смотрят на платные листинги. Так что, если ваша целевая аудитория - школьники, то контекстная реклама - для вас. Но много ли вы на них заработаете? Эта группа обладает минимальной покупательской способностью - в их распоряжении только карманные деньги. Следовательно, в большинстве случаев, продвижение в натуральной выдаче способно обеспечить вам клики более образованных групп, способных совершить крупную покупку.

Табл. 1. Уровень образования и активность на странице результатов поиска. Источник: ConvertLinks.com

Выводы

1. Для большинства сайтов более половины трафика поставляет натуральная выдача по многосложным запросам. Для недавно созданных сайтов почти весь трафик идет от многосложных запросов.
2. Продвижение по многосложным запросам принесет вам больше дохода уже лишь потому, что большая часть трафика идет через них.
3. Многосложные запросы имеют более высокий кожффициент конверсии, чем одно-двусложные.
4. Продвижение по многосложным запросам -относительно несложная задача.
5. Пользователи, переходящие с натуральной выдачи также чаще совершают покупки, чем те, кто перешли по платным листингам.
6. Концентрируясь на продвижении в натуральной выдаче по многосложным запросам вы сэкономите деньги, которые иначе заплатили бы на платную контекстную рекламу.

Я отнюдь не советую немедленно прекратить использование платной контекстной рекламы. Это лишь один из многих способов продвижения сайта, к сожалению, не подходящий для новых проектов. Если только вашей целью не является быстрое привлечение внимания к новому сайту, не зависимо от окупаемости этого метода, то контекстная реклама вполне для этого годится. Но попытки заработать деньги исключительно с трафика от платных листингов чаще всего обречены на неудачу. Для эффективного использования контекстной рекламы вы должны точно знать какой процент посетителей данной страницы совершает покупки, и лучший способ выяснить это - сначала продвинуть сайт в натуральной выдаче.

Источники:

1. ConvertLinks.com. Video 1. Available at: http://www.convertlinks.com/video1.php?10000 Downloaded on 12.09.06

2. EyeTools.com. “Eyetools, Enquiro, and Did-it uncover Search’s Golden Triangle”. Available at: http://www.eyetools.com/inpage/research_google_eyetracking_heatmap.htm

Алгоритм PageRank представляет собой расширенную версию InDegree, с тем отличием, что ссылкам назначается различный вес, т.е. ссылки с высокачественных (высокоавторитетных) страниц ценятся больше. Таким образом, важно не только количество, но и качество входящих ссылок.

Для опеределения авторитетности веб-страниц PageRank симулирует поведение случайного пользователя, начиная вебсерфинг со случайной страницы и путешествуя по сети далее по ссылкам. Начальная страница обычно выбирается из равномерного распределения. Процесс случайного перехода происходит следующим образом: на начальной странице случайно выбирается исходящая ссылка, и пользователь переходит по ней с вероятностью1-d. Число d отражает вероятность того, что пользователь наберет в адресной строке броузера случайный адрес и перейдет по нему, т.е. не воспользуется исходящими ссылками. Параметр d называется “dumping factor”, и его значение может варьироваться, хотя обычно его принимают равным 0,85.

Для расчета значения PageRank для некой страницы используется следующая формула:

Алгоритм рассматривает множество страниц M(p_i), связанных друг с другом ссылками, с количеством элементов N. PR(p_j) является значением PageRank страницы p_j , принадлежащей этому множеству, а L(p_j) -числом исходящих ссылок с данной страницы. Каждая страница во множестве M(p_i),, ссылающаяся на p_i , сообщает ей долю собственного PageRank-а, размер которой зависит от общего числа исходящих ссылок на данной странице.

Входящие ссылки во множестве M(p_i) могут быть представлены в виде матрицы смежностей (adjacency matrix):

,

где l(p₁,p₂) равно 1 при наличии ссылки между страницами p₁ и p₂ , или нулю в противном случае. Значения PageRanks для всех страниц множества M(p_i) образуют вектор R, представляюший собой доминантный собственный вектор (eigenvector) матрицы смежностей:

Таким образом, формула для расчета PageRank может быть выражена и так:

Значения PageRank рассчитываются заранее (т.е. не во время поиска, а регулярно с определенным интервалом) и не зависят от поисковых запросов. Если необходимо отсортировать результаты на определенное слово или фразу, то значения PageRank используются совместно с факторами ранжирования, напрямую зависящими от запроса (к примеру, плотность и распределение ключевых слов на странице). Использование заранее рассчитанных значений PageRank-а значительно ускоряет сортировку результатов.

Источники

• Borodin, A, Roberts, G.O., Rosenthal, J.S. and Tsaparas, P. ‘Finding authorities and hubs from link structures on the World Wide Web’. In Proceedings of the 10 th International World Wide Web Conference, Hong Kong, May 2001. Available at http://citeseer.ist.psu.edu/borodin01finding.html
• Wikipedia: PageRank

InDegree - это простейший алгоритм, использующий ссылочную популярность страницы в качестве параметра сортировки. Популярность страницы измеряется количеством входящих ссылок подобно индексу цитирования научных работ. В конце 90х годов многие поисковые машины использовали этот алгоритм для ранжирования результатов. Однако, с ростом интернета и развитием веб маркетинга InDegree потерял свою эффективность, так как возросшие требования к качеству результатов поиска потребовали учитывать ссылки не просто с любой страницы, но только со страниц релевантных запросу. В противном случае, алгоритмом было легко манипулировать, используя так называемые link farms - страницы, состоящие из множества ссылок на раскручиваемые страницы, созданные с единственной целью искусственно повысить их популярность.

По алгоритму InDegree популярность a_i страницы i рассчитывается по следующей формуле:

a_i = |B(i)|,

гдеB(i) - множество страниц, ссылающихся на страницуi, и |B(i)|, соответственно, количество элементов в множестве.

Источники

• Borodin, A, Roberts, G.O., Rosenthal, J.S. and Tsaparas, P. ‘Finding authorities and hubs from link structures on the World Wide Web’. In Proceedings of the 10 th International World Wide Web Conference, Hong Kong, May 2001. Available at http://citeseer.ist.psu.edu/borodin01finding.html

Этот алгоритм впервые описал Джон Клейнберг (Jon Kleinberg) в своей статье “Авторитетные источники в гипертекстовой среде” (“Authoritative Sources in a Hyperlinked Environment” (1998)). В алгоритме HITS (Hyperlink Induced Topic Distillation) authority-страницы и хабы взаимно определяют вес друг друга. Значимость authority-страницы рассчитывается как сумма весов хабов, указывающих на нее, а вес хаба, в свою очередь, - как сумма значений авторитетности authority-страниц, ссылки на которые он содержит.

В алгоритме используются следующие обозначения. S - множество страниц, для которых рассчитываются веса хабов и authority, n – количество страниц в множестве. H - подмножество S, содержащее страницы в роли хабов, и A - подмножество S со страницами в роли authority. Поскольку любая страница может одновременно играть и роль хаба, и роль authority, множества A и H перекрываются. Для каждой страницы j в роли хаба F(j) является количеством исходящих ссылок. Для каждой страницы i в роли authority B(i) - количество входящих ссылок. Вектор значений authority с размерностью n обозначается буквой a, а вектор значений хабов - h. Таким образом расчет весов хабов и authority принимает следующий вид:

Процесс расчета производится итеративно.Изначально все веса имеют значение 1. Алгоритм начинается с перерасчета весов по формуле, указанной выше, после чего векторы нормализуются. Эта итерация повторяется до тех пор пока векторы a и h не сойдутся.

Алгоритм HITS, к сожалению, не лишен недостатков. К примеру, сама идея взаимного влияния хабов и authority-страниц создает следующую ситуацию. Представим себе хаб, который ссылается на несколько authority-страниц (хаб B на рисунке ниже), и несколько хабов, указывающих на одну authority-страницу (A). Если количество authority-страниц, на которые указывает В, больше, чем количество хабов, ссылающихся на А, то алгоритм HITS распределит весь вес авторитетности между authority-страницами в правой части рисунка, и назначит authority-странице А вес практически равный нулю.

Причиной этого явления является то, что хаб В уже на первой итерации получит большой вес от многочисленных authority-страниц и немедленно распределит его обратно между страницами, ссылки на которые он содержит. В тоже самое время хабы слева получат малый вес (вес одной лишь страницы А, поделенный между всеми ими) и в ответ назначат А также низкий вес, хотя очевидно, что страница А должна быть намного авторитетнее страниц справа.

Источники

• Kleinberg, J. May 1997, ‘Authoritative sources in a hyperlinked environment’. Technical Report RJ 10076, IBM,. Available at http://citeseer.ist.psu.edu/article/kleinberg98authoritative.html

Любой пользователь, делая запрос в поисковой машине, естественно ожидает получить наиболее релевантные результаты. Например, если некто делает поиск по фразе “отпуск на Бали”, он будет весьма разочарован, получив в ответ ссылку на личный блог Васи Пупкина с фотографиям его поездки на Бали. Очевидно, что целью поиска был крупный туроператор с приемлемыми ценами. Таким образом, пользователю важно получить не просто релевантные, но и авторитетные результаты. И чем больше страниц появляется каждый день в интернете, тем сильнее сдвиг в алгоритмах поисковых машин в сторону авторитетности.

По сравнению с недавним прошлым сейчас позиции страниц в поисковиках рассчитываются по-иному. Все меньший вес получают в алгоритмах плотность ключевых слов или структура страницы. Отныне релеватность страницы определяется контекстом, в котором существет страница. Контекст - это набор страниц, связанных входящими или исходящими ссылками с данной страницей. Если эта страница об отпуске на Бали, то от нее ожидается связь с другими страницами о Бали и отпусках. Содержимое страницы, плотность ключевых слов имеют второстепенное значение и используются для регулирования результатов в случае, когда имеется ссылка на нерелевантные страницы, например, на сайты рейтингов или статистики.

Ссылочные алгоритмы сортировки (Link Analysis Ranking Algorithms)

Почему же контент страницы недостаточен для определения релевантности? В первую очередь - из-за проблемы избытка результатов поиска, когда количество страниц, считающихся релевантыми на основе только их содержимого, слишком велико для просмотра пользователем. В этом случае, поиск авторитетных страниц способен резко сократить количество результатов и повысить их качество. Однако, авторитетность страницы еще более расплывчатое понятие, чем релевантность. Авторитетность должна выражать важность и вес данного веб-документа. И тут сама природа сети -среды, связанной гипертекстовыми ссылками,- предлагает эффективный способ расчета авторитетности - использование ссылок, как параметра, отражающего “общественное признание” веб-страниц.

Эта идея появилась еще на заре интернета и Джон Клейнберг (Jon Kleinberg) был одним из первых, кто разработал работоспособный подход, описанный в его эпохальной работе “Authoritative Sources in a Hyperlinked Environment” (1998). Он предложил идею, согдасно которой каждая страница выступает одновременно в роли хаба (“hub”) и авторитета (“authority”). Авторитет (далее authority-страница) это страница с большим количеством входящих ссылок (высокой степенью in-degree). Authoritiy-страницы, возвращенные поисковиком как релевантные некоему запросу, должны демнострировать перекрытие множеств страниц, ссылающихся на них. Страницы, которые содержат ссылки на релевантные источники, называются хабами (hubs). Хабы опеределяют релевантность authority-страниц некой теме и позволяют отсекать нерелевантные страницы, несмотря на то, что они обладают высокой степенью in-degree.

Ссылочные алгоритмы сортировки используют графы, подобные изображенному на рисунке. Узлы графа представляют собой страницы, ребра - гипертекстовые ссылки. Эти графы - простые, т.е. две и более ссылки между страницами считаются одним ребром, ссылки страницы на саму себя не считаются вовсе. Ребрам графа может назначаться различный вес, в зависимости от того, какие параметры кроме ссылок поисковики считают важными при опеределении авторитетности, например, возраст домена.

Смотрите другие мои посты, в которых я более подробно описываю ссылочные алгоритмы сортировки.

Источники

• Kleinberg, J. May 1997, ‘Authoritative sources in a hyperlinked environment’. Technical Report RJ 10076, IBM,. Available at http://citeseer.ist.psu.edu/article/kleinberg98authoritative.html
• Borodin, A, Roberts, G.O., Rosenthal, J.S. and Tsaparas, P. ‘Finding authorities and hubs from link structures on the World Wide Web’. In Proceedings of the 10 th International World Wide Web Conference, Hong Kong, May 2001. Available at http://citeseer.ist.psu.edu/borodin01finding.html