История вопроса
Этот доклад – логическое продолжение “Сетевой экологии”, впервые озвученной в 2003 году на второй конференции по поисковой оптимизации. Напомню, в “Экологии” речь шла о том, что отношения веб-мастеров и поисковых систем пока, к сожалению, напоминали известную, с легкой руки В.С. Черномырдина, новую российскую поговорку: “Хотели как лучше, а получилось как всегда”.
С первых дней существования поисковых систем всегда находятся люди, которые стремились и стремятся продвинуть ссылки на свои сайты на первые страницы результатов поиска. И если раньше подобные попытки были эпизодическими, то сегодня “оптимизаторство” приобретает массовый характер. В наши дни проблемы “поисковой раскрутки” компании пытаются решать сразу же после выхода в Сеть, а иногда и на стадии планирования сайта.
Я сознательно не рассматриваю здесь условное деление на “специалистов по поисковой оптимизации” и “спамеров” – в борьбе за место под солнцем и те, и другие пытаются воздействовать на параметры, которые поисковые системы в данный момент считают наиболее важными для ранжирования результатов поиска. Более верный термин – веб-мастера, или владельцы сайтов.
Условно в истории взаимоотношений сайтовладельцев с поисковыми системами можно выделить три периода.
- Период влияния метатегов. Который привел к полному уничтожению релевантности результатов поиска и закончился после того, как поисковики стали в качестве основных факторов учитывать параметры видимых пользователям текстов, а не содержимого невидимых метатегов.
- Период влияния текстовых параметров. Он привел к затоплению индексов поисковых систем огромным количеством “входных страниц” (дорвеев), предназначенных специально для поисковых систем. Эпоха дорвеев закончилась с вводом в алгоритмы ранжирования параметров цитирования и цитирования по тексту.
- Период влияния на ранжирование внешних ссылок. Это как раз сегодняшний день, поэтому о конце его говорить рано. Но его негативные следствия видны невооруженным глазом. Это замусоривание открытого Интернета ссылками, поставленными с целью продвижения сайтов в поиске.
Пользуясь шахматной терминологией, можно сказать, что на любом этапе поисковые системы начинают и: проигрывают. В чем причина?
Главный фактор ранжирования
Опираясь на многолетний опыт наблюдений за рынком, сегодня на этот вопрос можно ответить достаточно точно. За всю историю своего существования поисковые системы ни разу не пытались учесть главный фактор ранжирования – наличие большого количества людей, целью которых является получение позиций в топах. Иными словами, наличие заинтересованного социума.
Именно действия социума сводят на нет все благие намерения разработчиков поисковых систем. Модели ранжирования, применяемые поисковыми машинами, основываются на представлениях разработчиков о естественных сетевых документах и естественных связях между ними. В то же время более чем естественное желание веб-мастеров – быть первым по “своим” запросам – игнорируется. Хотя чем больше, чем популярнее навигационный сервис – тем больший “прессинг” он испытывает со стороны рассматриваемого социума.
Доказательство, что именно социум является основным “фактором” ранжирования в больших поисковиках, довольно простое.
- Большинство сайтов в топах результатов поиска по высокочастотным и коммерчески значимым запросам так или иначе связаны с “оптимизаторами” – либо держат в штате, либо на договоре.
- Несмотря на регулярную смену алгоритмов поисковых машин, одни и те же люди снова и снова выводят сайты в топы.
Таким образом, сообщество людей, которые хотят влиять на результаты поиска, существует. Его появление вызвано естественными объективными причинами. Сообщество активно растет. И вся история больших поисковых систем показывает, что их результаты поиска являются не отражением “свойств естественных документов и естественных связей между документами в Сети” – они являются отражением процессов, происходящих внутри “оптимизаторского” социума.
Поэтому процессы эти стоит рассмотреть подробнее.
Социум оптимизаторов
Из кого состоит социум оптимизаторов, людей, которые стремятся воздействовать на ранжирование результатов поиска?
- из веб-мастеров, кто ведет собственные сетевые проекты;
- из “наемников”, профессионально продвигающих чужие ресурсы. Профессионалы работают в компаниях, либо в качестве независимых специалистов (фрилансеры), либо штатными сотрудниками в фирме, чьи проекты необходимо продвигать.
Характерной чертой рынка является острый дефицит специалистов. Это поддерживает довольно высокие цены на услуги SEO.
Высокий уровень заработной платы и возможность работать удаленно привлекают в этот бизнес множество новичков, которые пополняют социум. Прогноз роста на не столь уж отдаленное будущее довольно очевиден:
- собственный сайт становится атрибутом джентльменского набора современной фирмы, поэтому большинство оффлайновых компаний сайтами обзаведутся;
- “раскрутка”, “продвижение”, в свою очередь, входит в джентльменский набор, связанный с созданием и эксплуатацией сайта, наряду с “дизайном”, “контентом”, “юзабилити”, “хостингом” и прочими проблемами, которые владельцу сетевого проекта необходимо решать;
- проблемы продвижения решают представители рассматриваемого социума, соответственно их количество в перспективе сравнимо с количеством активных ресурсов, т.е. счет пойдет уже на тысячи человек.
Для оценки можно проанализировать результаты поиска Яндекса по точной фразе “семантическое ядро” – специфический термин русской SEO-лексики. Яндекс показывает ссылки более чем на 400 сайтов, непосредственно связанных с “продвижением”. Год-полтора назад их было втрое меньше.
Еще один способ проверки динамики роста дает нам опять же Яндекс. Поисковый спрос по той же фразе за полгода вырос тоже вдвое, “семантическим ядром” пользователи начинают интересоваться все больше и больше.
Таким образом, в ближайшее время количество людей, которые будут стремиться “манипулировать результатами поиска”, значительно увеличится. Увеличится количество клиентов, готовых оплачивать их работу, возрастут бюджеты.
На что направлены интересы социума в поисковых системах?
Цели и методы
Главную цель “поисковой оптимизации” можно сформулировать следующим образом. Задача SEO – обеспечения максимального количества показов ссылок на продвигаемый сайт в результатах поиска по профильным запросам.
Статистика показывает, что 95% пользователей не просматривают больше 30 первых ссылок Т.е. для каждого запроса задача-минимум – попасть в диапазон Тор30, этот диапазон называется “зоной видимости”. Затем в Тор10, где загрузка страницы с необходимой ссылкой гарантируется при каждом обращении пользователя в поисковик с данным запросом. Затем – в Тор3, где при каждом запросе гарантируется не только загрузка, но и реальный показ “на глаза пользователя”, первые три ссылки всегда попадают на первый экран.
Но это еще не задача-максимум. Задача-максимум – вытеснение из зоны видимости ссылок на конкурирующие сайты.
Последние два года четко проявили в Рунете тенденцию, давно известную на Западе – создание и продвижение сетей сайтов. Рассмотрим это явление подробнее.
Поисковые системы не гарантируют нахождение какого-то сайта в индексе, без предупреждения меняют алгоритмы ранжирования, у них случаются программные сбои, в результате которых сайт или часть сайта может внезапно исчезнуть из индекса. Т.н. “выпадения морды в Яндексе” известны всем, сбои Рамблера тоже не редкость. Но от позиций в поиске у многих сайтов очень сильно зависит количество заказов, а от провалов по вышеописанным причинам не гарантирован ни один сайт, даже раскрученный самыми “белоснежными” методами.
В итоге владельцы сайтов оказываются вынужденными следовать простой поговорке и не складывать все яйца в одну корзину. Т.е. создавать индексировать и продвигать по одним и тем же запросам не один сайт, а два, три и больше. Это так называемые “нечеткие дубли”.
Второй причиной дублирования является простой расчет. Если ваш сайт занимает в зоне видимости лучшую, первую позицию, а группа сайтов конкурента – остальные 29, результат такой конкуренции предсказать несложно. Поэтому, как только один из конкурентов в любой тематической области начинает продвигаться группой сайтов, остальные вынуждены действовать так же.
Т.е. фактически мы вернулись по спирали ко временам дорвеев, когда успех зависел от количества дорвеев, продвинутых в зону видимости. Сегодня роль дорвеев выполняют полноценные сайты. Во избежание каких-либо возможных санкций со стороны поисковых систем за продвижение нечетких дублей, для создания новых сайтов создаются “виртуальные компании”, которые существуют только в Интернете. Уникальность их обеспечена разве что собственным телефонным номером, по нему предлагается позвонить посетителю, чтобы сделать заказ. У поисковых систем нет возможностей отслеживать подобные технологии.
Я перечислил эффективные, но сомнительные, с точки зрения поисковиков и пользователей, методы продвижения, которые применяют для продвижения оффлайновых компаний. За кадром остались еще типично сетевые технологии, когда сети сайтов создаются для:
- продажи места под платные “оптимизаторские” ссылки;
- сдачи в аренду “раскрученного”, т.е. прорвавшегося в зону видимости фальш-сайта, созданного специально с этой целью – сдачи в аренду. Арендатор просто заменяет на таком сайте адреса и телефоны, и слегка “причесывает” содержание. Если арендованный сайт выпадает из зоны видимости, аренда автоматически прекращается.
Как видим, зона видимости поисковых систем стала ареной самых настоящих “битв”. Применяемые методы, во-первых, окупаются, а во-вторых, их использование просто диктуется сложившейся ситуацией.
К чему это приводит.
Качество результатов поиска – “табуированная” проблема
Это приводит к ухудшению качества результатов поиска. Вопрос, что такое “качество поиска”, сегодня представляет собой какое-то табу. То ли его не принято задавать, то ли все “подсознательно” знают ответ на этот вопрос, то ли еще что-нибудь: Я не могу привести пример серьезной научной работы или статьи, посвященной именно “качеству” – определениям, методологии, проблемам:
Процитирую слова бывшего руководителя исследовательских лабораторий Yahoo! на эту тему, отрывок из переведенного в это году и опубликованного в Рунете интервью “20 вопросов Гари Флейку”.
— Что, по вашему, не так с веб-поиском сегодня?
— Мне легче обозначить, каким должен быть поиск, и затем показать различия. Если бы веб-поиск был совершенен, он бы выдавал ответ на каждый запрос, и это происходило бы так, будто на вопрос отвечает умнейший человек в мире, у которого есть под рукой вся справочная информация, и все это выполняется меньше, чем за мгновение. Другими словами, SE был бы искусственным интеллектом, таким умным, что если правильный ответ теоретически может быть найден в стремящихся к бесконечности ресурсах, он бы нашел его. Если бы верного ответа не существовало, тогда SE (search engine – поисковая машина) делала бы следующее: выдавала наиболее близкий по смыслу ответ, или даже объяснение, почему ваш запрос не может получить идеальных результатов…
“Обозначение” замечательное. Не хочу иронизировать по поводу красивой мечты, но на один аспект необходимо обратить внимание. Поисковые системы по единому алгоритму строят ответы на десятки и сотни миллионов разных запросов, поэтому проблему качества по какому-то отдельно взятому запросу вряд ли даже обсуждать будут. Даже в определении Флейка четко сказано: “он бы выдавал ответ на каждый запрос”.
Стандартный ответ на попытку разобраться с каким-то частным случаем, мол, нет смысла рассматривать ответ на запрос “шарикоподшипники”, если задача стоит управлять миллионами ответов.
Но совершенно не обязательно быть умнейшим человеком, чтобы увидеть, что что-то не так, как только мы перейдем от рассмотрения ситуации с неопределенными “миллионами запросов” к анализу результатов поиска в ответ на один-единственный конкретный поисковый запрос.
Можно ли назвать качественными результаты поиска, где в ответ на любой широкий многоплановый запрос при вводе словно бы производится “подмена” этого запроса на 1-2 узких, но коммерчески значимых.
Например, ответы в зоне видимости на запрос “дизайн” реально являются ответами на запросы “заказать дизайн сайта”, “заказать ремонт квартиры”. Аналогично,
- реклама = заказать рекламу сайта
- цветы = заказ и доставка цветов
- автомобиль = купить автомобиль в Москве
- и т.п.
Мы видим картину, характерную сегодня для всех больших поисковых систем – заполнение топов результатов поиска по наиболее популярным, нечетким запросам однотипными коммерческими предложениями. Выдача, например, по “дизайну” релевантна на 100%, но совершенно неинформативна для пользователей, которые, задавая вопрос “дизайн”, хотят чего-то иного, кроме как заказать дизайн сайта или отремонтировать квартиру.
Такая же ситуация характерна для большинства популярных однословных и двусловных нечетких запросов.
Лицо поисковой системы и PPC-поисковики
Ответы на наиболее популярные (высокочастотные) запросы определяют “лицо” поисковой системы. Их видят большинство пользователей.
Кроме высокочастотников, существует большое количество средне- и низкочастотных запросов. Это второе типичное возражение, мол, пара десятков тысяч высокочастотных запросов – это далеко не все. Пользователь, не найдя нормальный ответ в выдаче по однословному нечеткому запросу, переформулирует запрос. В итоге мы получим опять же “миллионы” более четких формулировок из 3-4 слов.
Рассмотрим, что происходит в этой области.
С появлением PPC-поисковиков область средне- и низкочастотных запросов стала объектом пристального внимания социума “дорвейщиков”. Это не другой социум, дорвеестроители тоже стремятся влиять на результаты поиска крупных поисковиков. Просто их методы порицаются.
Дорвеи – давно известная технология продвижения. Суть ее сводится к тому, что для каждого поискового запроса создается специальная “входная” страница (doorway). Цель дорвея – попасть в Тор10 результатов поиска по нужному запросу, получить посетителя из поисковой системы и перенаправить его на целевую страницу.
С учетом факта, что поисковые системы не раскрывают алгоритмов ранжирования, а также описанного выше способа конкурентной борьбы в зоне видимости с помощью дублирования, для каждого запроса имеет смысл создавать не один, а намного больше дорвеев.
В отличие от прежних мастеров дорвеев, которые пытались привлечь посетителей на свои сайты, у сегодняшних цели совершенно иные. Они зарабатывают деньги на перераспределении трафика. Общая схема известна.
- PPC-поисковик (аббревиатура от pay per click), это поисковая система, в которой каждый переход (клик) пользователя по ссылке оплачен рекламодателем, владельцем этой ссылки. В Рунете примером такой системы “Бегун”.
- Любой PPC предлагает партнерскую программу. Если посетитель, кликнувший по оплаченной ссылке, пришел с сайта партнера, т.е. принес PPC-поисковику деньги, то он делится этой суммой с партнером. Партнерские выплаты составляют 50-75%.
- Партнер может зарабатывать, либо перебрасывая своих посетителей на PPC-поисковик, либо транслируя оплаченные ссылки на своем сайте.
Как видим, появляется отличный повод для двух бизнесов.
Дорвеи
Первый – создавать дорвеи под любые запросы, для которых имеется коммерческая выдача на PPC-поисковиках и продвигать их в результатах поиска больших поисковиков. Пользователь, увидев ссылку на “дор” в результатах и кликнув по ней, автоматически перенаправляется на выдачу PPC-поисковика по тому же запросу, т.е. для него происходит лишь небольшая подмена – вопрос задал в одной поисковой системы, результат получил почему-то в другой. И, естественно, выдача эта представляет собой аналогичный описанному выше набор однотипных коммерческих предложений.
Так как подобная технология представляет собой самое настоящее воровство – пользователь, автоматически переброшенный из результатов поиска на PPC, никогда не кликнет по аналогичной рекламе, предоставляемой большим поисковиком, и не принесет денег ему – поисковые системы активно борются с дорвеями такого типа.
Одним из способов уничтожения доров является обычный “стук” в поисковую систему, и им активно пользуются как конкуренты-дорвейщики, так и веб-мастера, имеющие представление о спамдексинге. Это заставляет производителей дорвеев использовать наиболее низкочастотные запросы, а также запросы смежных тематик.
Фиды
Фид (от слова feed – кормушка) – это результаты PPC-поисковика, транслируемые на другом, партнерском сайте. Партнер, показывая фид своим посетителям, зарабатывает тем же способом, что и дорвейщик – с каждого клика по ссылкам фида, ему отчисляются комиссионные.
Фид лучше всего размещать на каталожных сайтах, попросту “надстраивая” им соответствующую рубрику. Создать каталог с минимальным первичным наполнением просто, но “раскрутить” его до известности и постоянной аудитории – очень сложно. Поэтому естественным источником пользователей для таких “каталогов” опять же являются поисковые системы. И опять же – наиболее легко в такие каталоги привлекать трафик по средне- и низкочастотным запросам.
Поисковые системы не приветствуют в своих топах ссылки на страницы каталогов, но их становится настолько много, что уследить за всеми довольно сложно.
И “фидовые” проекты, и дорвеи, рассчитанные именно на партнерские программы от PPC-поисковиков, в Рунете уже появились. В ближайший год, скорее всего, следует ожидать взрывного роста подобных технологий, а также увеличения количества PPC-поисковых систем.
Напомню, что все они основаны исключительно на возможности манипулировать результатами поиска популярных больших поисковых систем.
Большие поисковики и социум – выводы
Выводы, которые можно сделать, анализируя сложившуюся сегодня ситуацию.
- Популярные поисковые системы позволяют управлять результатами их поиска.
- Чем популярнее поисковая система, тем большую прибыль приносит проект, ссылки на который находятся в зоне видимости.
- На протяжении всей истории развития поисковых систем, “лицо” больших поисковиков – результаты поисковой выдачи – определялось усилиями социума, представители которого хотят влиять на результаты поиска. Дважды это приводило к кризисам и кардинальным изменениям в поисковых алгоритмах. Сейчас на пороге третий кризис, вызванный объективными тенденциями развития социума. Его признаки.
- Развитие технологий нечеткого клонирования информации и группового продвижения. В результате этого выдача по наиболее высокочастотным запросам представляет собой набор однотипных рекламных предложений.
- Развитие технологий, основанных на перераспределении трафика популярных поисковых систем. В результате этого выдача по средне- и низкочастотным запросам скоро будет представлять собой набор ссылок на дорвеи и дорвейные проекты. Конечной точкой пути пользователя при движении по этой цепочке является опять же демонстрация ему того же набора однотипных “соответствующих запросу” коммерческих предложений.
Мы подошли к двум любимым русским вопросам – кто виноват и что делать.
Кто виноват
Сначала стоит определиться, существует ли сама проблема “вины”. Поисковые системы с момента зарождения и по настоящее время всегда боролись за “релевантные” результаты поиска. Критериев релевантности не существует, поэтому выдачу, где в ответ на запрос “реклама” первые 10-50 ссылок предлагают “рекламу сайта в Интернете” нерелевантной назвать нельзя.
Но можно ли назвать ее качественной? На мой взгляд как пользователя поисковых систем – качество такой выдачи крайне сомнительно: она однотипная, не раскрывает смысла запроса, неструктурированная и неверифицированная. Но сама постановка проблемы, что такое качество информации и качество результатов, выдаваемых по запросу пользователя – очень большой вопрос, поэтому сегодня мы оставляем его открытым.
Вторым аспектом вопроса “вины” является следующий – кто может изменить существующее положение дел. Вопрос интересный, с одной стороны, все, что мы сегодня рассматриваем, как неоднократно подчеркивалось, – результат действий социума. С другой: давайте попробуем поупражняться в прогнозировании, доведя ситуацию до абсурда.
Допустим, Яндекс завтра объявит, что теперь приоритетом в выдаче пользуются сайты, где заголовки традиционного красного цвета. Совершенно очевидно, что в течение трех месяцев Рунет в обязательном порядке пропишет заголовки и покрасит их требуемым образом.
Если аналогичную инициативу предпримет Рамблер с требованием сделать заголовки синими, последствия будут уже сложнее. Появятся сайты с двумя заголовками, с красно-синими заголовками, а новые сайты станут делать сразу в двух вариантах, нечеткие дубли “под Яндекс” и “под Рамблер”.
Потребуй Google зеленых заголовков – опять же возрастет число клонов. Все описанные изменения будут происходить очень быстро. Но в целом: все останется по-старому: нечеткие дубли, дорвеи и перераспределяющие трафик “каталоги” с фидами от PPC-поисковиков.
Вывод их этих рассуждений получается довольно парадоксальный: “виноват” во всем социум, все делается его руками, но управляют этими руками – большие поисковые системы. Социум лишь реализует в своих интересах возможности, которые дают поисковики.
Что делать
… и не реализует тех возможностей, которые поисковики ему не дают. Витиеватая формулировка является иллюстрацией довольно простого факта: по высокочастотным запросам поисковым системам уже давно не надо ничего “искать”.
Выдача по любому популярному запросу определена той частью социума, у кого есть коммерческие интересы в данной теме. Но коммерческие интересы и информация – далеко не одно и то же. Казалось бы, удали “коммерсантов”, и будет счастье. Но практика показывает, что поставщиков информации, у которых нет коммерческих интересов, не бывает.
Удаление из результатов поиска ресурсов, к которым прикоснулась рука оптимизатора, не приводит сегодня к улучшению качества информационного предложения. Результат будет противоположным, выдача ухудшится, наверх попадут ссылки уже на откровенно нерелевантные страницы. Примеры этого рынок видел неоднократно.
Таким образом, наиболее вероятным путем дальнейшего развития поисковых технологий является переход поисковых систем к новой парадигме. Сегодня поисковики попросту отрицают главный фактор ранжирования – желание большого количества людей быть первыми в результатах поиска.
Новая парадигма должна строиться на этом факторе. Как в свое время парадигмами поиска были учет содержимого служебных тегов, затем учет текстовых факторов и далее учет ссылочных факторов.
Учет нового фактора – желания людей быть первыми – позволяет перейти к управлению социумом, постановке задач и контролю результатов и постоянной шлифовке того, что за неимением лучшего и неимением более четкого определения, чем образное сравнение Гари Флейка, мы сегодня пытаемся называть “качеством поиска”.
Союз и совместная работа социума “оптимизаторов” и поисковых систем неизбежны. Дело лишь во времени, пока прорастет такая идея, и в первом большом поисковике, который начнет реализовать подобный проект.
Андрей Иванов, “Ашманов и Партнеры”
