Поиск будущего. В Сети идет невидимая война роботов за информацию, которую ищут люди
По данным Фонда "Общественное мнение", аудитория Рунета в этом году достигала 44 миллионов человек. При этом 10 процентов из них буквально живут в Сети, развлекаясь, делая покупки и пытаясь найти в Интернете ответы практически на любые вопросы. Однако результаты выдачи поисковых систем зачастую могут вести на страницы с ненужным и даже вредоносным содержимым. Найдутся ли способы этого избежать и что влияет на работу поисковиков? Попробуем разобраться.
Рынок интернет-поиска имеет огромный потенциал для бизнеса. По мнению Аркадия Воложа, главы компании "Яндекс", половина всех денег в Интернете - это поисковая реклама. Несмотря на то, что поиск в Сети такое доходное дело, умение решать подобные задачи есть не у многих. Ведь эффективность работы поисковиков в первую очередь связана с используемыми в них алгоритмами. "Разработка поисковой машины требует серьезного человеческого труда: оценить, правильно поисковик ответил на запрос или нет, понять, что именно привело к неверному результату, научить машину отвечать на данный запрос лучше. Это можно делать вручную, добавляя правила в программный код, а можно автоматически, предъявляя системе набор запросов с вручную подготовленными хорошими ответами", - поясняет Владислав Шабанов, руководитель проекта Поиск@Mail Ru. Игорь Ашманов, генеральный директор компании "Ашманов и партнеры", добавляет, что большинство статистических данных о свойствах текстов, связях между сайтами и поведении пользователей можно получить только опытным путем, что достаточно дорого и долго.
Если в США безусловно лидирует поисковик Google, то российские пользователи Интернета гораздо чаще смотрят на мир "глазами" "Яндекса". Согласно счетчику Liveinternet, в июле 2010 года "Яндексу" принадлежало 64,5 процента поискового рынка, Google - 22,1 процента, а Mail.Ru - 7,4 процента. Рыночную долю поисковика отчасти можно считать и показателем его качества. Если поисковик ищет хорошо, то пользователь экономит время и быстро находит нужное. "Есть специальные методы измерения качества поиска, которые основаны на ручном анализе результатов независимыми экспертами, так называемыми асессорами. Есть и автоматические методы, которые применяет компания "Ашманов и партнеры", - замечает руководитель команды разработчиков Нигма.РФ Виктор Лавренко.
Большинство экспертов сходятся во мнении, что одной из устойчивых тенденций развития поисковых машин становится учет информации о пользователе - история поиска, история серфинга, социально-демографические данные, географическое положение, культурные особенности жителей определенной страны и т. д. С этим согласна и директор компании WebAdvance Елизавета Трибунская, которая полагает, что основной тренд сейчас - персонализация. "По регионам, по интересам, по полу, по кругу друзей, по тому, ищет ли человек с компьютера или с коммуникатора, по наличию детей и уровню образования. Хорошая поисковая система не выдает "страницы, содержащие ключевое слово", а понимает, что надо пользователю, и предоставляет ему именно это", - говорит она.
Важным фактором, существенно влияющим на результаты выдачи поисковиков, является так называемая поисковая оптимизация - SEO (Search Engine Optimization), используемая для платного продвижения коммерческих сайтов в Сети. Если "белая" SEO старается учесть требования поисковиков к качеству оформления и наполнения сайтов, то "черная" не признает никаких правил, а ставит своей единственной целью улучшить ранжирование конкретного ресурса любыми техническими способами, используя для этого недоработки или "слабые" места существующих алгоритмов. По словам главного редактора SEOnews.ru Анны Лебедевой, "SEO-сообщество, объединяющее примерно три сотни компаний и около трех тысяч частных лиц, осваивает рынок объемом не менее 300 миллионов долларов".
Сами поисковые системы разделяют нерелевантные результаты (поисковый спам) на несколько видов. Так, например, дорвеи, которых чаще всего и называют "черной" SEO, подсовывают пользователю страницу, на которой нет ответа на его запрос, зато есть обильная реклама или вирусы. Как отмечает руководитель отдела веб-поиска "Яндекс" Александр Садовский, "долю "черной" оптимизации удается удерживать на низком уровне. В среднем около одного процента страниц, доступных пользователю в первой десятке, относятся к этому типу". Другие типы сайтов, также относящиеся к спаму, хотя и содержат ответ на вопрос пользователя, но пытаются манипулировать результатами поиска. Кроме того, есть сайты, которые обычно релевантны запросу, но для продвижения в результатах выдачи также пытаются "подкрутить" свою позицию при помощи ссылочного "мусора" или иных приемов. Что же касается нормальных коммерческих сайтов, то требования поисковика сводятся к тому, чтобы их оптимизация была направлена на реальное улучшение качества контента в интересах пользователей. Тем не менее именно вопросы обеспечения безопасности и фильтрации нежелательного содержимого, получаемого из Интернета, возможно, и породили разговоры о так называемом государственном поисковике. Сегодня появилась информация, что Минкомсвязи от этой идеи готово отказаться, и многие эксперты этот шаг считают оправданным. Поисковые системы постоянно совершенствуются. "Для того чтобы удовлетворить запросы миллионов пользователей по тысячам разных тематик, потребуется разработка специализированных вертикальных поисковых систем, - рассказывает Павел Черкашин, директор департамента потребительских программных продуктов и онлайн-сервисов Microsoft в России. Тысячи компаний построят свои узкоспециализированные решения, которые будут подключаться к результатам выдачи основных поисковых систем". В том, что поисковик будущего сможет сам отвечать на задаваемые вопросы, уверен Виктор Лавренко: "Пользователям не потребуется перерывать огромное количество ссылок и читать содержимое найденных сайтов". Но и SEO-оптимизаторы не сидят сложа руки. Они знают, где и как "копать", потому что ни один поисковик никогда не поделится, каким образом в нем устроена выдача результатов.
Так ждет ли нас непрекращающаяся война роботов, когда самообучающиеся поисковые машины противостоят автоматически адаптируемым системам продвижения сайтов? В том, что такие войны уже идут, сомнений ни у кого сейчас нет. "С обеих сторон самообучающиеся машины, вычислительные мощности, сотрудничество с учеными-математиками. А поисковики все увеличивают количество факторов, стараясь учитывать как можно больше таких, на которые не может быстро и недорого повлиять оптимизатор", - говорит Елизавета Трибунская. Игорь Ашманов настроен более оптимистично: "В будущем отношения в поиске будут все более "очеловечиваться". Современное кредо, что все в поиске должны делать роботы, постепенно уступит место представлению, что хороший поиск создается не только разработчиками поисковых систем, но и веб-мастерами, поставляющими в Сеть ее основное содержание. Мы надеемся, что будущее поиска - это все же взаимодействие людей, а не война машин". С последним высказыванием трудно не согласиться, поскольку порядком набившие оскомину голливудские сценарии "войны машин" хороши только на экранах кинотеатров, а не в реальной жизни.
Рынок интернет-поиска имеет огромный потенциал для бизнеса. По мнению Аркадия Воложа, главы компании "Яндекс", половина всех денег в Интернете - это поисковая реклама. Несмотря на то, что поиск в Сети такое доходное дело, умение решать подобные задачи есть не у многих. Ведь эффективность работы поисковиков в первую очередь связана с используемыми в них алгоритмами. "Разработка поисковой машины требует серьезного человеческого труда: оценить, правильно поисковик ответил на запрос или нет, понять, что именно привело к неверному результату, научить машину отвечать на данный запрос лучше. Это можно делать вручную, добавляя правила в программный код, а можно автоматически, предъявляя системе набор запросов с вручную подготовленными хорошими ответами", - поясняет Владислав Шабанов, руководитель проекта Поиск@Mail Ru. Игорь Ашманов, генеральный директор компании "Ашманов и партнеры", добавляет, что большинство статистических данных о свойствах текстов, связях между сайтами и поведении пользователей можно получить только опытным путем, что достаточно дорого и долго.
Если в США безусловно лидирует поисковик Google, то российские пользователи Интернета гораздо чаще смотрят на мир "глазами" "Яндекса". Согласно счетчику Liveinternet, в июле 2010 года "Яндексу" принадлежало 64,5 процента поискового рынка, Google - 22,1 процента, а Mail.Ru - 7,4 процента. Рыночную долю поисковика отчасти можно считать и показателем его качества. Если поисковик ищет хорошо, то пользователь экономит время и быстро находит нужное. "Есть специальные методы измерения качества поиска, которые основаны на ручном анализе результатов независимыми экспертами, так называемыми асессорами. Есть и автоматические методы, которые применяет компания "Ашманов и партнеры", - замечает руководитель команды разработчиков Нигма.РФ Виктор Лавренко.
Большинство экспертов сходятся во мнении, что одной из устойчивых тенденций развития поисковых машин становится учет информации о пользователе - история поиска, история серфинга, социально-демографические данные, географическое положение, культурные особенности жителей определенной страны и т. д. С этим согласна и директор компании WebAdvance Елизавета Трибунская, которая полагает, что основной тренд сейчас - персонализация. "По регионам, по интересам, по полу, по кругу друзей, по тому, ищет ли человек с компьютера или с коммуникатора, по наличию детей и уровню образования. Хорошая поисковая система не выдает "страницы, содержащие ключевое слово", а понимает, что надо пользователю, и предоставляет ему именно это", - говорит она.
Важным фактором, существенно влияющим на результаты выдачи поисковиков, является так называемая поисковая оптимизация - SEO (Search Engine Optimization), используемая для платного продвижения коммерческих сайтов в Сети. Если "белая" SEO старается учесть требования поисковиков к качеству оформления и наполнения сайтов, то "черная" не признает никаких правил, а ставит своей единственной целью улучшить ранжирование конкретного ресурса любыми техническими способами, используя для этого недоработки или "слабые" места существующих алгоритмов. По словам главного редактора SEOnews.ru Анны Лебедевой, "SEO-сообщество, объединяющее примерно три сотни компаний и около трех тысяч частных лиц, осваивает рынок объемом не менее 300 миллионов долларов".
Сами поисковые системы разделяют нерелевантные результаты (поисковый спам) на несколько видов. Так, например, дорвеи, которых чаще всего и называют "черной" SEO, подсовывают пользователю страницу, на которой нет ответа на его запрос, зато есть обильная реклама или вирусы. Как отмечает руководитель отдела веб-поиска "Яндекс" Александр Садовский, "долю "черной" оптимизации удается удерживать на низком уровне. В среднем около одного процента страниц, доступных пользователю в первой десятке, относятся к этому типу". Другие типы сайтов, также относящиеся к спаму, хотя и содержат ответ на вопрос пользователя, но пытаются манипулировать результатами поиска. Кроме того, есть сайты, которые обычно релевантны запросу, но для продвижения в результатах выдачи также пытаются "подкрутить" свою позицию при помощи ссылочного "мусора" или иных приемов. Что же касается нормальных коммерческих сайтов, то требования поисковика сводятся к тому, чтобы их оптимизация была направлена на реальное улучшение качества контента в интересах пользователей. Тем не менее именно вопросы обеспечения безопасности и фильтрации нежелательного содержимого, получаемого из Интернета, возможно, и породили разговоры о так называемом государственном поисковике. Сегодня появилась информация, что Минкомсвязи от этой идеи готово отказаться, и многие эксперты этот шаг считают оправданным. Поисковые системы постоянно совершенствуются. "Для того чтобы удовлетворить запросы миллионов пользователей по тысячам разных тематик, потребуется разработка специализированных вертикальных поисковых систем, - рассказывает Павел Черкашин, директор департамента потребительских программных продуктов и онлайн-сервисов Microsoft в России. Тысячи компаний построят свои узкоспециализированные решения, которые будут подключаться к результатам выдачи основных поисковых систем". В том, что поисковик будущего сможет сам отвечать на задаваемые вопросы, уверен Виктор Лавренко: "Пользователям не потребуется перерывать огромное количество ссылок и читать содержимое найденных сайтов". Но и SEO-оптимизаторы не сидят сложа руки. Они знают, где и как "копать", потому что ни один поисковик никогда не поделится, каким образом в нем устроена выдача результатов.
Так ждет ли нас непрекращающаяся война роботов, когда самообучающиеся поисковые машины противостоят автоматически адаптируемым системам продвижения сайтов? В том, что такие войны уже идут, сомнений ни у кого сейчас нет. "С обеих сторон самообучающиеся машины, вычислительные мощности, сотрудничество с учеными-математиками. А поисковики все увеличивают количество факторов, стараясь учитывать как можно больше таких, на которые не может быстро и недорого повлиять оптимизатор", - говорит Елизавета Трибунская. Игорь Ашманов настроен более оптимистично: "В будущем отношения в поиске будут все более "очеловечиваться". Современное кредо, что все в поиске должны делать роботы, постепенно уступит место представлению, что хороший поиск создается не только разработчиками поисковых систем, но и веб-мастерами, поставляющими в Сеть ее основное содержание. Мы надеемся, что будущее поиска - это все же взаимодействие людей, а не война машин". С последним высказыванием трудно не согласиться, поскольку порядком набившие оскомину голливудские сценарии "войны машин" хороши только на экранах кинотеатров, а не в реальной жизни.
Ещё новости по теме:
18:20