Поисковая система - это один из ключевых уровней интернета наравне с контентом и браузером. «Яндекс»-поисковик или аналогичные системы («Гугл», «Бинг», DuckDuckGo и другие) позволяют пользователю осуществлять поиск информации во Всемирной паутине, формулируя запрос.
Работа же поисковой системы заключается в том, чтобы найти по этому запросу (ключевому слову или фразе) все документы, страницы, видео, то есть весь контент.
Какой поисковик самый лучший? Есть ли альтернативные варианты, что-то кроме «Гугла» и «Яндекса»? Какой поисковик интернета больше подходит для сканирования англоязычных источников или, например, музыки? Именно об этом и пойдет речь в статье.
Если говорить о мире в целом, то «Гугл»-поисковик является самой популярной поисковой системой. Корпорация занимает практически 70% рынка. Вторую позицию рейтинга занимает «Бинг» (доля - 12,26%). Борьбу за вторую строчку с ним ведет система Baidu (6,48% по состоянию на сентябрь 2015 года). Время от времени они меняются местами.
Так, например, в 2014 «силы» были распределены по-другому: первое место занимал «Гугл»-поисковик с 68,69%, второе - Baidu (17,7%), третье - «Бинг» с капитализацией рынка в 6,22%.
Но общемировые данные очень обобщенные. Какой поисковик самый лучший?
В Китае, к примеру, очень небольшой процент населения сканирует «Гуглом», большинство использует отечественную систему Soso. В Южной Корее большая часть жителей пользуется собственной разработкой - поисковиком интернета Naver. Правда, в последние несколько месяцев количество запросов в этой системе начало стремительно снижаться.
В Японии и Тайване пользователи чаще других используют Yahoo!
Какой поисковик самый лучший? В России рейтинг поисковых систем совсем не похож на общемировой. Лидер рынка в русскоязычном сегменте интернета - это «Яндекс», которым пользуются более 55% пользователей.
На втором месте «Гугл» с результатом 37,6%. Согласно данным сервиса LiveInternet, охват русскоязычных поисковых запросов во Всемирной паутине распределился следующим образом:
Разговор об альтернативных поисковых системах стоит начать с поисковика DuckDuckGo. Это достаточно известная и распространенная система с открытым исходным кодом. Серверы DuckDuckGo находятся в Соединенных Штатах Америки. Результаты поиска довольно обширные, так как система использует не только собственные алгоритмы, но и результаты некоторых других источников, например, "Википедии", поисковика «Бинг» и Yahoo!
Поисковик DuckDuckGo обеспечивает максимальную безопасность личной информации пользователя, приватность и конфиденциальность. Система не собирает никаких данных о пользователях, не хранит историю и максимально ограничивает использование файлов cookie.
Отличие DuckDuckGo в том, что эта система не персонализирует поисковую выдачу, как это делают другие системы. В «Гугле» или «Яндексе», например, пользователь видит только ту информацию, которая согласуется с его предпочтениями. А вот DuckDuckGo формирует реальную картину и позволяет избавиться от навязчивой конкретной рекламы. Поисковый сервис легко ищет информацию на иностранных языках, тогда как «Яндекс» и «Гугл» по умолчанию отдают предпочтение русскоязычным источникам, даже если запрос введен на английском, немецком или другом языке.
В системе можно настроить интерфейс: изменять можно цветовое оформление, шрифты, ссылки и другие параметры всего в несколько кликов.
Пока еще этой поисковой системе далеко до гиганта «Гугла», но утёнок развивается, так что вполне возможно, что в будущем DuckDuckGo займет одну из лидирующих позиций. Команда создала отличный продукт, который обеспечивает анонимный, быстрый и функциональный поиск, заслуживающий внимания пользователя.
Это система, которая осуществляет поиск по анонимной сети Tor. Поисковая система предустановлена в одноименном браузере. Чем лучше notEvil? Он «проходит» туда, куда не могут добраться «Гугл» или «Яндекс»-поисковик. Вообще, в сети Tor очень много ресурсов которые нельзя посетить в «обычном» (законопослушном) интернете. Это такая себе площадка внутри сети со своими социальными платформами, торрент-трекерами, СМИ, блогами, торговыми центрами, форумами, библиотеками и так далее.
Кстати, notEvil - это не единственный в своем роде поисковик. Еще есть Look, который по умолчанию доступен в том же браузере «Тор», и TORCH - одна из самых старых систем поиска в анонимной сети.
Бесплатный поисковик YaCy - это совершенно другой подход к организации поиска во Всемирной паутине. Система работает по принципу Р2Р. Это значит, что каждый компьютер, на котором установлен модуль, самостоятельно сканирует интернет, а потом все полученные результаты собираются в единую базу, которой могут пользоваться все пользователи YaCy.
Система полностью независима, автономна, обеспечивает анонимность каждого пользователя. YaCy подойдет сторонникам открытого интернета, который не подвержен влиянию крупных корпораций и государственных органов.
В быту поисковик пока что не очень полезен, зато в перспективе является достойной альтернативой «Гуглу» даже с точки зрения организации процесса поиска информации.
Pipl - система, предназначенная для поиска информации о каком-то определенном человеке. Разработчики утверждают, что алгоритмы поисковика ищут людей эффективнее, чем распространенные во всем мире «Гугл» или «Яндекс».
Приоритетными источниками являются профили в социальных сетях комментарии, списки участников, базы данных, где публикуются разнообразные данные о людях, например, базы судебных решений. Но есть и недостаток. Для Pipl недоступны российские базы данных, так что он будет полезен только для поиска информации о гражданах США.
Какой поисковик самый лучший? Если нужно найти музыку или звуки, то, конечно, самым лучшим будет именно FindSounds. Это специализированный поисковик, где есть список тегов. Тут можно выбрать нужный формат аудиофайла или его качество. Все результаты поиска доступны для скачивания.
Эта система выдает не страницы, на которых есть нужная пользователю информация, а готовый результат. Например, карты, графики, таблицы, короткие ответы. Сервис как нельзя лучше подходит для вычисления данных и поиска конкретных фактов. Поисковик пока понимает не все запросы, но постоянно развивается.
С помощью Wolfram|Alpha удобно, например, сравнивать параметры для настройки фотоаппарата, смартфона или ноутбука. Также вычислять уровень алкоголя в крови (система запрашивает у пользователя вес и рост, количество выпитого, время, а затем сообщает, через сколько алкоголь полностью выведется из организма).
Инструмент может конвертировать размеры обуви и одежды, считать калории, смотреть курсы валют или настраивать музыкальный инструмент.
Dogpile выводит результаты из выдач всех распространенных поисковых систем сразу. Сервис использует улучшенный алгоритм и, как уверяют разработчики, формирует самую лучшую выдачу в интернете. Кроме того, здесь мало рекламы. Можно попробовать воспользоваться Dogpile, если нужная информация никак не находится в стандартных «Гугле» или «Яндексе».
Эта система ищет информацию на форумах, опросах, сервисах вопросов и ответов, социальным сообществам, сужая поле поиска до социальных площадок. Можно выставить фильтры: язык и дату публикации, название сайта и тому подобное.
Поисковик может пригодиться специалистам по рекламе, которых интересует мнение аудитории.
Часто альтернативные поисковые системы скоротечны. Они появляются также быстро, как и умирают. Большинство альтернативных систем на сегодняшний день специализируются на какой-либо узкой нише или тестируют оригинальный алгоритм в формировании результатов поиска.
В контексте описания альтернативных поисковых систем, критерий «лучше» совсем не означает «лучше во всем». Каждый из перечисленных выше сервисов дает конкретному пользователю что-то такое, чего нет в «Гугле» или «Яндексе». В любом случае, ознакомиться с альтернативными вариантами (на фоне того, что система кажется практически монополизированной поисковыми гигантами) интересно и полезно каждому пользователю.
Всякий раз, когда вы просматриваете сайт, ваш IP и MAC-адрес фиксируется, чтобы отслеживать вашу деятельность. Чтобы защититься, необходимо просматривать страницы различных сайтов анонимно. В связи с этим, мы приводим список анонимных поисковиков, которые не будут отслеживать ваши запросы.
Это одна из лучших поисковых систем, которая хорошо известна экспертам в области безопасности. WolframAlpha предоставляет принципиально новый способ получения знаний и ответов – путем динамических вычислений, основанных на большом объеме встроенных данных, алгоритмов и методов.
Это поисковая система на основе HTTPS , которая применяет SSL-шифрование и не записывает запросы пользователей.
Это известная поисковая система, которую, вы, возможно, уже использовали. Анонимный поисковик DuckDuckGo не собирает и не делится личной информацией пользователей. Такова применяемая этим сервисом политика конфиденциальности.
Это одна из поисковых систем, с помощью которой вы можете легко отфильтровывать результаты и отсортировать список по вашему желанию. Тем более что эта поисковая система работает с правильным пользовательским поиском, чтобы предоставить своим пользователям лучшие результаты и никогда не сохраняет историю поисковых запросов.
Gibiru не устанавливает привязку к каким-либо персональным данным и не занимается отслеживанием файлов cookie . Поисковик предоставляет бесцензурную и обезличенную анонимную сеть, поэтому вы можете безопасно просматривать интернет.
Это мощная поисковая система, которая отображает результаты Google , защищая пользовательские запросы, и позволяет избежать отслеживания ваших шагов. Она обеспечивает просмотр через прокси-сервер, который предотвращает отслеживание IP-адреса или местоположения.
Hulbee.com – рациональная альтернатива для тех, кто придает большое значение целостности данных и конфиденциальности. В отличие от обычных поисковых систем пользователи Hulbee.com не оставляют никаких следов. Hulbee.com даже не подсчитывает количество своих посетителей. Их запросы, IP-адреса и личная информация не сохраняются.
Этот сервис использует Google , Bing и Yahoo для поиска контента. Но он никогда не отслеживает ваши запросы или IP-адрес . Он даже позволяет пользователю выбрать свое местоположение, прежде чем начать поиск.
Lukol – одна из лучших поисковых систем, которая защищает пользователей от онлайн-мошенников и спамеров. Использует Google для показа результатов поиска. Но для предоставления результатов поиска задействует прокси-сервер.
Мы рассмотрели лучшие анонимные поисковики, которые не отслеживают пользовательские запросы. С помощью них можно легко осуществлять анонимный поиск, не беспокоясь о своей безопасности.
Перевод статьи «Top 10 Private Search Engines That Do Not Track You » был подготовлен дружной командой проекта Сайтостроение от А до Я .
Хорошо Плохо
До недавнего времени найти необходимую информацию во Всемирной паутине было не так-то просто. Но, благодаря стремительному развитию и появлению новых поисковых систем, это процесс стал намного удобней и быстрее. В нашем сегодняшнем обзоре 10 самых лучших сервисов для поиска различного рода данных, которые способны отыскать в глубинах интернета все что потребуется.
Bing - это известная поисковая интернет система, которая создана в июне 2009 года. Данный сервис доступен на 40 языках. Её ежемесячное количество уникальных посетителей составляет приблизительно 350 миллионов человек.
AOL Search.com - это метапоисковая интернет система, которая была основана в Соединенных Штатах Америки в 1985 году. Ежемесячное количество посетителей этого сервиса составляет приблизительно 75 миллионов человек. Должность генерального директора занимает Тим Армстронг.
DuckDuckGo - это интернет-поисковая система с открытым исходным кодом, которая была запущена в 2008 году Габриэлм Вайнбергом. Штаб-квартира компании расположена в Вэлли-Фордж, штат Пенсильвания. Количество уникальных посетителей использующих DuckDuckGo составляет около 13 миллионов человек в месяц.
Ask.com - это поисковая интернет система, главной особенностью которой является поиск ответов на вопросы. Сервис был основан в июне 1996 года в городе Беркли, штате Калифорния Гарреттом Грюнером и Дэвидом Уортоном. Ежемесячное количество уникальных посетителей этого сервиса составляет приблизительно 145 миллионов человек.
Google – это самая известная поисковая интернет система, штаб-квартира которой находится в городе Маунтин-Вью, Калифорния, Соединённые Штаты Америки. Основана компания 4 сентября 1998 года Ларри Пейджом, Сергеем Михайловичем Брином. Её ежемесечное количество уникальных посетителей составляет около 1.100.000.000 человек.
MyWebSearch.com - это метапоисковая интернет система, которая находится на 73 месте в списке самых популярных веб-сайтов. Её ежемесячное количество уникальных посетителей составляет приблизительно 60 миллионов человек.
Представленная поисковая система была основана в 1996 году. Её штаб квартира находится в Белльвью, Вашингтоне, Соединенных Штатах. Ежемесячно количество уникальных посетителей Infospace.com составляет приблизительно 24 миллиона человек.
WebCrawler.com – это метапоисковая интернет система, работающая с помощью Yahoo и Google. Компания создана в апреле 1994 года. Её ежемесячное количество уникальных посетителей составляет приблизительно 65 миллионов человек.
Info.com - это метапоисковая система, штаб-квартира которой находится в столице Великобритании Лондоне. Ежемесячное количество уникальных посетителей Info.com составляет приблизительно 13, миллионов человек.
Поисковая интернет система под названием – Yahoo , которая была основана в январе 1994 года Джерри Янгом и Дэвидом Филом. Генеральным директором компании является Марисса Майер. Её ежемесячное количество уникальных посетителей составляет примерно 300 миллионов человек. Штаб-квартира сервиса находится в городе Санта-Клара, Калифорния, Соединенные Штаты Америки.
А любителям мобильных девайсов и компьютерных технологий, наверняка будет интересно посмотреть на
Основная задача поисковой системы — быстро сформировать страницу с правильными ответами на запрос пользователя. На первый взгляд, это несложная задача, но если учесть количество пользователей, несколько сотен способов ввода поисковых запросов и десятки миллионов сайтов — она уже не такая простая.
Лидерами рынка в России безусловно являются Яндекс или Google , что заставляет SEO-специалистов уделять им основное время. Большинство пользователей не задумываются о том, как устроены поисковые системы и сколько пользы можно извлечь с помощью них. Сегодня я разберу полностью данный вопрос.
Темы материала
Поисковые системы могут работать полностью с помощью роботов или людей, а также представлять из себя гибридные системы. В архитектуру поисковой системы чаще всего входят:
Основные характеристики качественного поиска:
В интернете очень много документов, но всегда можно быть лучше и создавать более полезные для пользователя сайты. Полезность может проявляться в контенте и удобстве его восприятия. Большинство SEO-оптимизаторов делают поиск качественнее, позволяя найти нужные документы. Именно поэтому представители ПС развивают свои сервисы для нас: вебмастеров, владельцев проектов и сеошников.
Сегодня не требуется добавлять свой сайт в современные поисковые системы. Рано или поздно роботы обойдут Ваш сайт и включат его в индекс, если с ним нет проблем. Но для получения эффективных результатов, обязательно необходимо прорабатывать ресурс — начиная с семантического ядра и структуры сайта и заканчивая аудитом на наличие технических ошибок .
Кстати, ранее я уже затрагивал тему поисковых систем:
Мировым лидером является Google, но самой популярной поисковой системой в России остается Яндекс. Это заметно по источникам трафика на основе данных из Яндекс.Метрики.
Поиск №1 в России по количеству переходов на сайты из поисковой выдачи. LiveInternet (июнь 2017). На долю Яндекса приходится около 50% поискового трафика, но Google постепенно догоняет отечественную поисковую систему. В последнее время Яндекс стал более активно проводить рекламные компании, возможно, это позволит замедлить рост доли Google на российском рынке. Один из основных источников трафика на российском рынке.
Занимают большую долю в мобильном поиске России. Также является одним из основных источников трафика для наших проектов. Благодаря росту посетителей с мобильных устройств, доля Google растет.
Самая полная свободная интернет-энциклопедия, которая запущена в 2001 году. Контент создают пользователи Интернета.
Приватный и конфиденциальный поисковик, серверы которого расположены в США. Имеет собственный робот, а также использует данные других сервисов (например, «Википедия», Wolfram|Alpha). В отличии от Яндекса и Google, данная поисковая система не пытается персонализировать результаты выдачи.
Крупнейшая библиотека видеофайлов также обладает поиском, который используют большое количество людей. К сожалению, нет информации о количестве запросов, но если сложить аудиторию Google и YouTube — то доля Google получается очень ощутимой. Но у и Яндекса есть свои интересные проекты.
Поисковая система от выпускников МГУ использует индексы других систем. Больше не нужно искать один и тот же запрос в разных системах. Кроме этого, позволяет решать задачи по Математике и Химии.
Поиск информации о конкретном человеке в США и Европе. Для российского рынка не очень.
Огромная база информации о фильмах. Проект принадлежит Яндексу, что делает его долю на рынке еще большей.
Хороших поисковых систем много. Я привел лишь небольшую часть из них. Мне кажется, что для поиска, как и любого проекта, важна аудитория, которую нужно привлекать с помощью рекламных компаний и технологий.
Если Вам известны интересные поисковые системы или фишки при работе с ними, делитесь в комментариях.
Здравствуйте, уважаемые читатели блога сайт. , то его немногочисленным пользователям было достаточно собственных закладок. Однако, как вы помните, происходил в геометрической прогрессии, и совсем скоро ориентироваться во всем ее многообразии стало сложнее.
Тогда появились каталоги (Яху, Дмоз и другие), в которых их авторы добавляли и сортировали по категориям различные сайты. Это сразу же облегчило жизнь тогдашним, еще не очень многочисленным пользователям глобальной сети. Многие из этих каталогов живы и до сих пор.
Но через некоторое время размеры их баз стали настолько большими, что разработчики сначала задумались о создании поиска внутри них, а потом уже и о создании автоматизированной системы индексации всего содержимого интернета, чтобы сделать его доступным всем желающим.
Как вы понимаете, идея эта реализовалась с ошеломительным успехом, но, правда, все сложилось хорошо только для горстки избранных компаний, которым удалось не сгинуть на просторах интернета. Почти все поисковые системы, которые появились на первой волне, сейчас либо исчезли, либо прозябают, либо были куплены более удачными конкурентами.
Поисковая система представляет из себя очень сложный и, что немаловажно, очень ресурсоемкий механизм (имеются в виду не только материальные ресурсы, но и людские). За внешне простой , или ее аскетичным аналогом от Гугла, стоят тысячи сотрудников, сотни тысяч серверов и многие миллиарды вложений, которые необходимы для того, чтобы эта махина продолжала работать и оставалась конкурентоспособной.
Выйти на этот рынок сейчас и начать все с нуля — это скорее утопия, чем реальный бизнес проект. Например, одна из богатейших в мире корпораций Микрософт десятилетиями пыталась закрепиться на рынке поиска, и только сейчас их поисковик Бинг начинает потихоньку оправдывать их ожидания. А до этого была целая череда провалов и неудач.
Что уж говорить о том, чтобы выйти на этот рынок без особых финансовых влияний. К примеру, наша отечественная поисковая система Нигма имеет много чего полезного и инновационного в своем арсенале, но их посещаемость в тысячи раз уступает лидерам рынка России. Для примера взгляните на суточную аудиторию Яндекса:
В связи с этим можно считать, что список основных (лучших и самых удачливых) поисковиков рунета и всего интернета уже сформировался и вся интрига заключается только в том, кто кого в итоге сожрет, ну или каким образом распределится их процентная доля, если все они уцелеют и останутся на плаву.
Рынок поисковых систем России очень хорошо просматривается и тут, наверное, можно выделить двух или трех основных игроков и парочку второстепенных. Вообще, в рунете сложилась достаточно уникальная ситуация, которая повторилась, как я понимаю, только еще в двух странах в мире.
Я говорю о том, что поисковик Google, придя в Россию в 2004 году, не смог до сих пор захватить лидерства. На самом деле, они пытались примерно в этот период купить Яндекс, но что-то там не сложилось и сейчас «наша Раша» вместе с Чехией и Китаем являются теми местами, где всемогущий Гугл, если не потерпел поражение, то, во всяком случае, встретил серьезное сопротивление.
На самом деле, увидеть текущее положение дел среди лучших поисковиков рунета может любой желающий. Достаточно будет вставить этот Урл в адресную строку вашего браузера:
Http://www.liveinternet.ru/stat/ru/searches.html?period=month;total=yes
Дело в том, что большая часть использует на своих сайтах , а данный Урл позволяет увидеть статистику захода посетителей с различных поисковых систем на все сайты, которые принадлежат доменной зоне RU.
После ввода приведенного Урла вы увидите не очень приглядную и презентабельную, но зато хорошо отражающую суть дела картинку. Обратите внимание на первую пятерку поисковых систем, с которых сайты на русском языке получают трафик:
Да, конечно же, не все ресурсы с русскоязычным контентом размещаются в этой зоне. Есть еще и SU, и РФ, да и общих зонах типа COM или NET полно интернет проектов ориентированных на рунет, но все же, выборка получается довольно-таки репрезентативная.
Эту зависимость можно оформить и более красочно, как, например, сделал кто-то в сети для своей презентации:
Сути это не меняет. Есть пара лидеров и несколько сильно и очень сильно отстающих поисковых систем. Кстати, о многих из них я уже писал. Иногда бывает довольно занимательно окунуться в историю успеха или, наоборот, покопаться в причинах неудач когда-то перспективных поисковиков.
Итак, в порядке значимости для России и рунета в целом, перечислю их и дам им краткие характеристики:
Поиск в Гугле стал для многих жителей планеты уже нарицательным — о том, вы можете прочитать по ссылке. Мне в этом поисковике нравился вариант «перевод результатов», когда ответы вы получали со всего мира, но на своем родном языке, однако сейчас он, к сожалению, не доступен (во всяком случае на google.ru).
Так же в последнее время меня озадачивает и качество их выдачи (Search Engine Result Page). Лично я всегда сначала использую поисковую систему зеркала рунете (там есть , ну и привык я к ней) и только не найдя там вразумительного ответа обращаюсь к Гуглу.
Обычно их выдача меня радовала, но последнее время только озадачивает — порой такой бред вылазит. Возможно, что их борьба за повышение дохода с контекстной рекламы и постоянная перетасовка выдачи с целью дискредитировать Seo продвижение могут привести к обратному результату. Во всяком случае в рунете конкурент у этого поисковика имеется, да еще какой.
Думаю, что вряд ли кто-то специально будет заходить на Go.mail.ru для поиска в рунете. Поэтому трафик на развлекательных проектах с этой поисковой системы может быть существенно больше, чем десять процентов. Владельцам таких проектов стоит обратить внимание на эту систему.
Однако, кроме ярко выраженных лидеров на рынке поисковых систем русскоязычного сегмента интернета, существует еще несколько игроков, доля которых довольно низка, но тем не менее сам факт их существования заставляет сказать о них пару слов.
По большому счету в масштабах всего интернета серьезный игрок только один — Гугл . Это безусловный лидер, однако некоторая конкуренция у него все же имеется.
Во-первых, это все тот же Бинг , который, например, на американском рынке имеет очень хорошие позиции, особенно, если учитывать, что его движок используется так же и на всех сервисах Яху (почти треть от всего рынка поиска США).
Ну, а во-вторых, в силу огромной доли, которую составляют пользователи из Китая в общем числе пользователей интернета, их главный поисковик под названием Baidu вклинивается в распределение мест на мировом олимпе. Он появился на свет в 2000 году и сейчас его доля составляет около 80% процентов от всей национальной аудитории Китая.
Трудно о Байду сказать еще что-то вразумительное, но на просторах интернета встречаются суждения, что места в его Топе занимают не только наиболее релевантные запросу сайты, но и те, кто за это заплатил (напрямую поисковику, а не Сео конторе). Конечно же, это относится в первую очередь к коммерческой выдаче.
В общем-то, глядя на статистику становится понятно, почему Google там легко идет на то, чтобы ухудшать свою выдачу в обмен на увеличение прибыли с контекстной рекламы. Фактически они не боятся оттока пользователей, ибо в большинстве случаев им уходить особо и некуда. Такая ситуация несколько печалит, но посмотрим, что будет дальше.
К слову сказать, чтобы еще больше усложнить жизнь оптимизаторам, а может быть, чтобы поддержать спокойствие пользователей этого поисковика, Google с недавних пор применяет шифрование при передаче запросов из браузера пользователей в поисковую строку. Скоро уже нельзя будет увидеть в статистике счетчиков посетителей, по каким запросам приходили к вам пользователи с Гугла.
Конечно же, кроме озвученных в этой публикации поисковых систем, существует еще не одна тысяча других — региональных, специализированных, экзотических и т.д. Пытаться их все перечислить и описать в рамках одной статьи будет не возможно, да и, наверное, не нужно. Давайте лучше скажу пару слов о том, как не легко создать поисковик и как не просто и не дешево его поддерживать в актуальном состоянии.
Подавляющее большинство систем работают по схожим принципам (читайте о том, и про ) и преследуют одну и ту же цель — дать пользователям ответ на их вопрос. Причем ответ этот должен быть релевантным (соответствующим вопросу), исчерпывающим и, что не маловажно, актуальным (первой свежести).
Решить эту задачу не так-то уж и просто, особенно учитывая, что поисковой системе нужно будет налету проанализировать содержимое миллиардов интернет страниц, отсеять лишние, а из оставшихся сформировать список (выдачу), где вначале будут идти наиболее подходящие под вопрос пользователя ответы.
Эта сверхсложная задача решается предварительным сбором информации с этих страниц с помощью различных индексирующих роботов . Они собирают ссылки с уже посещенных страниц и загружают с них информацию в базу поисковой системы. Бывают боты индексирующие текст (обычный и быстробот, который живет на новостных и часто обновляемых ресурсах, чтобы в выдаче всегда были представлены самые свежие данные).
Кроме этого бывают роботы индексаторы изображений (для последующего их вывода в ), фавиконок, зеркал сайтов (для их последующего сравнения и возможной склейки), боты проверяющие работоспособность интернет страниц, которые пользователи или же через инструменты для вебмастеров (тут можете почитать про , и ).
Сам процесс индексации и следующий за ним процесс обновления индексных баз довольно времязатратный. Хотя Гугл делает это значительно быстрее конкурентов, во всяком случае Яндекса, которому на это дело требует неделя-другая (читайте про ).
Обычно текстовое содержимое интернет страницы поисковик разбивает на отдельные слова, которые приводит к базовым основам, чтобы потом можно было давать правильные ответы на вопросы, заданные в разных морфологических формах. Весь лишний обвес в виде Html тегов, пробелов и т.п. вещей удаляется, а оставшиеся слова сортируются по алфавиту и рядом с ними указывается их позиция в данном документе.
Такая шняга называется обратным индексом и позволяет искать уже не по вебстраницам, а по структурированным данным, находящимся на серверах поисковой системы.
Число таких серверов у Яндекса (который ищет в основном только по русскоязычным сайтам и чуток по украинским и турецким) исчисляется десятками или даже сотнями тысяч, а у Google (который ищет на сотнях языков) — миллионами.
Многие сервера имеют копии, которые служат как для повышения сохранности документов, так и помогают увеличить скорость обработки запроса (за счет распределения нагрузки). Оцените расходы на поддержание всего этого хозяйства.
Запрос пользователя будет направляться балансировщиком нагрузки на тот серверный сегмент, который менее всего сейчас нагружен. Потом проводится анализ региона, откуда пользователь поисковой системы отправил свой запрос, и делается его морфологически разбор. Если аналогичный запрос недавно вводили в поисковой строке, то пользователю подсовываются данные из кеша, чтобы лишний раз не грузить сервера.
Если запрос еще не был закеширован, то его передают в область, где расположена индексная база поисковика. В ответ будет получен список всех интернет страниц, которые имеют хоть какое-то отношение к запросу. Учитываются не только прямые вхождения, но и другие морфологические формы, а так же , и т.п. вещи.
Их нужно отранжировать, и на этом этапе в дело вступает алгоритм (искусственный интеллект). Фактически запрос пользователя размножается за счет всех возможных вариантов его интерпретации и ищутся одновременно ответы на множество запросов (за счет использования операторов языка запросов, некоторые из которых доступны и обычным пользователям).
Как правило, в выдаче присутствует по одной странице от каждого сайта (иногда больше). сейчас очень сложны и учитывают множество факторов. К тому же, для их корректировки используются и , которые вручную оценивают реперные сайты, что позволяет скорректировать работу алгоритма в целом.
В общем, дело ясное, что дело темное. Говорить об этом можно долго, но и так понято, что удовлетворенность пользователей поисковой системой достигается, ох как не просто. И всегда найдутся те, кому что-то не нравится, как, например, нам с вами, уважаемые читатели.
Удачи вам! До скорых встреч на страницах блога сайт
посмотреть еще ролики можно перейдя на");">
Вам может быть интересно
Яндекс Пипл - как искать людей по социальным сетям
Апометр - бесплатный сервис по отслеживанию изменений выдачи и апдейтов поисковых систем
DuckDuckGo - поисковая система, которая не следит за тобой
Как проверить скорость интернета - онлайн тест соединения на компьютере и телефоне, SpeedTest, Яндекс и другие измерители
Яндекс и Гугл картинки, а так же поиск по файлу изображения в Tineye (тинай) и Google
