Что такое Поисковые системы.
Поисковая система – это программно-аппаратный комплекс, с помощью которого осуществляется поиск в сети Интернет, введя туда пользователем поисковый запрос в виде текста, который является ключевой фразой, ПС отображает сайты (ссылки на сайты) по релевантности с точки зрения самого поисковика (в соответствии запроса). Самой популярной поисковой системой в мире является – Google. В Рунете это – Яндекс.
Давайте сейчас рассмотрим, как работают поисковые запросы на примере Яндекса. Во-первых, при вводе поискового запроса пользователем, он должен быть написан максимально кратко и просто, отталкиваясь от вашего текста(ключевых фраз) которые вы введете, поисковая система будет отображать вам ссылки на сайты, содержащих интересующую вас информацию. Допустим, нам нужно найти информацию по Покупке холодильника. Чтобы это сделать, нам нужно открыть главную страницу поисковика, здесь я буду использовать поисковую систему Яндекса, и в строке поиска ввести текст нашего поискового запроса, т.е. “Купить холодильник”. Дальше наша задача заключается в том, чтобы перейти по ссылке на ресурс с интересующей нас информацией. Однако не всегда мы можем найти интересующую нас информацию на каком-либо ресурсе, которые выдала нам поисковая система. И чтобы избежать таких случаев, нам нужно будет перефразировать, изменить наш поисковый запрос. Если уже снова не удалось найти информацию, то это может значить, что в Интернете на самом деле нет информации по данному запросу! Это бывает крайне редко, потому что сейчас в интернете можно найти практический все что угодно.
Основной задачей всех Поисковых систем – это доставлять пользователям, искомую ими информацию в интернете, и т.к. люди не могут подстраиваться под алгоритмы и принципы работы поисковых систем, разработчики делают поисковики максимально удобными и подстраивают их на работу пользователей.
Это значит, что поисковая система должна “думать” также как думает пользователь, который в свою очередь пытается найти информацию. И когда пользователь вводит поисковый запрос в поисковой машине, он желает найти то, что хочет, то, что ему нужно, максимально быстро и просто.
История развития поисковых систем.
В период развития сети Интернет, число его пользователей было совсем невелико, а количество информации было минимум, т.е. очень мало. Доступ к Интернету обычно был только лишь у сотрудников Научной сферы деятельности. В то время нельзя было назвать Интернет – всемирной паутиной, т.к. доступ к нему был не у всех и информация, которая в нем содержалась не была столь актуальна, как на сегодняшний день.
В начале, для доступа к информационным ресурсам создавали открытые каталоги, в которых информация группировалась согласно их тематике. Первым из таких каталогов стал Yahoo.com, который вышел в Интернет весной 1994 года. Со временем, когда количество сайтов достигало уже большого количества, создатели Yahoo добавили туда строку поиска по каталогу, т.е. пользователи могли искать информацию в каталоге уже использовав этот поиск. Исходя из этого, мы не могли назвать это Поисковой системой, так как она ограничивалась лишь поиском по этому Каталогу, а не во всем Интернете.
Если ранее такие каталоги пользовались большой популярностью, то на сегодняшний день они почти полностью ее потеряли, т.к. если взять самый большой Каталог в интернете, а это – DMOZ, он содержит в себе информацию о нескольких миллионах интернет ресурсов (сайтов). Когда поисковые системы, такие как Google, Яндекс содержат в себе базу из Миллиардов этих сайтов, т.е. чувствует да разницу.
Первая Поисковая система интернета была основана 1994 года, проект которой назывался WebCrawler.
Уже в 1995 году появилась следующие поисковые системы, это Lycos и AltaVista. Ближайшие годы они были лидерами по поиску информации в Интернете.
В 1997 году была создана поисковая система Google, основателями которой являются Ларри Пейдж и Сергей Брин. На сегодняшний день Google является самой популярной поисковой системой в мире!
Вслед за Google, 1997 года официально была создана поисковая система Yandex (Яндекс), которая на сегодняшний день является самой популярной Поисковой системой в РУнете.
Основные характеристики поисковых систем.
Полнота
Полнота – это одна из важнейших характеристик поисковых систем, она нацелена на количество найденной информации в сети интернет из всей присутствующей информации по какому-либо запросу пользователя. Т.е. допустим, мы ввели в строку поиска “Купить холодильник” и в Интернете содержится 200 страниц с этой ключевой фразой, а поисковик выдал нам всего 100 страниц, значит, полнота поиска составит 0.5%. Исходя из такого принципа работы поисковиков, мы можем сделать вывод, что чем больше Полнота поиска, тем меньше шанс у пользователя не найти интересующую его информацию в интернете.
Точность
Точность – эта характеристика служит для определения степени соответствия найденных ресурсов по запросу пользователя. Т.е. если мы введем в строку поиска “Как выбрать велосипед” и поисковик выдаст нам 200 страниц содержащих ссылки на сайты с этим ключевым словом, и среди них 120 страниц будут конкретно содержать фразу “Как выбрать велосипед”. А в остальных 80 страницах просто будут присутствовать слова из ключевой фразы, например: “Как правильно выбрать спидометр и поставить его на велосипед”, то точность поискового запроса составит 0.6%. Следовательно, чем точнее поиск, тем быстрее пользователь найдет нужную ему информацию, тем меньше запросов будут не соответствовать поисковому запросу.
Актуальность
Актуальность определяется временем, которое в свою очередь определяется с момента публикации статьи в Интернете, до того момента, как она попадет в индексную базу поисковых систем, т.е. проиндексируется поисковиками. Например, вы написали и опубликовали статью на своем сайта, на следующий день поисковые системы ее проиндексировали и добавили в поиск. Уже через день многие пользователи пытаются найти соответствующую информацию в интернете, и благодаря тому, что ваша статья уже прошла индексирование и добавилась в поисковую выдачу запросов, она высветится в поисковой выдаче запроса пользователя.
Скорость поиска
Скорость поиска тесно связано с устойчивостью к нагрузкам. В этой характеристике интересы поисковых систем и интересы пользователей полностью совпадают, потому что Пользователи хотят быстрее получить результаты поиска, а поисковые системы хотят как можно быстрее обработать поисковую фразу и выдать список ресурсов, содержащих эту ключевую фразу и переходить на работу с другими поисковыми фразами.
Наглядность
Как мы же можем обойтись без наглядности, без просмотра информации. Наглядность показа результатов играет немало важную роль в удобном поиске. Ведь не всегда мы можем найти интересующую нас информацию даже в первых позициях поисковой выдаче, иногда приходится пройтись по нескольким сайтам в поисковой выдаче, чтобы найти нужную информацию. Поэтому нам приходится, кроме того, чтобы ввести ключевую фразу в поисковую систему, самостоятельно пройтись по ссылкам, ведущим на сайт с информацией и найти именно нужную нас информацию. Это значит, что пользователям очень часто приходится делать свой поиск среди найденного списка ПС.
Состав и принципы работы поисковой системы.
Поисковая система состоит из трех основных элементов это Модуль индексирования, База данных и Поисковый сервер. Сейчас мы разберем каждый из них и посмотрим, из чего собственно они состоят.
Модуль индексирования
Модуль индексирования содержит в себе или сказать по-другому, состоит из трех программ, которые по-другому еще называют Роботы:
Spider(Паук) – это программа, которая сканирует веб-страницы и скачивает их. Spider(Паук) обеспечивает скачивание страниц и извлекает все исходящие ссылки с этой страницы. При работе робота Пука используются протоколы HTTP, и скачивается html-код каждой страницы. Работает этот робот следующим образом, он передает запрос “get/patch/document” и некоторые другие команды HTTP-запроса. В ответ которых получает служебную информацию и сам текст документа.
Внутренние ссылки он извлекает из тэгов a, frame, frameset и др. Каждая страница, скачанная роботом Пауком, сохраняется в формате:
- URL страницы
- Дата, когда страница была скачана
- http – заголовок ответа сервера
- тело страницы (html-код)
Crawler ( что в переводе означает – “Путешествующий” Паук ) – программа, которая автоматический проходит по всем ссылкам, найденным на странице сайта. Его задача заключается в том, чтобы определить куда дальше должен идти паук, основываясь на ссылках или исходя из заранее заданного списка адресов. Этот паук (Crawler) следуя по данным найденным ссылкам на странице, осуществляет поиск новых страниц, еще не известных поисковой системе.
Indexer ( робот-индексатор ) – программа, которая уже Анализирует веб-страницы, скаченные пауками. Этот робот индексатор действует как конструктор, он разбирает страницу на составные части и анализирует каждую из них, применяя собственные алгоритмы. Анализу этому роботу подвергаются различные Заголовки, ссылки, различные стилевые особенности и специальные html-тэги.
Вот так работает модуль индексирования, который позволяет проходить роботам по различным ссылкам, которые содержатся на странице сайта, сканировать саму веб-страницу и производить полный анализ этих документов.
База данных
База данных или по-другому индекс поисковой системы – это такая система хранения данных, в которой хранится вся скаченная и проиндексированная информация с веб-ресурсов.
Поисковый сервер
Поисковый сервер – это важнейший элемент всей поисковой системы, т.к. от алгоритмов, которые находятся в основе ее функционирования, напрямую зависит качество и скорость поиска. Давайте сейчас более подробно рассмотрим работоспособность Поискового сервера:
- Поисковый сервер получает запрос от пользователя, который подвергается морфологическому анализу. Дальше генерируется информационное окружение каждого документа, содержащегося в базе данных поисковой системы ( т.е. это то, что будет отображаться в виде сниппета по соответствующему ключевому запросу в поисковой выдаче ).
- Полученные данные передаются специальному модулю ранжирования. Где происходит обработка данных по всем документам, в результате чего, для каждого из них рассчитывается собственный рейтинг, характеризующий релевантность запроса, введенного пользователем, и различных составляющих этого документа, хранящихся в индексе поисковой системы.
- В зависимости уже от выбора самого пользователя этот рейтинг можно скорректировать другим образом, выбрав пункт “Расширенный поиск” в Поисковой системе.
- Дальше генерируется фрагмент текста веб-страницы, содержащие в себе слова введенные пользователем в поисковом запросе. Т.е. генерируется заголовок, наиболее соответствующая и краткая информация с использованием этих ключевых слов, и сами ссылки на ресурс, содержащий это информацию. При этом ключевые слова, введенные в строку поиска, подсвечиваются жирностью.
- В конечном итоге мы видим страницу с результатами нашего поиска в виде Search Engine Result Page – страницы выдачи поисковых результатов.
Как мы можем здесь заметить, все элементы взаимосвязаны друг с другом и образуют достаточно сложный механизм работы поисковиков.
