Базовые компоненты поисковых систем и принципы их работы

Автор:lika-lux

Базовые компоненты поисковых систем и принципы их работы

Все существующие поисковые системы работают по единому для них всех, механизму, и используют похожие методы в поиске информации. Структура поисковой системы выглядит следующим образом.

Web server – сервер, отвечающий за взаимосвязь между пользователем и поисковой системой. Spider – браузерная программа, которая «разыскивает» интернет ресурсы и качающая все web-страницы. Crawler – специализированный вариант программы типа Spider, программа, которая автоматически настроена на переход по всем ссылкам, обнаруженным на страницах сервиса. Indexer – программа, которая, анализирует информацию «предоставленную» программами типа спайдер. Database – база данных поисковых роботов, где хранятся загруженные и «изученные» страницы. Search engine results – система, которая выбирает запрашиваемый пользователем результат и выдает его в поисковой выдаче.

Конкретные механизмы функционирования и взаимодействия всех перечисленных компонентов в каждой системе различные, но, так или иначе, они присутствуют всем поисковым системам.

По каким принципам работают основные структурообразующие элементы поисковых систем? Итак, схема работы программы Spider. Программа скачивает web-страницы подобно простому пользовательскому браузеру. Отличие состоит только в том, что браузер отображает на экране все содержимое страниц, а spider обрабатывает только html-код страницы. Crawler программа, которая отвечает за поиск новых страниц, которые еще не были внесены в базу данных поискового робота. Также Crawler определяет путь, по которому будет «продвигаться» Spider. Indexer и его предназначение в поисковой системе. Действие индексатора заключаются в зондировании новых обнаруженных документов, при этом страницы им делятся на отдельные части и каждая из них изучается по отдельности.

Search Engine results engine для владельцев сайтов, является наиболее важным и интересным элементом поисковой системы. Система выдачи результатов поиска отвечает и за ранжирование страниц, то есть определяет, какая страница, на какой позиции окажется. Сортировка документов происходит у каждой поисковой системы в соответствии с конкретным алгоритмом ранжирования, а у каждой поисковой системы они различны. Но что главное, никому, кроме их создателей неизвестны. Люди занимающиеся изучением и анализом алгоритмов функционирования систем выдачи документов называются seo-оптимизаторами.