Воскресенье, 11.04.2021, 23:24
Приветствую Вас, Гость
Главная » 2015 » Ноябрь » 5 » Индексирование сайтов роботами Яндекс
23:10
Индексирование сайтов роботами Яндекс
Робот (англ. crawler) хранит список URL, которые он может проиндексировать, и регулярно выкачивает соответствующие им документы. Если при анализе документа робот обнаруживает новую ссылку, он добавляет ее в свой список. Таким образом, любой документ или сайт, на который есть ссылки, может быть найден роботом, а значит, и поиском Яндекса.

Какие бывают индексирующие роботы

В Яндексе есть несколько видов роботов, которые выполняют разные функции. Например, есть робот, который индексирует rss-ленту для поиска по блогам. Или робот, который индексирует только картинки. Самый важный — основной индексирующий робот, функция которого — поиск и индексирование информации для формирования базы основного поиска.

В помощь основному есть быстрый робот — он предназначен для оперативного индексирования свежей, актуальной на данный момент информации. Если среди проиндексированных страниц своего сайта вы видите две копии какого-либо документа — скорее всего это означает, что помимо основного робота документ также был проиндексирован и быстрым роботом.

источник: https://yandex.ru/support/webmaster/robot-workings/robot.xml
Категория: Школа WEB MASTERA | Просмотров: 445 | Добавил: Admin4638 | Теги: Индексирование сайтов роботами Янде | Рейтинг: 0.0/0
Всего комментариев: 0
avatar