|
Некоторые роботы могут маскироваться под роботов Яндекса путем указания соответствующего User Agent. Вы можете проверить, что робот является тем, за кого себя выдает используя идентификацию, основанную на обратных DNS запросах (reverse DNS lookup).
Для этого необходимо выполнить следующее: • Для интересующего user-agent определите IP адрес по логам вашего сервера. Все роботы Яндекса представляются с помощью заданных User Agent. • По полученному IP адресу определите доменное имя хоста, используя обратный DNS запрос. • После определения имени хоста, Вы можете проверить, принадлежит ли он Яндексу. Имена всех роботов Яндекса заканчиваются на 'yandex.ru', 'yandex.net' или 'yandex.com'. Если имя хоста имеет другое окончание, это означает, что робот не принадлежит Яндексу. • Напоследок удостоверьтесь в корректности полученного имени. Для этого нужно использовать прямой DNS запрос (forward DNS lookup), чтобы п ... Читать дальше » |
|
Что такое файл sitemap?
Файл sitemap — это файл с информацией о страницах сайта, подлежащих индексированию. Разместив этот файл на сайте, вы можете: •сообщить Яндексу, какие страницы вашего сайта нужно индексировать; •как часто обновляется информация на страницах; •индексирование каких страниц наиболее важно. Файл sitemap учитывается при индексировании сайта роботом, однако Яндекс не гарантирует, что все URL, указанные в файле, будут добавлены в поисковый индекс Яндекса. Нужно ли создавать файл sitemap? Обычно робот Яндекса узнает о страницах сайта, переходя по ссылкам со страницы на страницу. В большинстве случаев этого достаточно для полного индексирования сайтов. Однако робот может не найти некоторые страницы или неверно определить их важность: проблемными обычно становятся динамически создаваемые страницы или страницы, на которые можно попасть только пройдя по длинной цепочке ссылок ... Читать дальше » |
|
Мета-теги
Мета-теги позволяют вебмастерам указывать метаданные о странице сайта. Ряд мета-тегов также используется роботами поисковых систем. Робот Яндекса учитывает содержание следующих тегов: • <meta name="Keywords" content="..."/> — может учитываться при определении соответствия страницы поисковым запросам, • <meta name="Description" content="..."/> — содержание данного тега может использоваться в сниппетах (описаниях сайтов на странице результатов поиска), • <meta http-equiv="Content-Type" content="type; charset=..."/> — робот может учитывать этот тег при определении типа документа и его кодировки, • <meta http-equiv="refresh" content="N;url=_адрес цели перенаправления_"/> — перенаправление (редирект) пользователя на страницу с адресом URL, после N секунд нахождения на данной странице. При небольших значениях N считается временным перенаправлением, аналогичным серверным редиректам с HTTP-ко ... Читать дальше » |
|
Чтобы ускорить появление страниц сайта в Поиске:
• Запретите в файле robots.txt индексирование страниц, неинтересных пользователям. Например, формы ответа на форуме, статистику посещений, страницы с результатами поиска, сайты-зеркала, документы на нераспространенных в рунете языках. • Создайте файл sitemap с дополнительной информацией о страницах сайта, подлежащих индексированию. • Создайте страницу или несколько страниц, которые содержат ссылки на все документы сайта. • Настройте сервер на выдачу правильного HTTP-статуса (например, если страница не существует, сервер должен отправлять HTTP-статус 404 Not Found). источник: https://yandex.ru/support/webmaster/robot-workings/helping-robot.xml |
|
Кириллические доменные имена и адреса страниц индексируются нашим роботом наравне с остальными, но есть ряд случаев, когда необходимо использовать их в cконвертированном виде, так как этого могут требовать определенные стандарты:
• Использование кириллицы запрещено в файлах robots.txt и http-заголовках сервера. Для указания имен доменов используется Punycode. Адреса страниц записываются в кодировке, соответствующей кодировке текущей структуры сайта. Пример файла robots.txt: #Неверно: User-agent: Yandex Disallow: /корзина Host: интернет-магазин.рф #Верно: User-agent: Yandex Disallow: /%D0%BA%D0%BE%D1%80%D0%B7%D0%B8%D0%BD%D0%B0 Host: xn----8sbalhasbh9ahbi6a2ae.xn--p1ai • Рекомендуется использовать одинаковую кодировку для страниц сайта и кириллических адресов в его структуре, так как встретив ссылку href="/корзина" на странице с кодировкой, например, UTF-8 робот сохранит ее именно в этой кодировке, а значит о ... Читать дальше » |
|
Сайты, которые предоставляют версии документов на разных языках, могут сообщить об этих версиях Яндексу с помощью атрибута hreflang. Используя значение атрибута, робот Яндекса может определить, какую именно версию страницы лучше показать в результатах поиска конкретному пользователю.
Атрибут hreflang рекомендуется использовать в следующих случаях: • Версии страницы отличаются только языком шаблона. Это справедливо, например, для сайтов с пользовательским контентом. Текст поста на форуме или в блоге обычно остается тем же, а элементы навигации, шапка и подвал могут быть показаны на разных языках. • Версии страницы — на одном языке, но отличаются в мелких деталях. Например, слегка различающиеся английские тексты могут быть адресованы пользователям из США, Ирландии и Австралии. • Каждая версия страницы — полный и точный перевод страницы на основном языке сайта. Разметка локализованных страниц Каждая версия страницы ... Читать дальше » |
|
Список распознаваемых и индексируемых языков приведен ниже. Двухбуквенные коды языков соответствуют стандарту ISO 639-1.
Список поддерживаемых языков постоянно пополняется. Поддерживаемые языки • азербайджанский (az) • албанский (sq) • английский (en) • арабский (ar) • армянский (hy) • башкирский (ba) • белорусский (be) • болгарский (bg) • венгерский (hu) • греческий (el) • грузинский (ka) • датский (da) • иврит (he) • испанский (es) • итальянский (it) • казахский (kk) • каталанский (ca) • латышский (lv) • литовский (lt) • македонский (mk) • немецкий (de) • нидерландский (nl) • норвежский (no) • персидский (fa) • польский (pl) • португальский (pt) • румынский (ro) • русский (ru) • сербский (sr) • словацкий (sk) • словенский (sl) • татарский (tt) • турецкий (tr) • украинский (uk) • финский (fi) • французск ... Читать дальше » |
|
Яндекс индексирует не только HTML документы. Кроме них индексируются документы следующих типов: PDF, Flash (Adobe Systems); DOC/DOCX, XLS/XLSX, PPT/PPTX (MS Office); ODS, ODP, ODT, ODG (Open Office); RTF, TXT.
Существуют некоторые ограничения на типы индексируемых данных: • В документах PDF индексируется только текстовое содержимое. Текст, представленный в виде картинок, не индексируется. • Во flash документе индексируется текст, который размещен в блоках: DefineText, DefineText2, DefineEditText, Metadata. Ссылки индексируются, если они размещены в блоках: DoAction, DefineButton, DefineButton2. • Следует учитывать, что после выхода новых версий программ реализация поддержки новых форматов может занять некоторое время. • Документы больше 10 МБ не индексируются. источник: ... Читать дальше » |
|
Робот Яндекса может проиндексировать AJAX-сайт, если структура сайта подчиняется определенным правилам.
Каждая индексируемая AJAX-страница должна иметь HTML-версию. Чтобы показать роботу наличие HTML-версии страницы, включите восклицательный знак в URL страницы: http://www.example.com/#blog > http://www.example.com/#!blog Обнаружив в ссылке на страницу сочетание «#!», робот запросит HTML-версию. 1. HTML-версия каждой AJAX-страницы должна быть доступна по адресу, в котором сочетание «#!» заменено на параметр «?_escaped_fragment_=». Для приведенного примера HTML-версия страницы расположена по адресу http://www.example.com/?_escaped_fragment_=blog. Во всех найденных ссылках робот заменяет сочетание «#!» на параметр «?_escaped_fragment_=» и обращается по измененному адресу (ссылки, содержащие «#!», также можно использовать в карте сайта). 2. HTML-версия главной страницы должна быть доступна по адре ... Читать дальше » |
|
Я добавил сайт, а он до сих пор не проиндексирован!
Возможно, с момента добавления прошло слишком мало времени. Добавление URL не гарантирует, что он будет проиндексирован вообще, это лишь один из способов сообщить роботу поисковой системы, что появился новый сайт. Добавление полезно, если на сайт еще нет ссылок с других сайтов или их число незначительно — так робот быстрее его обнаружит. Примечание. Проверьте, не было ли сбоев на сервере в момент обращения к нему робота Яндекса. Если сервер выдает ошибку, робот прекращает индексирование и сделает следующую попытку в порядке общего обхода. Сотрудники Яндекса не могут ускорить добавление страниц в поисковую базу. Сколько времени надо ждать, чтобы сайт попал в Яндекс? Мы не прогнозируем сроки индексирования сайтов и не даем гарантий, что тот или иной сайт будет проиндексирован. Как правило, от момента узнавания роботом о сайте до появления его стран ... Читать дальше » |
