Многие вебмастера пытаются разнообразить свой сайт или заработать на нем при помощи тизерной рекламы или рекламных ссылок. К сожалению, бывает, что это наносит вред сайту. Чтобы защитить сайт от негативных последствий использования подобного контента, пожалуйста, руководствуйтесь приведенными ниже рекомендациями.
Если ваш сайт ориентирован на разновозрастную аудиторию и его тематика может быть интересна как зрелым людям, так и молодому поколению — старайтесь не использовать ссылки, которые могут направлять посетителей на «взрослые» ресурсы.
То же касается и тизерных сетей. Не во всех случаях посетитель, пришедший к вам на сайт, например, по запросу [теория большого взрыва онлайн], готов увидеть рекламу эротического характера. Обычно тизерные сети позволяют самостоятельно настраивать желаемую тематику рекламы, а также ограничения на показ предлагаемой рекламы — используйте эту возможность.
источник:
...
Читать дальше »
|
Основное предназначение поисковой системы Яндекс — отвечать на вопросы. Если ваш сайт может лучше других ответить на вопрос пользователя, вероятность, что именно он займет первое место в результатах поиска по соответствующему поисковому запросу, будет максимальна. Допустим, вы или ваша компания оказываете востребованные людьми услуги в какой-то области. Тогда вы можете создать свой сайт для того, чтобы рассказать пользователям об этих услугах, прорекламировать себя, а поиск Яндекса поможет пользователям найти ответы на интересующие их вопросы, используя информацию со страниц вашего сайта. При создании сайта вам будет полезно понять, как пользователи формулируют свои потребности в виде поисковых запросов. Дело в том, что на положение страницы в результатах поиска по запросу очень сильно влияет то, насколько ее текст соответствует формулировке запроса — «текстовое соответствие». Например, если пользователь ищет какой-либо термин, а на страницах вашего сайта
...
Читать дальше »
|
Дублирование страниц — это наличие на сайте страниц с одинаковым содержанием, но доступных по разным адресам.
Например:
•http://site.com и http://site.com/index.php/,
•http://site.ru/page/ и http://site.ru/page.
Если обе страницы были проиндексированы роботом Яндекса, система индексации объединит их в группу дублей. В поисковую выдачу войдет только одна из этих страниц.
Существует множество причин появления дублирующих страниц:
•естественные причины (например, если страница с описанием товара интернет-магазина присутствует в нескольких категориях сайта);
•причины, связанные с неправильной организацией структуры сайта.
Чтобы оставить в поисковой выдаче нужную страницу, рекомендуем явно указывать ее для робота Яндекса. Это можно сделать следующими способами:
•Установите редирект 301 с одной дублирующей страницы на другую. В этом случае при поиске будет учитываться цель установленно
...
Читать дальше »
|
Каждый день Яндекс индексирует миллионы веб-страниц и добавляет их в поисковую базу. Чтобы не заполнять ее документами, которые все равно не попадут в результаты поиска, Яндекс анализирует каждый документ с помощью специального алгоритма.
Если алгоритм определяет, что страница не сможет стать одним из наиболее релевантных ответов на какой-либо запрос, то она не включается в текущую поисковую базу.
Таким образом, не все документы, которые были проиндексированы, можно увидеть в поиске Яндекса. Важно, что исключение страницы из поисковой базы никак не влияет на ее посещаемость и посещаемость сайта в целом, так как эта страница все равно не появлялась бы в поиске.
Кроме того, Яндекс продолжает переиндексировать и анализировать эти документы точно так же, как и все другие. Если на каком-то этапе алгоритм обнаружит, что страница может попасть в результаты поиска, она будет добавлена в поисковую базу.
и
...
Читать дальше »
|
Некоторые роботы могут маскироваться под роботов Яндекса путем указания соответствующего User Agent. Вы можете проверить, что робот является тем, за кого себя выдает используя идентификацию, основанную на обратных DNS запросах (reverse DNS lookup).
Для этого необходимо выполнить следующее:
• Для интересующего user-agent определите IP адрес по логам вашего сервера. Все роботы Яндекса представляются с помощью заданных User Agent.
• По полученному IP адресу определите доменное имя хоста, используя обратный DNS запрос.
• После определения имени хоста, Вы можете проверить, принадлежит ли он Яндексу. Имена всех роботов Яндекса заканчиваются на 'yandex.ru', 'yandex.net' или 'yandex.com'. Если имя хоста имеет другое окончание, это означает, что робот не принадлежит Яндексу.
• Напоследок удостоверьтесь в корректности полученного имени. Для этого нужно использовать прямой DNS запрос (forward DNS lookup), чтобы п
...
Читать дальше »
|
Что такое файл sitemap?
Файл sitemap — это файл с информацией о страницах сайта, подлежащих индексированию. Разместив этот файл на сайте, вы можете:
•сообщить Яндексу, какие страницы вашего сайта нужно индексировать;
•как часто обновляется информация на страницах;
•индексирование каких страниц наиболее важно.
Файл sitemap учитывается при индексировании сайта роботом, однако Яндекс не гарантирует, что все URL, указанные в файле, будут добавлены в поисковый индекс Яндекса.
Нужно ли создавать файл sitemap?
Обычно робот Яндекса узнает о страницах сайта, переходя по ссылкам со страницы на страницу. В большинстве случаев этого достаточно для полного индексирования сайтов. Однако робот может не найти некоторые страницы или неверно определить их важность: проблемными обычно становятся динамически создаваемые страницы или страницы, на которые можно попасть только пройдя по длинной цепочке ссылок
...
Читать дальше »
|
Мета-теги
Мета-теги позволяют вебмастерам указывать метаданные о странице сайта. Ряд мета-тегов также используется роботами поисковых систем. Робот Яндекса учитывает содержание следующих тегов:
• <meta name="Keywords" content="..."/> — может учитываться при определении соответствия страницы поисковым запросам,
• <meta name="Description" content="..."/> — содержание данного тега может использоваться в сниппетах (описаниях сайтов на странице результатов поиска),
• <meta http-equiv="Content-Type" content="type; charset=..."/> — робот может учитывать этот тег при определении типа документа и его кодировки,
• <meta http-equiv="refresh" content="N;url=_адрес цели перенаправления_"/> — перенаправление (редирект) пользователя на страницу с адресом URL, после N секунд нахождения на данной странице. При небольших значениях N считается временным перенаправлением, аналогичным серверным редиректам с HTTP-ко
...
Читать дальше »
|
Чтобы ускорить появление страниц сайта в Поиске:
• Запретите в файле robots.txt индексирование страниц, неинтересных пользователям. Например, формы ответа на форуме, статистику посещений, страницы с результатами поиска, сайты-зеркала, документы на нераспространенных в рунете языках.
• Создайте файл sitemap с дополнительной информацией о страницах сайта, подлежащих индексированию.
• Создайте страницу или несколько страниц, которые содержат ссылки на все документы сайта.
• Настройте сервер на выдачу правильного HTTP-статуса (например, если страница не существует, сервер должен отправлять HTTP-статус 404 Not Found).
источник: https://yandex.ru/support/webmaster/robot-workings/helping-robot.xml
|
Кириллические доменные имена и адреса страниц индексируются нашим роботом наравне с остальными, но есть ряд случаев, когда необходимо использовать их в cконвертированном виде, так как этого могут требовать определенные стандарты:
• Использование кириллицы запрещено в файлах robots.txt и http-заголовках сервера.
Для указания имен доменов используется Punycode. Адреса страниц записываются в кодировке, соответствующей кодировке текущей структуры сайта.
Пример файла robots.txt:
#Неверно:
User-agent: Yandex
Disallow: /корзина
Host: интернет-магазин.рф
#Верно:
User-agent: Yandex
Disallow: /%D0%BA%D0%BE%D1%80%D0%B7%D0%B8%D0%BD%D0%B0
Host: xn----8sbalhasbh9ahbi6a2ae.xn--p1ai
• Рекомендуется использовать одинаковую кодировку для страниц сайта и кириллических адресов в его структуре, так как встретив ссылку href="/корзина" на странице с кодировкой, например, UTF-8 робот сохранит ее именно в этой кодировке, а значит о
...
Читать дальше »
|
Сайты, которые предоставляют версии документов на разных языках, могут сообщить об этих версиях Яндексу с помощью атрибута hreflang. Используя значение атрибута, робот Яндекса может определить, какую именно версию страницы лучше показать в результатах поиска конкретному пользователю.
Атрибут hreflang рекомендуется использовать в следующих случаях:
• Версии страницы отличаются только языком шаблона. Это справедливо, например, для сайтов с пользовательским контентом. Текст поста на форуме или в блоге обычно остается тем же, а элементы навигации, шапка и подвал могут быть показаны на разных языках.
• Версии страницы — на одном языке, но отличаются в мелких деталях. Например, слегка различающиеся английские тексты могут быть адресованы пользователям из США, Ирландии и Австралии.
• Каждая версия страницы — полный и точный перевод страницы на основном языке сайта.
Разметка локализованных страниц
Каждая версия страницы
...
Читать дальше »
|
|
