Индексация сайта поисковыми системами

Индексация сайта поисковыми системами

Индексация сайта – процесс сканирования страниц сайта поисковым роботом (ботом, пауком). Просканированные страницы добавляются в базу данных поисковой системы.

Почему индексация сайта так важна?

Поисковая система осуществляет поиск не по всем сайтам, а только по находящимся в ее индексе. Если документ релевантен запросу, но еще не проиндексирован, то в поисковой выдаче его не будет. Поэтому индексация важна в том, что такое SEO-оптимизация.

Представьте ситуацию: у вас есть сайт, но он по каким-то причинам не проиндексирован. Клиенты ищут в Google или Яндекс ваши товары и услуги, идут к конкурентам, а вы не понимаете, что происходит. Неприятно, не так ли? Поэтому владельцу сайта важно понимать, что такое индексация сайта в поисковых системах. И следить за ней. Важно сразу ускорять индексацию новых или измененных страниц сайта. Читайте подробнее о том, что делать сразу после размещения новой статьи.

Поисковые роботы не зря называют пауками. Они сканируют страницы, находят на них ссылки на другие документы, переходят по ним и сканируют дальше.

Ваш сайт не добавлен в панели для вебмастеров и на него нет ссылок? Поисковые роботы не смогут его найти и проиндексировать.

Ошибки индексации

Убедитесь, что ваш сайт вообще открыт для поисковых роботов. Это очень распространенная проблема. Часто разработчики, когда делают сайт, закрывают его от индексации. Когда разработчики сдают проект заказчику, то они могут забыть открыть сайт для роботов. Владелец сайта может не знать об этом и ждать появления сайта в поиске. Когда у меня заказывают аудит сайта, то проблема с индексацией одна из лидирующих.

robots.txt

Есть два способа закрыть (и открыть) сайт и отдельные его страницы для поисковых роботов. Первый – файл robots.txt. Данный файл лежит в корневом каталоге сайта и может быть найдет по адресу https://вашсайт.ru/robots.txt

Данный файл создается специально для поисковых роботов и содержит перечень страниц, индексация которых не нужна. Это могут быть служебные страницы типа корзины, авторизации, восстановления пароля и так далее. Но нередко в этот файл попадают и нужные страницы.

В первую очередь нужно убедиться, в что в файле нет директивы

Именно Disallow: / полностью закрывает сайт от индексации.

Также следует убедиться, что в файле не блокируются нужные страницы.

Лучшая тактика: заранее погуглить шаблон robots.txt для вашего движка на этапе выбора CMS и после запуска сайта залить файл в корень.

Если ваш сайт на WordPress, то вот небольшой бонус: составленный мной robots.txt для большинства сайтов на данном движке.

Если ваш сайт использует AMP, то в robots.txt предусмотрена директива Disallow: /*amp/ для Яндекса. Можете ее убрать, если не используете AMP. Также не забудьте подставить адрес вашего sitemap в конце файла.

Noindex

Второй распространенный спопособ закрыть страницу от роботов – специальный мета-тег. Находится в блоке <head> и выглядит он так:

Noindex означает, что поисковикам не следует индексировать страницу. Nofollow – переходить по всем ссылкам на ней. Если помните, паук индексирует страницу и переходит по ссылкам на ней. Так страница и ссылки будут индексироваться без проблем:

Убедившись, что сайт открыт для поисковых роботов, переходим к следующему этапу.

Как проиндексировать сайт?

Управлять индексацией напрямую нельзя. Но мы можем сообщать поисковикам, какие страницы нужно проиндексировать в первоочередном порядке. Но даже использование данных приемов не гарантирует, что поисковые системы проиндексируют сайт быстро.

В первую очередь необходимо добавить сайт в Google Search Console и в Яндекс.Вебмастер. Если сайт добавлен – он уже поставлен в очередь на индексацию.

Аддурилки

Есть инструмент, который позволяет добавлять в поисковую базу страницы сравнительно быстро. Они называются “аддурилки” – от английского Add URL (добавить URL).

Аддурилка Google

В Google данный инструмент находится здесь и он очень прост в работе. В поле добавляем URL нужной нам страницы, вводим капчу и нажимаем кнопку. После использования аддурилки страницы могут попасть в индекс в течение суток. Но это не точно. У меня бывали случаи, когда это занимало до двух недель. Как я уже говорил, напрямую управлять данным процессом мы не можем.

Еще одним достоинством гугловской аддурилки является то, что отправлять на индексацию можно абсолютно любые URL. Даже тех сайтов, которых нет в нашей Search Console. Это позволяет быстрее индексировать страницы с ссылками на наш сайт.

Аддурилка Google

Аддурилка Яндекс

В Яндексе данный инструмент выглядит немного иначе. Сайт должен быть добавлен в панель Яндекс.Вебмастер, так что добавлять левые URL нельзя. В самом Вебмастере есть инструмент “Переобход страниц”. Здесь можно добавлять на индексацию новые и запрашивать переобход уже существующих страниц. Яндекс работает иначе, поэтому страницы в индексе появятся не ранее, чем через неделю.

Аддурилка Яндекс

Обратные ссылки

Как уже говорилось выше, поисковый робот переходит по ссылкам и индексирует страницы. Поэтому логичным методом является получение ссылок на других сайтах для индексации и получения траста сайта. Лучшей тактикой является размещение ссылок на авторитетных ресурсах той же тематики. Получить такие ссылки бесплатно почти невозможно, поэтому обычно их покупают. Купить можно через биржи ссылок (Sape, Miralinks, GGL и т. д.). Либо с помощью аутрича – прямой договоренности с владельцем сайта о размещении ссылки. Но это больше относится к линкбилдингу, что не является темой данной статьи.

К бесплатным методам можно отнести крауд-маркетинг. Для индексации сайта достаточно оставить несколько сообщений со ссылками на форумах схожей тематики. Для ускорения можно добавить страницы форумов, содержащие ваши ссылки, в аддурилку.

Социальные сети

Расшаривание страниц сайта в социальных сетях также является отличным способом ускорения индексации сайта. Довольно быстро индексируются ссылки из Twitter и Facebook. Очень кстати будут ссылки из Google+. Хотя данная соцсеть и стоит в тени гиганта Цукерберга. А вот ссылки из Вконтакте идут через редирект, поэтому быстрого эффекта не предвидится.

Вывод

Мы узнали, что такое индексация сайта в поисковых системах. Узнали, что из-за проблем с индексацией бизнес может потерять время, клиентов и деньги. Узнали и то, что зачастую проблемы с индексацией находятся на стороне самого сайта. Также мы узнали различные способы управления и ускорения индексации сайтов.

Пожалуйста, оцените статью:
1 звезда2 звезды3 звезды4 звезды5 звёзд (6 оценок, среднее: 4,83 из 5)
Загрузка…

Автор блога. SEO-специалист, веб-мастер. Консультирую по вопросам интернет-маркетинга, провожу аудиты сайтов.

Понравилась статья? Поделиться с друзьями:
Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: