Всем привет!
В этой статье я расскажу о том, что такое индексация сайта. Уверен, многие прекрасно понимают значение этого термина, но я постараюсь рассмотреть его более глубоко.
Мы поговорим о том, как улучшить индексацию сайта, какие действия нужно выполнить для того, чтобы поисковые роботы относились к проекту лояльно. Также мы кратко затронем тему требований поисковых систем и санкций за их невыполнение.
Давайте начинать!
Определение
Представьте, что сайт – это документ или несколько документов с информацией. Поисковая система – сборник таких документов, работающий по определенным правилам. Он помогает пользователям в кратчайшие сроки найти документ с нужной информацией. Для этого необходимо проверить каждый документ, посмотреть, какого рода в нем информация, после чего разместить его где-то относительно других документов. Это и есть индексация.
Индексация – это добавление информации о сайте в базы данных поисковиков.
Роботы приходят, сканируют весь контент, если все хорошо, – контент заносится в поисковые базы и начинает ранжироваться относительно других проектов.
После этого материалы попадают в поисковую выдачу. Позиция в поисковой выдаче может зависеть от качества материалов, самого ресурса, технической и внешней SEO-оптимизации и других факторов.
Поисковые системы заинтересованы в том, чтобы их пользователи получали качественные материалы в выдаче. По этой причине поисковая оптимизация претерпела очень много изменений за последние годы.
Раньше вебмастеры старались угодить роботам, делая свои проекты максимально “удобными” для индексации. Сейчас же роботы научились отличать “сеошный” бесполезный контент, от качественного и адекватного.
Поэтому для хорошей индексации не хватит простой SEO-оптимизации. Нужно понимать, что сейчас поисковые системы отдают предпочтение ресурсам с хорошими поведенческими факторами. Их можно добиться только при разработке проекта для людей.
За переоптимизацию или создание некачественного бесполезного контента ресурс может попасть под санкции. Это может включать в себя как простое снижение приоритета, так и полный запрет индексации со стороны поисковиков – материалы проекта удаляются из поисковых баз данных и больше никогда туда не попадают.
Если устранить все ошибки и больше никогда не допускать их, поисковики возвращают сайт к нормальному состоянию. Для этого придется написать в техническую поддержку с просьбой о проверке текущего состояния проекта.
У каждой поисковой системы есть свои правила. В большинстве своем они почти ничем не отличаются, поэтому вебмастеры стараются оптимизировать свои проекты сразу и для всех.
Особенности работы с поисковыми системами
Яндекс и Гугл – два наиболее популярных поисковика в России и СНГ. В основном люди, работающие с информационными проектами, стараются оптимизировать их именно под эти сервисы.
Когда вы только создаете свой сайт, то поисковые системы еще ничего не знают о нем. Поэтому для того, чтобы ресурс попал в поисковую выдачу, вы должны каким-то образом сообщить сервисам о том, что он существует.
Для этого можно использовать два способа:
Способ 1. Разместить ссылку на каких-то сторонних проектах.
В этом случае проект будет проиндексирован максимально быстро. Поисковик посчитает, что ваш сайт полезный и интересный, поэтому он сразу направит роботов для анализа содержимого.
Способ 2. Сообщить поисковикам о ресурсе при помощи специальных инструментов.
В Яндексе и Гугле есть специальные сервисы для вебмастеров. С их помощью вы сможете отслеживать состояние своих ресурсов относительно поисковых систем: смотреть статистику, количество показов, кликов, добавленные или удаленные страницы и т. д.
При добавлении сайта в эти инструменты вы сообщаете поисковикам о том, что проект существует. И если нет никаких запретов через Robots.txt или мета-теги, то он будет проиндексирован и добавлен в выдачу.
Срок добавления сайта в базу данных может быть разным: от нескольких дней до недели. Но обычно с этим не затягивают, особенно если ресурс добавлен в Yandex.Webmaster и Search Console.
Не забывайте, что добавление в базу данных – еще не означает, что материалы сайта сразу будут доступны по определенным запросам. Для этого может понадобиться дополнительное время. Роботы тщательно изучат содержимое проекта, и только после этого статьи будут доступны к показу по запросам.
Если вы решите не открывать ресурс сразу, а подождать, пока он заполнится определенным количеством материалов, то после отправки на анализ может пройти чуть больше времени. То есть, чем больше информации на проекте, тем дольше придется ждать полной индексации.
В среднем между отправкой сайта в сервис и появлением статей в выдаче проходит 1 – 2 недели.
Помимо вышеописанных способов добавления ресурса в поисковую базу, существует еще один, менее эффективный. Вам просто нужно ввести в поисковую строку следующие команды:
- Для Яндекса: Host: Название + site.ru.
- Для Google: Site: Название + site.ru, где site.ru – ваш домен.
Также вы можете попробовать добавить ресурс при помощи автоматических сервисов. Какой будет результат – неизвестно. Но я полагаю, что эти сервисы просто воспользуются командами или размещением ссылки где-либо.
Как проверить индексацию
Проверка индексации – тоже очень важный момент. Нужно удостовериться, что все страницы были восприняты как надо.
Если вы добавили сайт через инструменты для вебмастеров, то статус индексации можно узнать прямо там – в соответствующем разделе. В нем будет дана подробная информация о том, когда робот посещал страницу последний раз, какой статус он ей присвоил и т. д.
Также вы можете проверить статус при помощи строки поиска. Для необходимо воспользоваться специальными операторами. Их можно найти в документации для Яндекса и Гугла.
Если вам нужна массовая проверка, то вы можете воспользоваться специальными сервисами:
- Raskruty,
- SEOGadget.
Отправление страницы на переобход
Если вы хотите, чтобы робот обошел материал еще раз, то вам необходимо отправить страницу на переобход. Это можно сделать при помощи панелей для вебмастеров.
В Яндекс.Вебмастере
Перейдите в “Индексирование” – “Переобход страниц”.
Введите адреса нужных документов в столбик – одна ссылка – одна строка. После этого нажмите кнопку “Отправить”. В течение нескольких часов робот Яндекса вновь проиндексирует материал.
В Search Console
Нужно ввести нужный адрес в поле в верхней панели – далее кликнуть на кнопку “Запросить индексирование”.
Как ускорить индексацию
Чтобы ускорить индексацию, вы должны соблюсти несколько требований. В первую очередь, это добавление ресурса в поисковую систему – желательно через сервис для вебмастеров. Далее следуют повседневные рекомендации, выполняя которые, вы можете добиться ускорения этого процесса.
- Добавлять на сайт интересный контент. Будет лучше, если размещение материалов на ресурсе будет носить регулярный характер. В таком случае высока вероятность того, что на вашем проекте будут обитать быстроботы – они индексируют статьи в течение нескольких часов.
- Оптимизировать скорость загрузки при помощи сжатия картинок, оптимизации HTML, CSS, JS. Будет хорошо, если вы подберете для своего проекта быстрый виртуальный хостинг.
- Сформировать правильную структуру сайта, добавить функционал для удобной навигации. Поисковики могут оценивать, насколько ваш ресурс удобен для пользователей.
- Настроить перелинковку между материалами, рубриками и прочими страницами. Когда робот анализирует какую-то страницу со ссылками, он автоматически еще и индексирует те документы, на которые эти ссылки ведут.
- Создать правильный robots.txt. Вы должны закрыть ненужные технические страницы, оставив только само содержимое. Так в ранжирование не будет попадать мусор, это гарантирует, что ПС будут чаще посещать ваш проект.
- Создать XML-карту сайта и добавить ее в Яндекс Вебмастер и Search Console. С помощью этой карты Яндекс и Гугл будут ориентироваться по материалам. Это в значительной мере улучшит скорость анализа. Также можно сделать обычную карту сайта для пользователей. С ее помощью ваши гости смогут легко находить нужные статьи или рубрики. Это улучшит поведенческие факторы и видимость в ПС.
- Создать профили своего проекта в социальных сетях и регулярно размещать там ссылки на статьи. Это элемент крауд-маркетинга, который сейчас очень хорошо воспринимается ПС.
- Регулярно проверять сайт на ошибки и устранять их. Самые серьезные будут отображаться в сервисах для вебмастеров. Также вы можете закидывать ресурс на валидатор, чтобы определить ошибки в HTML/CSS-коде.
Раньше для этих целей использовали пингование. Оповещение ПС при помощи специальных плагинов или сервисов о выходе нового поста. Сейчас такой формат почти не используется. Яндекс и Гугл ограничили этот функционал, теперь в прежнем варианте пинг использовать нельзя.
Как закрыть сайт от индексации
Для этого мы можем использовать два способа:
- Через Robots.txt
Просто нужно удалить все содержимое этого файла, добавив вместо него:
User-agent: *
Disallow: /
С помощью этой строчки вы скажете всем поисковым роботам, что ваш ресурс индексировать не нужно – ни одной странички. Если до этого какие-то материалы попали в ранжирование – они будут удалены.
Также можно запретить индексацию для роботов какой-то отдельной поисковой системы. Для этого вместо звездочки, в User-agent: вы должны ввести название этого робота. Например, Yandex – для Яндекса, Googlebot – для Google.
Когда вы передумаете, вам нужно будет просто удалить этот код и добавить вместо него нормальное содержимое файла.
- С помощью мета-тегов
На каждой странице должны быть размещены следующие мета-теги:
<,meta name=robots content=noindex, nofollow/>,
<,meta name=Yandex content=noindex, nofollow/>, – если хотим закрыть для какой-то конкретной ПС, то в поле name вставляем имя робота.
Разместить такие мета-теги можно при помощи плагина Yoast SEO. В нем есть отдельные параметры, которые отвечают за индексацию. Можно закрыть как отдельную страницу, так и весь ресурс в целом.
Закрывать от индексации отдельные страницы при помощи мета-тегов считается хорошим тоном. Это и проще, и быстрее – не надо по многу раз дополнять файл robots.txt.
Заключение
Для того, чтобы ваш сайт хорошо индексировался, вы должны соблюдать совсем несложные требования. Нужно просто добавить его в Яндекс Вебмастер и Search Console, следить за регулярным выходом качественных материалов, своевременно исправлять ошибки и не нарушать правил.
Все это гарант того, что ваш проект будет на хорошем счету у роботов. А это, в свою очередь, будет иметь материальное значение. Ваши статьи будут выше в выдаче, дохода будет больше.
Некоторым новичкам бывает очень сложно разобраться со всеми тонкостями SEO-оптимизации. Очень много разной информации и не всегда она правильная. Если вы один из таких новичков, то я рекомендую вам пройти курс Василия Блинова “Как создать сайт”.
Из материалов с этого курса вы сможете узнать о том, как создать собственный информационный проект под монетизацию. Там рассмотрены наиболее важные нюансы, которые должен учитывать каждый вебмастер.