От экспертов: как настроить файл robots.txt?
Всем владельцам интернет-сайтов необходимо знать, что собой представляет файл robots.txt, зачем он нужен, и как он влияет на оптимизацию сайта. Стоит сказать, что отсутствие этого файла на сайте может привести к серьезным последствиям, вплоть до того, что сайт перестанет индексироваться, и просто исчезнет из поиска.
Файл robots.txt
Чтобы лучше понять, что такое файл robots.txt, рассмотрим простой пример. Представьте себе, что у Вас есть коробочка с какими-то вещами, которая хранится в потаенном месте. Содержимое этой коробочки представляет для Вас большую ценность, но показывать ее Вы никому не желаете. Именно такой коробочкой на сайте выступает файл robots.txt, где Вы можете разместить те категории, разделы или страницы Вашего сайта, которые нужны пользователям, но показывать их поисковым системам не нужно.
Настройка robots.txt
Прежде чем начинать настройку файла, необходимо ознакомиться с его содержимым, и посмотреть какие элементы в нем находятся.
1) User-agent: * приветствие с Роботами.
2) Disallow: / закрываем весь сайт. То есть с помощью этого файла и этой команды Вы можете закрыть весь сайт для индексирования. Такая функция будет полезна, когда Вы только занимаетесь разработкой сайта, дизайном, наполнением материала и прочим. На этапе разработки вмешательство поисковых систем может только навредить, поэтому ресурс закрывается.
3) Disallow: /detskie/ помогает закрыть раздел детских игрушек или других товаров для детей. Такая функция пригодится, когда Вы добавляете на сайт какой-то другой раздел или категорию. Принцип работы такой: Вы закрываете от индексации определенный раздел, берете у конкурента информацию с товарами и фото, добавляете на свой сайт и начинаете корректировку для уникализации. В корректировку входит добавление нового фото, уникального описания и характеристик. После того, как раздел будет готов, его можно открывать для поисковых систем.
4) Disallow: /politika.html закрывает такие разделы, как политика или любые другие юридические документы. Такие документы не имеют уникальности, но пользователям они нужны для информативности. Поисковым системам их видеть не обязательно.
5) Sitemap: http://mysite.com/sitemap.xml эта ссылка показывает поисковым роботам карту сайта, которую ему разрешено просматривать. Такая ссылка в файле robots.txt должна быть обязательно.
Все поисковые системы понимают и считывают инструкции, которые прописаны в текстовом файле. Именно благодаря специальным директивам и происходит управление поисковым роботом на Вашем сайте. Поэтому прописывать команды и выстраивать линию поведения поисковой системы нужно максимально внимательно.
Какие страницы нужно закрыть в robots.txt
В настройках файла robots.txt необходимо запомнить два основных правила, которые внесут ясность и поставят все на свои места:
- Применяйте файл для управления доступа к каталогам сервера, так как сам файл выступает своеобразным электронным знаком «Вход запрещен».
- Применяйте метатег robots чтобы избежать попадание страницы в поиск. В большинстве случаев, если на странице стоит метатег robots, она исключается из поиска.
В список запретных страниц для робота вошли такие страницы:
- Корзина покупок потребителей.
- Регистрация пользователей, и личный кабинет.
- Неадаптированные под SEO фильтры.
- Поиск по сайту.
- Неуникальные страницы, где присутствует неуникальный контент.
- Технические страницы: админка сайта, плагины, темы оформления, служебные разделы, архивы.
Визуально ознакомиться с тем, как заходит на сайт поисковый робот, и как он себя ведет, можно на картинке:
На картинке слева видно, как роботы заходят на сайт через robots.txt, где есть четкие инструкции куда можно двигаться дальше. Если же этого файла у Вас нет, то поисковый робот начнет изучать, индексировать все странички без исключения и добавлять в систему. Возможно по некоторым из страниц Вы получите какие-то позиции, но зачастую это приводит к тому, что сайт понижается в позиции, так как многие из страниц некачественные, неработающие и неуникальные.
После того, как Вы произвели настройку файла robots.txt, Вы можете проверить его работоспособность через Яндекс Вебмастер.
- Продвижение
- Веб-сайт
Олег Крицкий
Руководитель
Готовы начать?
Позвоните нам:
+7(987)10-55-799
Заинтересованы в сотрудничестве ? Вы можете заказать продвижение своего сайта прямо сейчас
Олег Крицкий
Руководитель
Готовы начать?
Позвоните нам:
+7(987)10-55-799
Заинтересованы в сотрудничестве ? Вы можете заказать создание своего сайта прямо сейчас