Файл robots.txt
Файл robots.txt
Любая работа на сайте должна быть упорядочена. Раскрутка сайта, его продвижение в большой степени зависят от отношения к нему поисковых систем. Поисковые же роботы работают по заданным алгоритмам, инструкциям. К таким алгоритмам, регулирующим работу поисковых систем, среди прочих, относится текстовый файл robots.txt. Именно поиском этого файла попав на наш сайт роботы занимаются в первую очередь. Формирование robots.txt – это одно из частей поисковой оптимизации сайта. От того, насколько правильно будет сформирован, настроен наш robots.txt, будет зависеть функционирование поисковых систем, индексация ими нашего контента, позиции сайта в выдаче, посещаемость и, в конечном итоге, заработок на сайте .
Текстовый файл robots.txt размещается на хостинге в корневой директории сайта. В нем указываются директивы — команды для поисковых систем с указанием, какие странички и файлы индексировать, а какие – нет. В нем задан адрес карты сайта sitemap.xml и прописано главное зеркало сайта (сайт с www или без www). Файл robots.txt содержит две группы директив, одна из которых конкретно для Яндекса.
Если мы сразу настраиваем «Постоянные ссылки ЧПУ», или так называемые «красивые ссылки» , то правильный robots.txt будет выглядеть:
User-agent: *
Crawl-delay: 4
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
User-agent: Yandex
Crawl-delay: 4
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Host: ВАШСАЙТ
Sitemap: http://ВАШСАЙТ/sitemap.xml.gz
Sitemap: http://ВАШСАЙТ/sitemap.xml
Настройка файла заключается в редактировании в нем реквизитов, касательно принадлежности сайта — это в трех строчках подставляем свой адрес: «Host: НАШСАЙТ, Sitemap: http://НАШСАЙТ/sitemap.xml.gz, Sitemap: http://НАШСАЙТ/sitemap.xml; все остальное оставляем в неизменном виде. Для закачки файла на хостинг создаем его в обычном блокноте в виде текстового файла с именем «robots.txt». Для этого копируем весь приведенный текст в блокнот, там его редактируем, подставляя адрес своего сайта и сохраняем. Отредактированный файл robots.txt загружаем в корневую директорию нашего сайта. Сделать это можно или через админ панель сайта, или с помощью FTP-менеджера FileZilla. Заходим в файловый менеджер посредством Total Commander или FTP-менеджера FileZilla . В открывшейся файловой структуре нашего сайта находим domains/НАШСАЙТ/public_html/ (рисунок 1) и сюда заливаем наш текстовый файл.
Проверку работы файла robots.txt и при необходимости его дальнейшее редактирование удобно проводить в Вебмастере Яндекса с помощью анализатора robots.txt, как рассмотрено в статье «Как помочь роботу индексировать сайт?».
Для получения на почту статей сразу по их публикации подпишитесь на обновления сайта. Для этого достаточно внести свой E-mail и нажать кнопку «Получать статьи» в форме внизу.
Нравится
Долго не могла разобраться как работать с robots.txt ,пока не нашла эту статью https://ifish2.ru/fail-robots-txt-chto-eto-takoe/ .
Эти ребята помогли мне разобраться с файлом и даже помогли исправить мои ошибки!! Теперь мой сайт работает как надо))
У меня роботс тхт немного отличается, но может быть это тоже не плохой вариант всё таки он установлен ещё в школе стартапа. А может и устарел. На всякий случай я Ваш скопировала не найдётся ли у Вас время проверить мой роботс.
Я тоже в Вебмастере Яндекса проверялса свой robots.txt, удобный сервис.