Файл robots.txt

Опубликовано Октябрь 13, 2012 | Опубликовал admin

Файл robots.txt

Любая работа на сайте должна быть упорядочена. Раскрутка сайта, его продвижение в большой степени зависят от отношения к нему поисковых систем. Поисковые же роботы работают по заданным алгоритмам, инструкциям. К таким алгоритмам, регулирующим работу поисковых систем, среди прочих, относится текстовый файл robots.txt. Именно поиском этого файла попав на наш сайт роботы занимаются в первую очередь. Формирование robots.txt – это одно из частей поисковой оптимизации сайта. От того, насколько правильно будет сформирован, настроен наш robots.txt, будет зависеть функционирование поисковых систем, индексация ими нашего контента, позиции сайта в выдаче, посещаемость и, в конечном итоге, заработок на сайте .

Текстовый файл robots.txt размещается на хостинге в корневой директории сайта. В нем указываются директивы — команды для поисковых систем с указанием, какие странички и файлы индексировать, а какие – нет. В нем задан адрес карты сайта sitemap.xml и прописано главное зеркало сайта (сайт с www или без www). Файл robots.txt содержит две группы директив, одна из которых конкретно для Яндекса.

Если мы сразу настраиваем «Постоянные ссылки ЧПУ», или так называемые «красивые ссылки» , то правильный robots.txt будет выглядеть:

User-agent: *

Crawl-delay: 4

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /*?*

User-agent: Yandex

Crawl-delay: 4

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /*?*

Host: ВАШСАЙТ

Sitemap: http://ВАШСАЙТ/sitemap.xml.gz

Sitemap: http://ВАШСАЙТ/sitemap.xml

Настройка файла заключается в редактировании в нем реквизитов, касательно принадлежности сайта — это в трех строчках подставляем свой адрес: «Host: НАШСАЙТ, Sitemap: http://НАШСАЙТ/sitemap.xml.gz, Sitemap: http://НАШСАЙТ/sitemap.xml; все остальное оставляем в неизменном виде. Для закачки файла на хостинг создаем его в обычном блокноте в виде текстового файла с именем «robots.txt». Для этого копируем весь приведенный текст в блокнот, там его редактируем, подставляя адрес своего сайта и сохраняем. Отредактированный файл robots.txt загружаем в корневую директорию нашего сайта. Сделать это можно или через админ панель сайта, или с помощью FTP-менеджера FileZilla. Заходим в файловый менеджер посредством Total Commander или FTP-менеджера FileZilla . В открывшейся файловой структуре нашего сайта находим domains/НАШСАЙТ/public_html/ (рисунок 1) и сюда заливаем наш текстовый файл.

Рисунок 1. Файловая структура сайта на удаленном сервере

Проверку работы файла robots.txt и при необходимости его дальнейшее редактирование удобно проводить в Вебмастере Яндекса с помощью анализатора robots.txt, как рассмотрено в статье «Как помочь роботу индексировать сайт?».

Для получения на почту статей сразу по их публикации подпишитесь на обновления сайта. Для этого достаточно внести свой E-mail и нажать кнопку «Получать статьи» в форме внизу.