Рассылка блога

Форма подписки

Подпишись на обновления сайта. Получай новые статьи на почту:

Напишите мне

Your message was successfully sent.
Thank You!

Яндекс.Метрика
Яндекс цитирования
DevilArt.name - cервис анализа сайтов
Счетчик PR-CY.Rank
Счетчик PR-CY.Rank

Файл robots.txt


Файл robots.txt

          Файл robots.txtЛюбая работа на сайте должна быть упорядочена. Раскрутка сайта, его продвижение в большой степени зависят от отношения к нему поисковых систем. Поисковые же роботы работают по заданным алгоритмам, инструкциям. К таким алгоритмам, регулирующим работу поисковых систем, среди прочих, относится текстовый файл robots.txt. Именно поиском этого файла попав на наш сайт роботы занимаются в первую очередь. Формирование robots.txt – это одно из частей поисковой оптимизации сайта. От того, насколько правильно будет сформирован, настроен наш robots.txt, будет зависеть функционирование поисковых систем, индексация  ими нашего контента, позиции сайта в выдаче,  посещаемость  и, в конечном итоге, заработок на сайте .

          Текстовый файл robots.txt размещается на хостинге в корневой директории сайта. В нем указываются директивы — команды для поисковых систем с указанием, какие странички и файлы индексировать, а какие – нет. В нем задан адрес карты сайта sitemap.xml и прописано главное зеркало сайта (сайт с www или без www). Файл robots.txt содержит две группы директив, одна из которых конкретно для Яндекса.

          Если мы сразу  настраиваем «Постоянные ссылки ЧПУ», или так называемые «красивые ссылки» , то правильный robots.txt  будет выглядеть:

User-agent: *

Crawl-delay: 4

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /*?*

 

User-agent: Yandex

Crawl-delay: 4

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /*?*

Host: ВАШСАЙТ

 

Sitemap: http://ВАШСАЙТ/sitemap.xml.gz  

Sitemap: http://ВАШСАЙТ/sitemap.xml

          Настройка файла заключается в редактировании в нем реквизитов, касательно принадлежности сайта — это  в трех строчках подставляем свой адрес: «Host: НАШСАЙТ, Sitemap: http://НАШСАЙТ/sitemap.xml.gz, Sitemap: http://НАШСАЙТ/sitemap.xml; все остальное оставляем в неизменном виде. Для закачки файла на хостинг создаем его в обычном блокноте в виде текстового файла с именем «robots.txt». Для этого копируем весь приведенный текст в блокнот, там его редактируем, подставляя адрес своего сайта и сохраняем. Отредактированный файл robots.txt загружаем в корневую директорию нашего сайта. Сделать это можно или через админ панель сайта, или с помощью FTP-менеджера FileZilla. Заходим в файловый менеджер посредством Total Commander или FTP-менеджера    FileZilla . В открывшейся файловой структуре нашего сайта находим domains/НАШСАЙТ/public_html/ (рисунок 1) и сюда заливаем наш текстовый файл.

Файл robots.txt

Рисунок 1. Файловая структура сайта на удаленном сервере

          Проверку работы файла robots.txt и при необходимости его дальнейшее редактирование удобно проводить в Вебмастере Яндекса с помощью анализатора  robots.txt, как рассмотрено в статье «Как помочь роботу индексировать сайт?».

          Для получения на почту статей сразу по их публикации подпишитесь на обновления сайта. Для этого достаточно внести свой E-mail и нажать кнопку «Получать статьи» в форме внизу.


 

 


Нравится

Яндекс.Метрика

Понравилась статья? Поделитесь с друзьями! Нажмите на кнопочки!
Приглашаю присоединиться:

Похожие статьи

2 комментариев к записи Файл robots.txt

Страница 1 из 11
  • Валентина сказал:

    У меня роботс тхт немного отличается, но может быть это тоже не плохой вариант всё таки он установлен ещё в школе стартапа. А может и устарел. На всякий случай я Ваш скопировала не найдётся ли у Вас время проверить мой роботс.

  • Ирина сказал:

    Я тоже в Вебмастере Яндекса проверялса свой robots.txt, удобный сервис.

Страница 1 из 11

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

*

Можно использовать следующие HTML-теги и атрибуты: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>

Рад приветствовать!

Подписаться

Архивы

Хостинг для Wordpress сайтов