Рассылка блога

Форма подписки

Подпишись на обновления сайта. Получай новые статьи на почту:

Напишите мне

Your message was successfully sent.
Thank You!

Яндекс.Метрика
Яндекс цитирования
DevilArt.name - cервис анализа сайтов
Счетчик PR-CY.Rank
Счетчик PR-CY.Rank

Как помочь роботу индексировать сайт?

Как помочь роботу индексировать сайт?

Наверное, не будет ошибкой предположение, что у многих новичков была такая ситуация: сайт создан, идет процесс наполнения его статьями, статей уже не так мало (около 50-и), многие статьи даже проиндексированы в Google.  Вместе с тем, в Яндексе мы все время видим одну и ту же картинку – «Страниц в поиске – 1» (рисунок 1). Говорят, что существуют «карантины», «песочницы» и т.д., но время идет, а такие желанные посетители, 90% которых обеспечивается поисковыми системами, заходят единицами. Это не может не тревожить. Понятно, что индексация нового сайта – процесс небыстрый, но, затрачивая немалые усилия по наполнению его статьями, хочется уже получать какой-то результат. Если его продолжительное время нет, возникает вполне закономерный вопрос – почему?

 

         Не будем рассматривать независящие от нас, известные только роботу, причины плохой индексации, обратим внимание на два момента:

        При установке текстового файла robots.txt мы обычно редактируем в нем только реквизиты, касательно принадлежности сайта — это  в трех строчках подставляем свой адрес: «Host: НАШСАЙТ, Sitemap: http://НАШСАЙТ/sitemap.xml.gz, Sitemap: http://НАШСАЙТ/sitemap.xml; все остальное оставляем в неизменном виде. Ничего плохого в этом нет, если мы сразу  настраиваем «Постоянные ссылки ЧПУ», или так называемые «красивые ссылки». По умолчанию же ссылки отображаются   так — nashsait.ru /?p=1320, могут и так — nashsait. ru/2012/02/25/sample-post/ и даже так — nashsait.ru/2007/03/18/%D2%E5%F1%F2 /D2%E5%F1 – не совсем красиво, особенно последний вариант. Но, самое главное, в исходном  файле robots.txt индексирование страниц со ссылками *?* запрещено правилом Disallow: /*?*, а это значит — мы сами запрещаем роботам индексировать наши статьи! Если эти страницы должны индексироваться, то запрет нужно убрать.

       Вторым существенным моментом ускорения индексирования является непосредственное добавление новых статей   через специальную форму робота на странице Яндекс.Вебмастер: http://webmaster.yandex.ru/addurl.xml .

       Чтобы устранить первую причину, можно пойти двумя путями:

       Первый путь – это сделать красивые ссылки, т.е. сделать ссылки удобными для чтения, в формате – «сайт/категория/название статьи/» в английской транслитерации (раскладке). Для этого устанавливаем и активируем плагин RusToLat.  Подробно об установке плагинов в http://fobos12.ru/?p=1084. Заходим в админ-панель – левая колонка – Параметры — «Постоянные ссылки». Выбираем (ставим точку) напротив поля «Произвольная структура», а в поле вписываем строчку /%category%/%postname%.html/.  Нажимаем «Сохранить изменения». Теперь все новые статьи будут выходить с «красивыми» ссылками! Но! – старые статьи плагин может переименовать в русской транслитерации.  Решить эту проблему несложно.

Заходим на старую запись – «редактировать» – выделяем левой мышкой ЗАГОЛОВОК СТАТЬИ – копируем (правой мышкой)

Ниже заголовка «Постоянная ссылка» — нажимаем «Изменить постоянные ссылки»;

То, что выделилось – удаляем и вставляем скопированный заголовок;

Нажимаем ОК – затем «Обновить» статью;

В некоторых темах можно проще: — статья — редактировать — постоянная ссылка — «Изменить постоянные ссылки»; ОК — статью «Обновить» или «Опубликовать» — ссылка должна прописаться в английской раскладке;

Если ссылки рубрик также отображаются на русском языке, заходим в раздел «Рубрики» и редактируем каждую по очереди: рубрика — редактировать — ОК — ссылка должна измениться на англ. раскладку.

       Все было бы хорошо. Только есть один омрачающий  момент. Если у нас уже достаточно большое количество готовых статей со старыми ссылками, которые проиндексированы поисковиками, зафиксированы в различных каталогах, в соцсетях и т.д., нужно подумать, целесообразно ли сейчас их менять. Кроме того, изменения придется провести и во внутренней перелинковке. Может быть, в такой ситуации наиболее приемлемым будет второй путь

       Второй путь – убрать запрет индексирования страниц, ссылки которых со знаком вопроса в файле robots.txt правилом Disallow: /*?*. Для редактирования файла robots.txt в Вебмастере Яндекса (рисунок 2) нажимаем кнопку  «проверить robots.txt» (рисунок 2,3). Открывается Анализатор  robots.txt  http://webmaster.yandex.ru/robots.xml   (рисунок 4).


       В поле 3 (рисунок 4) вводим имя нашего сайта и нажимаем кнопку «Загрузить robots.txt с сайта». В поле 4 загружается файл robots.txt нашего сайта. Копируем его и вставляем в любой текстовый редактор. Меняем директиву  Disallow: /*?* на Allow: /*?* (рисунок 5), сохраняем файл.

       Нужно помнить, что на сайте при редактировании файл не меняется.  Чтобы сделанные изменения вступили в силу, необходимо отредактированный файл robots.txt загрузить в корневую директорию нашего сайта. Сделать это можно или через админ панель сайта, или с помощью FTR-менеджера FileZilla http://fobos12.ru/?p=586 .

       Теперь можно проверить, будет ли робот обходить страницы, после изменения файла.  Для этого вводим в поле 6 (рисунок 6) «Список URL» ссылки на проверяемые страницы и нажимаем кнопку «Проверить». В поле «Результаты проверки» напротив введенной ссылки появляется результат – «Разрешен».

       Чтобы помочь поисковым роботам быстрее проиндексировать новую страницу,  сообщим им об этом сами. Для этого, отошлем им URL новой статьи напрямую. В Яндекс.Вебмастер нажимаем кнопку 2 (рисунок 3), открывается окно «Сообщить о новом сайте» (рисунок 7). В поле 7 вводим URL статьи, в поле 8 – контрольный код и нажимаем кнопку «Добавить». Вверху появляется результат: «Адрес URLуспешно добавлен». По мере обхода роботом он будет проиндексирован и станет доступным для поиска (9).  Правда, говорят, что изменения в robots.txt, сделанные на рабочем сайте будут заметны только спустя 2-3 месяца.

       Чтобы сообщить о новой статье роботу Google, активируем плагин Google XML Sitemaps, заходим в «Настройки» => «XML Sitemap» и нажимаем «заново построить карту сайта». После этого плагин можно дезактивировать.

       В случае возникновения нерешенных вопросов можно писать в службу поддержки Яндекса http://help.yandex.ru/ . В службе отвечают и могут помочь советом.


P.S. Проведенные 5 мая изменения стали заметны 15 мая после обхода роботом 12 мая. Картинка кардинально поменялась (рисунок 8). Вместо одной страницы в поиске стало 22.


 

Подпишись на обновления сайта. Получай новые статьи на почту:

Нравится


       

Понравилась статья? Поделитесь с друзьями! Нажмите на кнопочки!
Приглашаю присоединиться:

Популярные статьи

12 комментариев к записи Как помочь роботу индексировать сайт?

Страница 1 из 11
  • Movlid сказал:

    Статья нужная. Но у меня по этой теме вопрос: Как и где узнать что означают все слова и знаки в тексте Robots.txt ? Спасибо за Ваши статьи.

  • iadviser сказал:

    Автору сайта рекомендую установить и настроить ЧПУ, позиции сайта вырастут…
    для быстрой индексации страниц пользуюсь твиттером и соц сетью Гугл +

  • Галина сказал:

    Леонид, спасибо за статью. Она для меня оказалась очень полезной. С удовольствием читаю и другие Ваши материалы. Спасибо за Вашу работу.

  • admin сказал:

    Татьяна, у Вас еще все впереди. Совет. Пишите статьи и наполняйте ими сайт.
    Результат увидите. И подписываться люди станут. Потом сообразите какую-нибудь бесплатность,
    будете предлагать ее за подписку. Все будет нормально.
    Успехов! Леонид Важник.

  • Спасибо. Я статью прочитала. Но боюсь что-нибудь напортить. Пока что-то там работает. Людей мало заходит. Ну и пусть. Всё равно ведь статьи бесплатные. Я вот не понимаю, поставила форму подписки из Smartresponder, но понятия не имею: там кто-нибудь когда- нибудь записался для интереса хотя бы или нет. Эта форма пустая и безжизненная. Хотя сайт всё равно пользы никакой не приносит. Просто для интереса.

  • admin сказал:

    Татьяна, а что, Вы статью так и не прочитали?

  • А где я могу прочесть об индексации Яндекс и Гугл? У меня молодой сайт. И я «чайник».Правда, только 4 статьи.

  • admin сказал:

    Здравствуйте, Дмитрий!
    robot.txt отвечает за индексацию только в Яндексе.
    GOOGLE — это отдельная песня. Даже, когда в Яндексе статья может быть на 1-ой позиции,
    в GOOGLE эта же статья может не попасть даже в ТОП 100.
    GOOGLE — это всемирная система, больше Яндекса.

  • Дмитрий сказал:

    Подскажите, почему сайт http://www.inter-meb.ru/ «ушёл» из поисковой выдачи GOOGLE по всем ключевым запросам (нет в топ 100). Ключевых запросов больше сотни. Позиции в Яндексе остались.

  • Mardan сказал:

    Изменила robot.txt следуя рекомендация автора статьи, буду ждать результат! Информация для меня лично очень полезная!

  • Сергей сказал:

    Леонид, большое спасибо за эту статью! Вы чётко объяснили, что и как с этим роботом! Многие печатают образы, как заполнять robots, но у всех стоит запрет индексирования страниц! Поэтому и стоит у Яндекса только страница 1. Вы единственный, кто указал на эту, я считаю, главную ошибку индексирования страниц сайта. Ещё раз большое спасибо!

  • Елена сказал:

    Как кстати ваша статья! Как раз вчера я это обнаружила — малое количество статей в индексе! Спасибо! Вечером займусь вплотную исправлением ситуации

Страница 1 из 11

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

*

Можно использовать следующие HTML-теги и атрибуты: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>

Рад приветствовать!

Подписаться

Архивы

Хостинг для Wordpress сайтов