Индексация страниц быстророботом

Опубликовано Июнь 26, 2012 | Опубликовал admin

Индексация страниц быстророботом

В промежутках между посещениями основного поискового робота индексацией страниц в Яндексе при определенных условиях может заниматься быстроробот. Учитывая важность ускорения индексации создаваемого контента, что нужно предпринять, чтобы создать эти определенные условия и привлечь на сайт быстроробот?

Позиции в Яндексе имеют первостепенное значение для любого сайта и зависят, прежде всего, от своевременной индексации страниц. Все мы внимательно отслеживаем результаты выдачи Яндексом. Недавно обратил внимание на то, что результаты выдачи Яндекса между периодами посещения роботом могут меняться, т.е. при одном и том же времени посещения количество страниц в поискеи количество внешних ссылок могут быть различными (рисунок 1). Казалось бы, изменения количества проиндексированных страниц и ссылок могут происходить только после посещения сайта поисковым роботом. В действительности же что-то еще влияет на результаты выдачи в поиск между обновлениями. Что же происходит

Рисунок 1. Изменение количества страниц в поиске и ссылок за одно и тоже посещение сайта роботом

Оказалось, уже с 2005года в дополнение к основному поисковому роботу Яндексом создан и существует специальный поисковый робот для индексации страниц между обновлениями выдачи основного робота. Называется он быстроробот. Предназначен для выявления актуальной в настоящее время информации в периоды между посещениями основного робота. Поэтому быстроробот определяет часто обновляемые сайты и работает с ними. Особенностью быстроробота является то, что релевантность страницы определяется но основе внутренних факторов без учета внешних. По наблюдениям проиндексированной быстророботом страница может быть на протяжении двух суток. Потом ее релевантность пересчитывается на общих основаниях с учетом уже и внешних факторов и она переходит в обычную выдачу Яндекса. Происходит это, видимо, при посещении сайта обычным роботом. Отсюда мы видим иногда выпадение страниц из индекса и между посещениями основного робота.

Что же нужно делать, чтобы дружить с быстророботом?

Первое – это публикация постов должна быть частая (хотя бы раз в неделю) и, главное, регулярная.

Второе — RSS лента сайта должна работать.

Третье – своевременное сообщение об обновляемом контенте, в том числе в социальные закладки.

Четвертое – контент должен быть качественным, т.е. уникальным и полезным людям.

Если с индексацией обычным поисковым роботом у нас все в порядке, то самое главное для быстроробота – это регулярно обновлять сайт и сообщать об этом, как можно в большее количеств сервисов.

При публикации материалов на сайте должны отправляться пинги. В WordpPress настройка их отправки производится так Админ панель – Настройки -> Написание -> Сервисы обновления.

Список наиболее важных сервисов для пингов:

Blogsearch.google.com/ping/RPC2

Blogsearch.google.ru/ping/RPC2

Rpc.pingomatic.com/

Ping.feedburner.com

Ping.blogs.yandex.ru/RPC2

Rpc.technorati.com/rpc/ping

Api.my.yahoo.com/rss/ping

Api.my.yahoo.com/RPC2

Audiorpc.weblogs.com/RPC2

Ping.myblog.jp

Сервисы вносятся в поле (1) рисунок 2

Рисунок 2. Внесение сервисов обновления

Выполнение указанных рекомендаций намного повышает вероятность присутствия быстроробота на сайте в промежутках между посещениями основного поискового робота, а, значит, быстрейшей индексации вновь публикуемого контента.