Проблема индексации или нагрузка на сервер

[talga]

Думаю многие сталкивались с проблемой когда бот линкфида индексировал не все страницы площадки. Так же выходило и у меня, имея около 2000 страниц бот, сперва определял всего около 5-10% всех страниц. Потом искал код на страницах и находил опять же всего 5-10% от тех что он определил. Т.е. в последний раз получилось у меня так, из 2000 нашел 100 страниц. Потом из этих 100 с кодом всего 3 страницы!
----
Но самое интересное я заметил когда происходила сама индексация, при переходе на сайт, он не отвечал Т.е. получается, бот ищет страницы сайта, который ни на что не реагирует. Тенперь вопрос, проблема в нагрузке создаваемой роботом линкфида из-за чего хост не справляется или просто хост паршивый?
Спасибо всем кто попытается разъяснить ситуацию.

[Savitur]

хост жутко паршивый у Вас, 13-15к страниц достаточно резво скашать можем на одном сайте, если запросы в тайм-аут не отваливаются...

хотя может и хостер давить запросы, но мы тоже не ежесекундно за новой страницей приходим...

[talga]

Блин, а я еще периндексацию сделал сразу на двух сайтах с одного хоста. Savitur, есть ли пути решения данной проблемы, не меняя хостера?

[Savitur]

самое важное для начала, это проверить хостера толком - поищите сервисы мониторинга аптайма и узнайте детально о хостере, если у Вас действительно доступность хоста плохая, то надо менять 100%, ибо для поисковиков это крайне критично!

если же они просто давят один источник, что мало вероятно... тогда ничего страшного...

и конечно - начните с вопроса в суппорт хостинга!

[talga]

самое важное для начала, это проверить хостера толком - поищите сервисы мониторинга аптайма и узнайте детально о хостере

например? каким образом можно проверить? прошу прощения, но недостаток знаний в этой области ограничивает меня предпринять что-либо

[Savitur]

http://www.google.ru/search?hl=ru&q=uptime+мониторинг - выберите, что Вам по душе и поставьте сразу на сайт...

там же поищите упоминание о вашем хостере на форумах, блогах

и задайте хостеру вопрос в суппорт - блокируют ли они айпишники, которые интенсивно обращаются к хостингу...

[talga]

хостер не блокирует никого
----
мониторинг проверил тут
http://host-tracker.com/ и нихрена не понял какая-то огромная таблица. Время ответа составило 0.79 sec

[Savitur]

он может и не блокировать, а просто ложиться под нагрузкой)))

а в сервисе, что Вы нашли, можно не только единоразово чекнуть сайт свой, а можно и кнопку себе поставить на сайт и мониторить ситуацию за неделю, месяц и тд...

[talga]

Ок, а можно теперь тогда проиндексировать сайты по очереди во избежании этой "сумасшедшей" нагрузки? В суппорте обещали сделать, но так ничего и не произошло

[Savitur]

до завтра переиндексят