Вид для печати
Потребовалось проверить наличие в ЯК значительного списка доменов, несколько десятков тысяч. Скрипт проверки очень простой и пишется в 3 строки. Трудность возникла в подборе тайм-аута между обращениями. При задержке в 1 секунду через 1000 обращений возникает 403 ошибка и держится несколько часов. При задержке в 10 секунд скрипт работает круглосуточно, но это медленно. Кто-нибудь пробовал подбирать тайм-аут?
Не пробовал, но знаю что 2-3 секунды сейчас ставят...
Comm, вряд ли ... при 3 и 4 секундах уходит в клинч
Менять прокси может? Через каждые несколько запросов...
Можно менять прокси, но это уже не 3 строки скрипта, это нужно подключать базу и анализировать возможные зависания. На отладку время уйдет.
Проверяешь с домашнего компа? Айпи динамический? Если да - после каждого 403го реконнект и опаньки :)
Уже лет пять как айпи статический, так что реконект не поможет.
В итоге экспериментов получилось что до 5000 доменов можно проверить с тайм-аутом в 4 секунды. При тайм-ауте в 5 секунд число проверяемых доменов неограничено.
В тему, задача проверки ссылок YAL , 5 секунд оказалось мало, требуется около 10 секунд между запросами ...
Яшу видно зае.. заколебали вообщем с запросами... )))Цитата:
Сообщение от Ustas
Пора альтернатив-рашн-поисковик делать... ))
заколебали не то слово))))
Это нормальные издержки их бизнеса, примерно как ответы на вопрос в булочной - "у вас хлеб свежий?"Цитата:
Сообщение от Emperor
Яше уже давно пора выделить урл для автоматических запросов и отвечать в упрощенной форме.
С интервалом 10 секунд прокатывает только 50 запросов ...