Страница 1 из 2 12 ПоследняяПоследняя
Показано с 1 по 10 из 12

Тема: Запросы на проверку сайтов в ЯК

Комбинированный просмотр

Предыдущее сообщение Предыдущее сообщение   Следующее сообщение Следующее сообщение
  1. #1
    Опытный пользователь Аватар для Ustas
    Регистрация
    09.01.2010
    Сообщений
    1,092

    По умолчанию Запросы на проверку сайтов в ЯК

    Потребовалось проверить наличие в ЯК значительного списка доменов, несколько десятков тысяч. Скрипт проверки очень простой и пишется в 3 строки. Трудность возникла в подборе тайм-аута между обращениями. При задержке в 1 секунду через 1000 обращений возникает 403 ошибка и держится несколько часов. При задержке в 10 секунд скрипт работает круглосуточно, но это медленно. Кто-нибудь пробовал подбирать тайм-аут?
    Любишь не только читать, но и слушать - набери в поиске "ламповый усилитель". В первой тройке найдешь меня.

  2. #2
    Опытный пользователь Аватар для Comm
    Регистрация
    06.08.2008
    Адрес
    Россия
    Сообщений
    2,526

    По умолчанию

    Не пробовал, но знаю что 2-3 секунды сейчас ставят...
    Важно не то, как тебя зовут, а куда... Важно не куда тебя посылают, а как...
    Я лев. Мой гороскоп тута.

  3. #3
    Опытный пользователь Аватар для Ustas
    Регистрация
    09.01.2010
    Сообщений
    1,092

    По умолчанию

    Comm, вряд ли ... при 3 и 4 секундах уходит в клинч
    Любишь не только читать, но и слушать - набери в поиске "ламповый усилитель". В первой тройке найдешь меня.

  4. #4
    Banned
    Регистрация
    27.09.2008
    Адрес
    Татарстан
    Сообщений
    1,928

    По умолчанию

    Менять прокси может? Через каждые несколько запросов...

  5. #5
    Опытный пользователь Аватар для Ustas
    Регистрация
    09.01.2010
    Сообщений
    1,092

    По умолчанию

    Можно менять прокси, но это уже не 3 строки скрипта, это нужно подключать базу и анализировать возможные зависания. На отладку время уйдет.
    Любишь не только читать, но и слушать - набери в поиске "ламповый усилитель". В первой тройке найдешь меня.

  6. #6

    По умолчанию

    Проверяешь с домашнего компа? Айпи динамический? Если да - после каждого 403го реконнект и опаньки

  7. #7
    Опытный пользователь Аватар для Ustas
    Регистрация
    09.01.2010
    Сообщений
    1,092

    По умолчанию

    Уже лет пять как айпи статический, так что реконект не поможет.
    В итоге экспериментов получилось что до 5000 доменов можно проверить с тайм-аутом в 4 секунды. При тайм-ауте в 5 секунд число проверяемых доменов неограничено.
    Любишь не только читать, но и слушать - набери в поиске "ламповый усилитель". В первой тройке найдешь меня.

  8. #8
    Опытный пользователь Аватар для Ustas
    Регистрация
    09.01.2010
    Сообщений
    1,092

    По умолчанию

    В тему, задача проверки ссылок YAL , 5 секунд оказалось мало, требуется около 10 секунд между запросами ...
    Любишь не только читать, но и слушать - набери в поиске "ламповый усилитель". В первой тройке найдешь меня.

  9. #9
    Опытный пользователь Аватар для Comm
    Регистрация
    06.08.2008
    Адрес
    Россия
    Сообщений
    2,526

    По умолчанию

    Цитата Сообщение от Ustas Посмотреть сообщение
    В тему, задача проверки ссылок YAL , 5 секунд оказалось мало, требуется около 10 секунд между запросами ...
    Яшу видно зае.. заколебали вообщем с запросами... )))
    Пора альтернатив-рашн-поисковик делать... ))
    Важно не то, как тебя зовут, а куда... Важно не куда тебя посылают, а как...
    Я лев. Мой гороскоп тута.

  10. #10
    Старший модератор
    Регистрация
    08.02.2009
    Адрес
    В онлайне
    Сообщений
    1,953

    По умолчанию

    заколебали не то слово))))
    Веб-мастер, не будь Кулибиным, оставь ссылки в покое!
    Оптимизатор наш, хлеб насущный дай нам на сей день!
    http://slezenko.com, icq 206352504
    Стань рефом - получи PR, помощь, поддержку и советы, ставлю коды на любой движок/хостинг.
    Любые консультации. Учись тыкать быстро
    Автомодерация ссылок и заявок!
    --
    Правила форума

Ваши права

  • Вы не можете создавать новые темы
  • Вы не можете отвечать в темах
  • Вы не можете прикреплять вложения
  • Вы не можете редактировать свои сообщения
  •