Защита от TELEPORT

[Tortik]

Подскажите, друзья, как защититься от Teleporta?

Три дня вешается сервер, только сегодня нашел в чем дело.

Какой то качок из Самары дует четвертый день 8 гигов инфы в полный рост.

Забанил конечно, сейчас думаю присобачить к этому делу file2ban (сейчас робит только для SSL FTP и SMTP)

Может есть какие то решения попроще? Главное, поисковиков не забанить (если привязываться к объему трафика)

__________________________________________________ _____________________________________________

В общем, сделал так через .htaccess (конец мерзавЦам):

RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} ^DISCoPump.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Drip.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^EirGrabber.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^EyeNetIE.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^FlashGet.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetRight.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Gets.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go-Ahead-Got-It.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Grafula.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^IBrowse.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^InterGET.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^InternetNinja.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^JetCar.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^JustView.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^MIDowntool.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^MisterPiX.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^NearSite.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetSpider.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^OfflineExplorer.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^PageGrabber.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^PapaFoto.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Pockey.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^ReGet.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Slurp.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^SpaceBison.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^SuperHTTP.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Teleport.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebAuto.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebCopier.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebFetch.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebReaper.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebSauger.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebStripper.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebWhacker.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebZIP.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebImageCollector.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebSucker.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Webster.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Wget.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^eCatch.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^ia_archiver.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^lftp.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^tAkeOut.*

RewriteRule .[html][htm][php][Jj][Pp][Gg]*$ /1.txt [L]

Надо еще бан IP на уровне апача организовать для порядка ...

[vredin]

Подскажите, друзья, как защититься от Teleporta?

Три дня вешается сервер, только сегодня нашел в чем дело.

Какой то качок из Самары дует четвертый день 8 гигов инфы в полный рост.

Забанил конечно, сейчас думаю присобачить к этому делу file2ban (сейчас робит только для SSL FTP и SMTP)

Может есть какие то решения попроще? Главное, поисковиков не забанить (если привязываться к объему трафика)

__________________________________________________ _____________________________________________

В общем, сделал так через .htaccess (конец мерзавЦам):



Надо еще бан IP на уровне апача организовать для порядка ...

как показывает мой опыт - я могу сграбить все, что мне надо.. солюшнов от себя еще не нашел.. как обходил системы? разные проги, включая wget, подменял агента, проверял на открытость папок(вернее отсутствие индексных файлов), просто находил закономерности в флешевых галереях http сниферами, сохранял картинки с отключенным JS, использовал плагины для вытаскивания картинок, которые прятались с помощью слоев за прозрачными гифками.. вот и думайте..

поставь лимит на трафик для одного айпи в день

[Tortik]

Сегодня и Гугль как хороший граббер работает ...
И MAIL.ru пробило конкретно ...

Нехорошо получится, если поисковики под грабли попадут...

[Savitur]

поисковикам robots.txt, а качкам прикрывать IP, и не надо придумывать велосипед)))

[Tortik]

качкам прикрывать IP

Ручками лень и не всегда отследишь (недавно обнаружил полную копию одного из своих сайтов в Инете (телепортом содрали) - отписал хостеру - респект - заблокировали домен мгновенно), а автоматом по HTTP_USER_AGENT не факт...

[lerko]

поисковикам robots.txt, а качкам прикрывать IP, и не надо придумывать велосипед)))

Если прикрыть IP мне, например, вы лишитесь несколько сот тысяч потенциальных посетителей - таковы особенности региональных сетей. Практически весь Татарстан сидит через одного провайдера, Таттелеком, который выпускает всех через NAT. А внутренние у нас 192.168......

[avtoomsk]

ставите яваскриптом куку при первом заходе, на втором - если куки нету - в бан (я обычно не баню, просто контент не отдаю молча)

[RedPage]

как показывает мой опыт - я могу сграбить все, что мне надо.. солюшнов от себя еще не нашел.. как обходил системы? разные проги, включая wget, подменял агента, проверял на открытость папок(вернее отсутствие индексных файлов), просто находил закономерности в флешевых галереях http сниферами, сохранял картинки с отключенным JS, использовал плагины для вытаскивания картинок, которые прятались с помощью слоев за прозрачными гифками.. вот и думайте..

поставь лимит на трафик для одного айпи в день

Заинтриговали я правда не защищаю сайт от выкачивания ручками можно все, ну а если не ручками то мол испорченная картинка, страничку защищать большой надобности не вижу уже все давно содрали и обогнали, да и картинки выкаченные уже раз по двести но могу дать ссылку оценить полет моей мысли, так сказать. Дырку я сразу увидел, но это для продвинутых парней.
защита картинок типа

За рекламу сразу извиняюсь, сайт все равно не где не участвует так хомяк, 4-х летней давности.

[Kaa]

ставите яваскриптом куку при первом заходе, на втором - если куки нету - в бан (я обычно не баню, просто контент не отдаю молча)

А как быть с теми, кто куки отключает, а то и яваскрипт?

[ario]

нужно буит сграбить, ничем не отвертишся.
несколько раз приходилось передерать чужие площадки, получалось всегда.
другой вопрос относительно нагибания ресурса, это легко решается средствами хостинг площадки, настройкой апатча, приоритетами квотами и п.р.
а если задуматся еще дальше, то хорошо что грабят а не досят


пс: с савитуром не согласен, крайне не админский подход сидеть на серваке верхом и банить все что движется ручками.