Error 404 – грязные методы раскрутки.

Многие из вас сталкивались с этой ошибкой.
Зачастую мы не придаем значения этой странице.
После модернизации сайта, меня угораздило попасть на страницу 404 своего сайта.
Я был сильно удивлен:
В адресной строке браузера был адрес моего домена, но только это указывало на принадлежность показанной страницы к моему сайту.
На странице 404 находилось две активные ссылки, уводящего пользователя с моего сайта.
Одна ссылка вела на страницу с рекламой услуг хостинг провайдера, другая ссылка – реферал яндекса.
Помимо этого на странице Error 404 хостера установлен счетчик SpyLOG
Давайте разберемся как это работает.
Если у вас нет собственной страницы 404, то все запросы к перемещенным или переименованным вами документам и файлам приведут к на страницу 404 хостера.
Было бы разумно, если бы попав на эту страницу пользователю было бы предложено перейти на индексную страницу вашего сайта или вообще никуда.
Что же мы имеем на самом деле.
Пользователю предложен выбор, либо перейти на страницу рекламных продуктов хостера, либо воспользоваться реферальной ссылкой яндекса и принести деньги вашему хостеру.
Но и в том и в другом случае пользователь повысит рейтинг хостера в системе SpyLOG уже только тем, что он попал на страницу 404 хостинг проавйдера.
Таким образом ваш хостинг провайдер, используя ваше доменное имя и популярность вашего сайта повышает свой рейтинг и зарабатывает на вашем сайте.
Напишу более того. Если даже в вашем файле .htaccess прописана директива ErrorDocument 404 /путь/404.html и вы являетесь счастливым клиентом masterhost , то при обращении к перемещенному или переименованному вами файлу изображения, вас все равно перебросит на 404 страницу хостер провайдера
В поисковых системах уже давно есть страница поиска картинок, которые сохранены в Кеше поисковика и пользователи пришедшие по этой ссылке и желающие увидеть это изображение, врядли попадут на страницы вашего сайта, если ваш хостинг провайдер использует описанный метод. А ведь это изображение присутствует на вашем сайте.
Посмотрев свой лог ошибок, я насчитал их 500 штук за сутки.
Честно скажу? чувствую себя обворованным.
СЛАВА РАЦИОНАЛИЗАТОРАМ MASTERHOST!

Это Вы только что для себя открыли стандартный подход многих (если не большинства) наших хостеров?
Никто не запрещает (а многие даже рекомендуют) клиентам настраивать свои страницы ошибок.

К тому же ошибка 404 в спецификации звучит так:

404 Not Found
The server has not found anything matching the Request-URI.
(http://www.w3.org/Protocols/rfc2616/rfc2616-sec10.html)

что означает что сервер не нашел ничего, что соответствовало бы запрошенному URI. Так что формально хостеры правы, ведь их сервер не нашел запрошенную информацию.

дабы не быть голословным, можете посмотреть что показывает произвольный сайт расположенный на сервере masterhost
www.zoo-news.ru/fkgklg.jpg
этот сайт находится в платном каталоге masterhost
******************************
относительно моего сайта, в данный момент, ошибки 401, 403, 404, и 500 ведут на мои страницы и при расширении файлов .jpg, что добиться для этого расширения файлов, размещением ErrorDocument в файле .htaccess не удалось. по требованию хостинг провайдер изменил настройки в коде, недоступном мне по протоколу ftp.
добавлю, при моих экспериментах с файлом .htaccess, единожды браузер показал мою 404 в обрамлении 404ой masterhost
******************************
меня волнует несколько другое. в адресной строке браузера доменные имена законных владельцев, а на страницах реклама и ссылки, о которых они скорее всего даже и не подозревают.
у других провайдеров я тоже вижу 404, НО БЕЗ ПОСТОРОННЕЙ РЕКЛАМЫ!

То что на Вашем сайте есть ссылки, ведущие на несуществующие страницы/файлы это Ваша проблема.

Страница ошибки 404 по-умолчанию принадлежит хостеру и он может делать с ней все что хочет, его сервер - его ошибки. Не нравится, настраивайте свои ошибки.

Банальный набор директив .htaccess позволяет передать управление Вашему обработчику если запрашиваемый файл/папка/ссылка не существует:

PHP код:

---

RewriteEngine on
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_FILENAME} !-l
RewriteRule ^(.*)$ err404.html [L,QSA] 


---

приобретите нормальный хостинг, возможно у другого хостера, серьезные компании при наличии профессионального пакета на хостинг таким заниматься не будут

Заботиться о 404 - так же важно, как и выдаче 404 для "версии печати", а решения по-умолчанию, редко когда бывают удачными, так что ничего удивительного.
А вообще мастерхост - средний хостинг, уровня 100мб и компании, просто раскрученный.
Если встанет вопрос о смене, советую РБК, использую VPS-3 и Colo.

Ушел я от них, и этому очень рад.
но сайт они мой погубили, сижу сейчас и разбираюсь, после падения их сервера.