Linkfeed на VDS

Недавно перекинул сайт на VDS и столкнулся с проблемой.
Ссылки на сайте то есть, то пропадают, то снова появляются.
При этом, файл linkfeed.links.db вести то 330 кб (все ссылки на сайте), то 1 кб (ссылки на сайте пропадают).
Уже неделю бьюсь, вообще не понимаю что происходит, ничего не помогает. Уже и файл удалял, он заново появлялся и все равно те же яйца...
Техподдержка просто игнорит меня. Вначале что-то отписывали, но теперь игнорят, видимо сами нифига не знают что делать.

И, я подумал, а может должно что-то такое особенное стоять на серваке для линкфида? Может, какой-нибудь Zend Optimizer или что-то другое?
К слову, стоит сапа, работает отлично. Только с линкфидом такая ерунда происходит.
Сервака аптайм 100%, тут сомнений даже не может быть.

Подскажите, плиз, если у кого какие мысли есть.

Чё то у меня дежавю... Вроде видел уже такой же сабж.... :confused:

ОЧЕНЬ был бы Вам благодарен, если бы показали тему. Я искал, но не нашел.

Цитата:

---

Сообщение от Enforcer25

....Я искал, но не нашел.

---

Аналогично.... Но помню что была.... :confused:
Может снесли. Не приснилось же мне.... :cool:

Совершенно случайно нашел тему
http://forum.linkfeed.ru/showthread.php?t=5407

Только там чуть другое, но немного похоже и на мою проблему.
Может и мне такое сделать?

Заказать переиндексацию сайта и включить какой-то "отображение проверочных комментариев"?

Последний раз переиндексация была ноябре прошлого года.

возможно, ваш хостинг блокирует айпи биржы, уточните айпи в ТП и отпишите на этот предмет в службу поддержки хостинга;
также рекомендуется проверить ваши настройки хостинга, скорее всего робот биржы не может "достучаться"

Если бы блокировался IP, то ссылки вообще бы не отображались.
Вот настройки сервера - это реальней. Но просто посмотреть настройки - не выход, потому что их там ОЧЕНЬ много. Конкретику бы, какие именно посмотреть...

Цитата:

---

Если бы блокировался IP, то ссылки вообще бы не отображались.

---

не факт, может быть заблокирован один или несколько айпи, но с другого роботу удается успешно "соединиться";
я бы смотрел все, что связано с внешними соединениями, а также на предмет каких-либо ограничений (по айпи, по числу запросов и обращений, кэширование и т.п.), заодно проверить robots.txt и все .htaccess

Emperor, ок, спасибо. Попробую заняться.
Если вы не против, буду сюда писать по ходу возникновения вопросов ))


В файле robot.txt вот что

User-agent: *

Disallow: /engine/
Disallow: /backup/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /rapid/
Disallow: /admin.php
Disallow: /awstats/

Sitemap: http://bla-bla.net/sitemap.xml


В файле htaccess все вроде стандартно, только вот что есть еще:

ExpiresActive on
ExpiresDefault "access plus 1 days"
ExpiresByType image/jpeg "access plus 2 day"
ExpiresByType image/gif "access plus 2 day"


Но не думаю, что это может оказать влияние на работу. С этими же параметрами работало всегда на шаред хостинге.
Видимо в самом деле что-то с айпи или числу запросов.
Кстати, число запросов и обращений где? Не в мускле же? Или в нем? Или в апаче это ковырять?

ExpiresDefault определяет время по умолчанию устаревания любого объекта в области (realm) , попробуйте убрать эти строки, отключив кэширование, на shared-хостинге ваши настройки могли перекрываться глобальными настройками сервера, поэтому и работало;
изменения с работой кэша могут быть доступны лишь по завершению срока кэширования, у вас установлено по крайней мере сутки;
конфигурационные файлы нужно смотреть (httpd.conf и др.), погугли на эту тему, вот например, первое, что попалось

Emperor, а нормально что у меня файл httpd.conf вообще пустой? Как я понимаю настройки задаются в apache2.conf

это нормально, смотрите в apache2.conf

Убрал кэш пару дней назад в htaccess, пока ничего не изменилось. Думаю и не изменится.
Подскажите, а как можно добавить IP адреса системы на сервака? То есть, где и как прописать список белых IP (IP линкфида), чтобы никто их случайно не запретил? Может это поможет...
К слову, в соседней ветке чел тоже на похожее жалуется. У него тоже сервак в германии. Видимо, linkfeed не дружит с германией...

Цитата:

---

Сообщение от Enforcer25

Подскажите, а как можно добавить IP адреса системы на сервака? То есть, где и как прописать IP (IP линкфида) в белый список (allow), чтобы никто их случайно не запретил? Может это поможет...
К слову, в соседней ветке чел тоже на похожее жалуется. У него тоже сервак в германии. Видимо, linkfeed не дружит с германией...

---

Держу сайты на VDS, но на российском. Перешел с шареда как раз из-за ERROR. С тех пор все замечательно, и с Sape, и с LinkFeed. Посмотрите в системе из-за чего у Вас ERROR и логи своего сервера. В логах ищите IP ботов биржи и каков ответ на их приход.
Если ссылки Sape у Вас нормально отображаются - то, скорее всего либо блокировка по IP, либо в момент прихода ботов перегрузка (VDS слабоват), либо низкий аптайм.
По порядку.
1. Если Вы сами не занесли IP биржи в черный список на своем сервере, то решать проблему только с хостером - их фильтр имеет приоритет.
2. Слабый VDS определяется по статистике сервера - количество отказов (например по оперативной памяти).
3. Вы писали, что у Вас высокий аптайм. Как Вы его определяли? Для пользователя в Германии может и высокий, но для биржи в России надо проверять. Учитывайте расстояние и узкие места различных провайдеров связи по пути.

Химик, спасибо за пищу для размышления )))
1. логи посмотрю, пока инет плохой, а там логи здоровенные, но плохо то, что хз когда наступает момент пропадания ссылок. Надо следить сидеть... Но это через пару дней, когда инет норм будет.
2. vds и вправду слабоват (256 оперы), но тотал на всех сайтах посещение 1000 уников, как бы совсем не много
3. аптайм смотрю по host-tracker.com

Кстати, а как проверить систему на отказы?

Химик выше все толково описал, изучайте логи, статистику, также необходимо в обратной связи узнать список айпи биржи и связаться на этот предмет с саппортом хостинга (чтобы выставили для них максимальный приоритет и не было никаких ограничений доступа), я уже об этом по-моему писал;
безусловно, достучаться к российским серверам намного "ближе" и будет меньше отказов

Нагрузку посмотрел через uptime, вот что получил:
load average: 1.23, 1.12, 1.05


Нагрузка большая, выходит? Сервак реально слаб?
Вроде за весь вечер меньше 1 не падало.
Иногда было даже такое:
1.72, 1.27, 1.13

Ссылки весь вечер не появлялись на сайте.

Вот график нагрузки в течение минут 5.

http://i2.fastpic.ru/thumb/2010/0222...cffa1c852.jpeg

Enforcer25, думаю, что решать вопрос нужно с хостером

Цитата:

---

Сообщение от Emperor

Enforcer25, думаю, что решать вопрос нужно с хостером

---

А что с ним можно решить? Только если попросить в белый список IP ботов биржи добавить. Т.к. по любым другим моментам меня отправят сервак настраивать )))

так это и решить нужно, предоставить списки айпи, чтобы для них был настроен максимальный приоритет, хотя, нужно быть готовым, что они не смогут этого сделать, т.к. настройки задаются глобально для всех клиентов, а что-то изменять под одного, то вряд ли будут этим заниматься, но за спрос, как говорится, не бьют :) в любом случае, остается выбор, смириться или искать новый VDS-сервер, расположенный географически поближе;
самому (для себя) можно изучить логи, а также статистику сайта (если установлен модуль статистики), аптайм же нужно смотреть, сравнивать, анализировать, мне вот с приведенного выше отчета ничего непонятно, откуда запрос поступал, как проводился мониторинг сервисом, время и число обращений, даже это все имея, это еще не показатель, поскольку нужно проводить профессиональный мониторинг (не бесплатно), и в конечном итоге - аптайм не альтернатива, а как дополнение

Цитата:

---

Сообщение от Enforcer25

2. vds и вправду слабоват (256 оперы), но тотал на всех сайтах посещение 1000 уников, как бы совсем не много

---

Много зависит от того, сколько у Вас сайтов на одном VDS и какие движки используете. 1000 посетителей - не аргумент, один скрипт на Вашем сайте может конкретно подвешивать сервак. И еще совет, в настройках сервера отключайте все неиспользуемые модули php и максимально используйте кеширование для сайтов (оптимально, если есть возможность использовать Nginx или eAccelerator).

Хостер ответил - Мы ничего не блокируем.
Блин... И что теперь делать?

VDS менять не хочется, уж очень он хороший по скоростям и аптайму ((

Хм, похоже все-таки проблема со стороны линкфида.
Я пропинговал все IP биржи, которые мне скинул сапорт.
Пинговал как удаленно с сверера, так и локально из дома, со своего инета.
Вот результаты:

no passed:

77.91.228.92
77.91.228.94
86.111.22.107
77.91.228.36
77.91.228.93
77.91.226.151
207.226.178.210

passed:

88.208.19.9
77.91.226.135
77.91.226.133
206.161.193.2

Итого: больше половины IP просто не отвечали. Вот поэтому ссылки у меня и пропадают.
Повторюсь, проверял из двух мест, два региона (беларусь и германия).
Поэтому, проблема со стороны биржи, а хостер реально ничего не блокирует.

Какие мысли будут, господа?

И еще... На сервере не установлен mod_access. Может он тут какую-то роль играть или нет?

По моему пингу выходит то же самое (Россия, Казахстан). Так что это не аргумент, просто может не отдаваться ответ на пинг от серверов биржи. У меня то ссылки работают.
Конфигурация серверов у нас скорее всего конечно разная, у меня стоит mod_access, он отвечает за доступ к модулям и доступен только Админу сервера.
Если Вас, как было написано устраивает Ваш сервер по скоростям и аптайму, но (опять же как было написано) слишком большая нагрузка - выход в оптимизации сервера и сайтов и их обязательном кешировании.

Химик, я понимаю что нифига не сделаю сам...
Можно ли с вами договориться за небольшую плату глянуть мои конфиги файлов? Я просто скину файлы конфигов,а вы там поправите что-нибудь )))
Или это не решит проблему?
А нагрузка маленькая, где-то 0,1-0,5, да и то иногда. То был просто некий процесс, я его прибил и все ок стало )))

Быть может, реально апгрейд до 512 оперы сделать, а? Вдруг поможет...
Ломает nginx ставить ))

Да, я б с удовольствием. Но к сожалению, сам в этом деле новичок - несколько месяцев на VDS. Работаю только через ISPmanager. И затачиваю сервак под сайты на Joomla. Появляется проблема, лезу на форум своего хостера http://forum.firstvds.ru/ и черпаю оттуда знания. Так что Вам надо поискать более опытного товарища. Извините.

Химик, понятно..

Ребята, кто может помочь в настройках VDS за небольшие деньги? :)

Enforcer25, лучше VDS перевести на российские сервера, там и поддержка родная, и пинг ближе :)

Цитата:

---

Сообщение от Emperor

Enforcer25, лучше VDS перевести на российские сервера, там и поддержка родная, и пинг ближе :)

---

Да уж... как сказать )))
На мажоре есть VDS. Регулярно раз в 1-2 недели лежит по часу-два.
Кроме этого, ограничение на канал 10 мбит.

Еще sweb знаю, но тоже канал 10 мбит. А мне нужен хотя бы 30 мбит.
В общем, российские вечно во всем ограничивают...

А вроде нормальных известных на XEN больше и не припомню...

Цитата:

---

Сообщение от Enforcer25

Да уж... как сказать )))
На мажоре есть VDS. Регулярно раз в 1-2 недели лежит по часу-два.
Кроме этого, ограничение на канал 10 мбит.

Еще sweb знаю, но тоже канал 10 мбит. А мне нужен хотя бы 30 мбит.
В общем, российские вечно во всем ограничивают...

А вроде нормальных известных на XEN больше и не припомню...

---

Не сочтите за рекламу, но у своего хостера пока (тьфу-тьфу) падений не замечал. Были проблемы со статистикой, которые техподдержка решала сразу же после запроса. И про какой канал Вы имеете ввиду. Весь физический сервер зацеплен обычно на 100 Мб, а вот сколько на нем виртуальных сидит, это другой вопрос. Мой хостинг в рекламе дает скорость общую (правда ли, кто знает):

Цитата:

---

Площадка: Центр обмена российским трафиком ММТС-9 (Московский Internet Exchange (MSK-IX).
Соединение: 1 Гбит/сек на M9-IX, 1 Гбит/сек на M-XI (Ростелеком).

---

P.s. Сейчас с 8 февраля запустили в довесок хостинг Выделенных серверов (от 2500 рублей в месяц).

Химик, данный хостер мне не понравился, как-то был у них. Но, может у них что-то поменялось, кто знает...
А скорость... У меня выдает до 50 мбит скорость. Вряд ли кто-то такое выдаст в России. И это не сервер, а VDS. Поэтому я так уцепился за свой вдс)))

Теперь по теме...
На сайте включил кэширование и уменьшил количество выводимых новостей на главной с 20 до 15. В результате стало лучше. Ссылки теперь намного чаще бывают на сайте, но все равно продолжают иногда пропадать.
Что можно еще сделать? Что еще можно закэшировать? Или надо новости до 10 сделать (что не хотелось бы)?

как по мне, до 10 новостей на странице вполне бы хватило :)

Цитата:

---

Сообщение от Emperor

как по мне, до 10 новостей на странице вполне бы хватило :)

---

)))
Или, как вариант, разместить рекламные строки биржи где-то в середине между новостями! А не в футере.

еще есть такие опции:
var $lc_cache_lifetime = 3600; // Время обновления кэша в секундах (срок хранения базы с ссылками) увеличение срока хранения ссылок снижает нагрузку, оптимальное число - до 3 часов (3600*3=10800) , при больших сроках информация о ссылках может не успевать обновляться (если часто происходит их изменение: текста, новые ссылки, исправление ерроров и т.п.) , меньше 3600 очень нежелательно, поскольку нагрузка сильно увеличивается
var $lc_cache_reloadtime = 300; // Период обновления кэша после ошибки в секундах (если при получении базы ссылок возникают ошибки, следующая попытка будет повторена через заданное число секунд), по умолчанию 5 мин. (300 сек), часто можно встретить время в 10 мин. (600 сек)
var $lc_socket_timeout = 6; // Ожидание кода, секунд (сколько ждать ответа в секундах) если плохой коннект, можно попробовать увеличить время до 10 сек и более

любое изменение настроек по умолчанию на свой страх и риск, рекомендуется использовать со знанием дела

Недавно наткнулся, но сам еще не пробовал -> 5 простых способа по ускорению Apache . Может хоть чуть-чуть поможет.

Emperor, Химик, спасибо Вам за помощь в решении вопроса.

Что я сделал:
1. включил кэш на сайте
3. уменьшил вывод новостей с 20 до 15
3. разместил ссылки биржи чуть выше (не в самом футере)

Вроде ссылки теперь на месте. Хотя, раз в несколько дней замечаю небольшое по времени их отсутствие. В общем-то, ерроры пропали, все как-то нормализовалось ))

У меня такая же проблема, но файл всегда "пустой" ~1 кб.
Создал отдельную тему... http://forum.linkfeed.ru/showthread.php?6111