Скрипт определения тематики (тестируем)

Вид для печати

03.06.2009, 01:16
kotofeich

Скрипт определения тематики (тестируем)

Реализован скрипт определения тематики сайтов.
Вы можете протестировать его здесь.
Пока не выставил никаких ограничений. Если завалите сервак то сделаю ограничение по запросам с одного ip.

Если сейчас в нем не хватает вашей тематики, то можете либо скинуть мне ваш адрес сайта в личку (я обучу его этой тематике), либо если вы уверены в тематике своего сайта, то напишите ее здесь.
Если сомневаетесь в его верности - можно сделать так - я обучаю его вашей тематике, потом вы смотрите своих тематичных конкурентов. Он должен верно их определить.

Интересно ваше мнение о данном скрипте. Всем принявшим участие в тестировании огромное спасибо.

P.S. Пробуйте вводить сайт с www и без.
03.06.2009, 07:58
clump

kotofeich, ссылочку поправьте... букву "e" пропустил одну :)
03.06.2009, 09:13
lerko

Поправил
03.06.2009, 22:23
kotofeich

Спасибо.

Расширена семантическая база. Скрипт теперь определяет 80 тематик (+60 за сегодня).
03.06.2009, 23:38
AndyPike

Куда комментарии писать?

Есть сайт по заявленной тематике (AutoBrands, в подписи), вроде простое ключевое слово. Выдал: Автомобили 0.6 баллов (маловероятные тематики) :), более не предложил варианты. Всего два варианта написания общеизвестной марки, оба по нескольку раз встречаются на морде, не говоря о внутренних и включении этого ключевого слова в название домена (его тоже стоит анализировать).

Другой: http://www.turlocman.ru - вместо tours/travel выдал 10 вариантов, первый - хостинг :), остальное на том же уровне.

Третий: "мебель" - правильно, зацепился за слово "шкафы".

Четвёртый кадрового агентства - "работа" 26% - правильно, хорошо!

С пятого по восьмой - не определил - узкая тематика в ТНП, но в семантической базе они и не заявлены (перчатки, ткани, полотенца, офисные принадлежности, бытовой электроинструмент, упаковочные материалы и прочее).

Резюме:
Не плохо. Но надо поработать над семантической базой и искать включения ключевых слов в имени домена.
04.06.2009, 07:20
lerko

Поанализировав сайты свои, друзей и конкурентов заметил интересную закономерность: Сайты, где тематика определилась четко и с хорошим количеством баллов - в топе и с ТИЦем, а у кого тематика определяется слабо - в *опе. Стоит задуматься.
04.06.2009, 17:13
kotofeich

Цитата:

Сообщение от AndyPike

Куда комментарии писать?

Сюда. Я тут тоже обитаю)

Цитата:

Сообщение от AndyPike

Есть сайт по заявленной тематике (AutoBrands, в подписи), вроде простое ключевое слово. Выдал: Автомобили 0.6 баллов (маловероятные тематики) :), более не предложил варианты. Всего два варианта написания общеизвестной марки, оба по нескольку раз встречаются на морде, не говоря о внутренних и включении этого ключевого слова в название домена (его тоже стоит анализировать).

Ага. Дополнил. Алгоритм не знал такую марку машин.

Цитата:

Сообщение от AndyPike

Другой: http://www.turlocman.ru - вместо tours/travel выдал 10 вариантов, первый - хостинг :), остальное на том же уровне.

Это тематика Туризм. Ее пока нет. Она отличается от тематики Туры, которая уже есть. Туризм появится в порядке "живой очереди" анализируемых сайтов.

Цитата:

Сообщение от AndyPike

Третий: "мебель" - правильно, зацепился за слово "шкафы".

Четвёртый кадрового агентства - "работа" 26% - правильно, хорошо!

У скрипта нет процентов:) Это баллы.

Цитата:

Сообщение от AndyPike

С пятого по восьмой - не определил - узкая тематика в ТНП, но в семантической базе они и не заявлены (перчатки, ткани, полотенца, офисные принадлежности, бытовой электроинструмент, упаковочные материалы и прочее).

Электроинструменты должен был определить как инструменты. Вообщем скоро научим всем этим узким тематикам.

Цитата:

Сообщение от AndyPike

Резюме:
Не плохо. Но надо поработать над семантической базой и искать включения ключевых слов в имени домена.

Над семантикой будем работать. Пока не знаю как определять слова в имени домена:) Тут почти всегда на английском, и нужен очень умный перевод-транслитер, чтобы научиться определять. Пока отбрасывается из-за высокой сложности.
Спасибо за отзыв!
04.06.2009, 17:16
kotofeich

Цитата:

Сообщение от lerko

Поанализировав сайты свои, друзей и конкурентов заметил интересную закономерность: Сайты, где тематика определилась четко и с хорошим количеством баллов - в топе и с ТИЦем, а у кого тематика определяется слабо - в *опе. Стоит задуматься.

Да. Я тоже заметил такое. При этом еще заметил что у оочень огромного числа сайтов тематика абсолютно размыта. Из гавна приходится вытягивать хоть что-то похожее на тематику, чтобы накинуть пару балов.
Во время обучения скрипта появилась куча материала для размышления, относительно тематик, выдачи и качества сайтов.
На данный момент через анализатор прошло около 10к сайтов.
05.06.2009, 08:51
Comm

kotofeich, с семантикой нужно ещё поработать. Пока из 8 сайтов ни у одного не определил правильно.

ЗЫ Хотите посмеяться:
http://www.artlebedev.ru
Ключевая тематика не найдена. Возможно пока ее нет в нашем списке.
Возможные дополнительные но, маловероятные тематики:
Работа 1.5 баллов
Автомобили 1 баллов
Вибраторы, имитаторы 0.8 баллов
Поисковая оптимизация 0.5 баллов :D
05.06.2009, 10:53
ramnek

не нашел тематики ЮМОР.. (((
05.06.2009, 12:27
bebeka

Мой сайт верно определило, спасибо. Прикольный сервис!
06.06.2009, 00:40
kotofeich

Цитата:

Сообщение от Comm

kotofeich, с семантикой нужно ещё поработать. Пока из 8 сайтов ни у одного не определил правильно.

ЗЫ Хотите посмеяться:
http://www.artlebedev.ru
Ключевая тематика не найдена. Возможно пока ее нет в нашем списке.
Возможные дополнительные но, маловероятные тематики:
Работа 1.5 баллов
Автомобили 1 баллов
Вибраторы, имитаторы 0.8 баллов
Поисковая оптимизация 0.5 баллов :D

Да уж. Приколы тут часто возникают:D Поправлено с лебедевым. Какие у тебя тематики не смог определить?
06.06.2009, 00:40
kotofeich

Цитата:

Сообщение от ramnek

не нашел тематики ЮМОР.. (((

Добавлена. Только пока со слабой семантикой. Проверьте заново.
06.06.2009, 00:42
kotofeich

Цитата:

Сообщение от wandit

и азартной тематики

Добавлена.
06.06.2009, 00:49
AndyPike

С vaudi вижу, хорошо.

Добавляю:

Для pkbcomtrans.ru первой должна быть рубрика:
Auto ⁄ Automobiles ⁄ Truck (Грузовые и специальные)
остальные потом, т.к. там слова более редкие и вес их должен быть выше на фоне более распространённых и чаще встречающихся слов.

Благодарю.
06.06.2009, 00:57
AndyPike

Семантика по теме
Auto ⁄ Automobiles ⁄ Truck (Грузовые и специальные):

коммерческих && автомобилей
грузовой (важно только прилагательное)
самосвал
спецтехника
коммерческий (только прилагательное) && автомобиль
грузовик
автомобиль|грузовик && карьер

UPD: Это не критика, помочь хочу :).
Цель поставлена, на мой взгляд, высокая и выглядящая с начала простой, но если погружаться в детали...
06.06.2009, 01:14
kotofeich

Цитата:

Сообщение от AndyPike

Семантика по теме
Auto ⁄ Automobiles ⁄ Truck (Грузовые и специальные):

коммерческих && автомобилей
грузовой (важно только прилагательное)
самосвал
спецтехника
коммерческий (только прилагательное) && автомобиль
грузовик
автомобиль|грузовик && карьер

UPD: Это не критика, помочь хочу :).
Цель поставлена, на мой взгляд, высокая и выглядящая с начала простой, но если погружаться в детали...

Спасибо. Сейчас вроде четко определяет эту тематику.
06.06.2009, 23:15
AndyPike

Вижу изменения, сейчас на первом месте 30.5 баллов по основной теме.
Вторая вероятная тема - 9 баллов. Очень хорошо :).
07.06.2009, 04:34
FreeCat

Было бы правильно чтобы не выдазили подобные строки в тех услучаях когда сслка "не нравится:

Код:

Warning: arsort() expects parameter 1 to be array, null given in /home/kotofeich/data/www/linkfeedator.ru/views/tematika.php on line 127 Warning: Invalid argument supplied for foreach() in /home/kotofeich/data/www/linkfeedator.ru/views/tematika.php on line 129 Warning: Invalid argument supplied for foreach() in /home/kotofeich/data/www/linkfeedator.ru/views/tematika.php on line 135
07.06.2009, 13:43
kotofeich

Цитата:

Сообщение от FreeCat

Было бы правильно чтобы не выдазили подобные строки в тех услучаях когда сслка "не нравится:

Код:

Warning: arsort() expects parameter 1 to be array, null given in /home/kotofeich/data/www/linkfeedator.ru/views/tematika.php on line 127 Warning: Invalid argument supplied for foreach() in /home/kotofeich/data/www/linkfeedator.ru/views/tematika.php on line 129 Warning: Invalid argument supplied for foreach() in /home/kotofeich/data/www/linkfeedator.ru/views/tematika.php on line 135

Исправлено. Теперь робот пытается подключиться без www, затем с www, если и это не помогло - выводит текст о недоступности сайта.

P.S. Скрипт сейчас распознает 187 тематик.
08.06.2009, 03:08
FreeCat

kotofeich
Тогда уж и те, что появляются при простейшем редиректе, полезно бы "пропатчить и заапдетить" :D :

Код:

Warning: arsort() expects parameter 1 to be array, null given in /home/kotofeich/data/www/linkfeedator.ru/views/tematika.php on line 144 Warning: Invalid argument supplied for foreach() in /home/kotofeich/data/www/linkfeedator.ru/views/tematika.php on line 146 Warning: Invalid argument supplied for foreach() in /home/kotofeich/data/www/linkfeedator.ru/views/tematika.php on line 152
09.06.2009, 20:40
kotofeich

Цитата:

Сообщение от FreeCat

kotofeich
Тогда уж и те, что появляются при простейшем редиректе, полезно бы "пропатчить и заапдетить" :D :

Код:

Warning: arsort() expects parameter 1 to be array, null given in /home/kotofeich/data/www/linkfeedator.ru/views/tematika.php on line 144 Warning: Invalid argument supplied for foreach() in /home/kotofeich/data/www/linkfeedator.ru/views/tematika.php on line 146 Warning: Invalid argument supplied for foreach() in /home/kotofeich/data/www/linkfeedator.ru/views/tematika.php on line 152

Поправили баг с редиректами на аналогичный адрес с www. Я вот думаю, а имеет ли смысл определять тематику редиректа на вообще левый адрес? Скрипт предназначается ведь для покупки ссылок. А если при этом происходит редирект черти куда, то... Вообщем загрузился

P.S. Тематик стало 197
10.06.2009, 03:36
FreeCat

kotofeich
Ну редирект может быть не "чёрт знает куда", а в пределах домена ;) .
16.06.2009, 13:28
kotofeich

Цитата:

Сообщение от FreeCat

kotofeich
Ну редирект может быть не "чёрт знает куда", а в пределах домена ;) .

Пока таких не встречал, тем более на биржах:confused:

Проанализированы вручную все сайты, у которых пытались узнать тематику за последние 2 недели. Соответственно им обучен алгоритм, и должен хорошо уметь определять их аналоги.
07.07.2009, 21:40
l2tr

Скажите пожалуйста, какую величину выражают цифры статистики в данном скрипте? Есть какая-то взаимосвязь между данными цифрами и показателями тиц/pr ?
17.08.2009, 23:21
Comm

Проанализировал сейчас несколько ресурсов.
По сравнению с началом июня - изменения на лицо. В лучшую естественно сторону. :)
Даже самый тяжёлый из моих ресурсов (специфические термины) определил правильно.
Kotofeich, респект. Пора внедрять... ;)
17.08.2009, 23:26
kotofeich

Цитата:

Сообщение от Comm

Проанализировал сейчас несколько ресурсов.
По сравнению с началом июня - изменения на лицо. В лучшую естественно сторону. :)
Даже самый тяжёлый из моих ресурсов (специфические термины) определил правильно.
Kotofeich, респект. Пора внедрять... ;)

он уже давно внедрен. и скупщик тематики работает по этому алгоритму:)
18.08.2009, 00:28
AndyPike

работа - однозначно - 26.1 баллов
спецтехника - то же - 31.4 баллов
туризм - пока по нулям
Автомобильные бренды - хорошо - 11 баллов
мебель - отлично - 47 баллов

стоительство - "Ключевая тематика не найдена. Возможно пока ее нет в нашем списке. Возможные дополнительные но, маловероятные тематики: Строительство, ремонт 5.9 баллов" - последнее верно. Зацепок там много: монтажная пена, строительные, ремонтные, отделочные, строителям, бетон, герметик, штукатурные... Хорошие строительные слова и словосочетания для этой тематики.

Комплектующие - 57.2 баллов - не совсем то, там часто используется слово "картридж" и "принтеры" с указанием известных брендов - скорее должны быть в категориях "Ремонт и обслуживание" (7.8 баллов) или "Компьютеры" (7.5 баллов).

Для узкотематических сайтов производителей пока по нулям.

Благодарю kotofeich за интересный и полезный инструмент. Всё что выше - не критика, а материал для совершенствования. Скоро стану клиентом.
18.08.2009, 00:33
kotofeich

Цитата:

Сообщение от AndyPike

работа - однозначно - 26.1 баллов
спецтехника - то же - 31.4 баллов
туризм - пока по нулям
Автомобильные бренды - хорошо - 11 баллов
мебель - отлично - 47 баллов

стоительство - "Ключевая тематика не найдена. Возможно пока ее нет в нашем списке. Возможные дополнительные но, маловероятные тематики: Строительство, ремонт 5.9 баллов" - последнее верно. Зацепок там много: монтажная пена, строительные, ремонтные, отделочные, строителям, бетон, герметик, штукатурные... Хорошие строительные слова и словосочетания для этой тематики.

Комплектующие - 57.2 баллов - не совсем то, там часто используется слово "картридж" и "принтеры" с указанием известных брендов - скорее должны быть в категориях "Ремонт и обслуживание" (7.8 баллов) или "Компьютеры" (7.5 баллов).

Для узкотематических сайтов производителей пока по нулям.

Благодарю kotofeich за интересный и полезный инструмент. Всё что выше - не критика, а материал для совершенствования. Скоро стану клиентом.

Я ничуть не сомневаюсь что это был материал совершенствования и вся критика пошла на пользу:) Вначале когда я объявил этот топик на всех биржах - база имела всего 200 слов для определения тематики:) Сейчас выросла в десятки раз.
Если интересно - напиши мне в icq 491925630 и я объясню где и за что тебе поставили балы.
18.08.2009, 01:24
AndyPike

Полезно и хорошо пообщались с Котофеичем. Всем на пользу.
Очень приятный собеседник.
02.09.2009, 16:02
Linkdealer

Цитата:

Сообщение от Comm

kotofeich, с семантикой нужно ещё поработать. Пока из 8 сайтов ни у одного не определил правильно.

ЗЫ Хотите посмеяться:
http://www.artlebedev.ru
Ключевая тематика не найдена. Возможно пока ее нет в нашем списке.
Возможные дополнительные но, маловероятные тематики:
Работа 1.5 баллов
Автомобили 1 баллов
Вибраторы, имитаторы 0.8 баллов
Поисковая оптимизация 0.5 баллов :D

да вибратор и есть, ай да скрипт ай молодца.
02.09.2009, 23:55
FreeCat

Linkdealer
Вообще он на многиз личных сайтах отказывает, проверил ;) .
09.09.2009, 12:23
nonexistent

Цитата:

Сообщение от kotofeich

Реализован скрипт определения тематики сайтов.

Анализируемый сайт: www.mvm-moto.ru
Ключевые тематики:
Ключевая тематика не найдена. Возможно пока ее нет в нашем списке.

Возможные дополнительные но, маловероятные тематики:
Авто, мото 8 баллов
Дорожное движение 6.2 баллов

Дополнительные маловероятные, но возможные тематики:
Интернет 2.1 баллов
Разработка сайтов 1.8 баллов
Интернет-ресурсы 1.5 баллов
Хакеры 1.5 баллов
Создание и продвижение сайтов 1.2 баллов

Странно......
автомобили и мотоциклы присутствуют на странице в большом кол-ве........ а ключевая тематика не определена.
09.09.2009, 13:05
Comm

Скрипт kotofeichа работает достаточно прилично, нужно учитавать, что даже Яша,
анализировать тематику как следует, пока не умеет... ;)
12.09.2009, 03:25
knlmail

Скромному сайту о полиграфии поставил 4.5 за "вибраторы". Ну нету там этого, точно нету :-)