Программка для работы с базами каталогов

aldic · 04.06.2006, 20:55

Уилита BaseFix работает с базами каталогов, которые использует AllSubmitter, и позволяет быстро и удобно в автоматическом режиме проделать над базой необходимые манипуляции. Есть Help, в котором описаны текущие возможности.

Принимаем пожелания по усовершенствованию. Чего в ней еще хотелось бы видеть? За последнее время по просьбам пользователей добавили опции проверки забаненных каталогов и проверки "мертвых" ссылок... Ведется работа над автоматической проверкой белости, но, кажется, это уже не актуально...

aldic · 05.06.2006, 09:43

Вышла новая версия. В ней улучшена работа с проверкой убитых ссылок. Теперь можно самостоятельно решить, какие коды ответов сервера считать убитыми ссылками. Так же можно отфильтровать редиректы, forbidden и пр. коды.

Наконец-то актуализирован help.

За апдейтами обращайтесь на почту.
Покупка теперь стоит $10, зато можно получить подарки...

vision · 05.06.2006, 19:40

aldic, вау подарки

**Silver** · 05.06.2006, 19:46

Реклама!?

aldic · 05.06.2006, 19:58

Это как посмотреть. Довожу до сведения....

А что это у вас в приписочке ? Реклама?

**Silver** · 05.06.2006, 20:50

aldic, извините, но я АДМИН этого форума!!! И не создаю пустые топики с некому ненужной информацией. Хотите поспорить об этом?

aldic · 05.06.2006, 21:10

Извините? - За что мне вас извинять? Или фигура речи такая? Я не админ этого форума и вообще здесь никто, но, думаю, это не повод нападать на меня и называть тему пустой - если местному населению нечего сказать, кроме издевок, можете удалить тему. Я рассчитывал узнать мнение о сервисе и в моем сообщении это прямо указано...

**Silver** · 06.06.2006, 08:22

Интересно, как она выглядит "фигура речи"?

aldic · 07.06.2006, 10:32

Алгоритм проверки белости каталога. На данный момент по соотношению <качетсво определения/разумная скорость> самый лучший, что придумали. Предлагаем на обсуждение и если будет перспектива, можно встроить в утилиту.

----

Процесс состоит из двух этапов.
1. Проверить прямые ли ссылки (достаточно просто)
2. Проверить требуются ли обратки

Первое, как уже написал, сравнительно не сложно определяется парсингом, главное точно нацелиться на нижний уровень, а не попасть в рубрикатор. Проблема больше техническая.

Второе сложнее, т.к. тут вообще с виду не подобраться. Решение:

Берем выборочно пару (число уточняется) ссылок из каталога из разных разделов и идем на эти сайты. Если на них нет ответных ссылок, значит велика вероятность, что каталог белый.

Проблемы:

а) страниц на сайте много и ссылки можно искать оч. долго. Нужно определить вероятность и выбрать наиболее важные участки поиска, на основании которого сделать с определ. вероятностью вывод, что ссыолк не найдено.

б) Сайт может быть недавно в каталоге и ссылок обратных еще не поставить. ли не поставил вообще, но в каталоге недавно и можеры его еще не удалили. Или в каталоге давно, но ссылки грохнул и еще не удален. В общем, есть опр. вероятность, но не большая.

Пункт а решается так же парсингом ответа Я. на предмет ссылающихся страниц.

В общем, если подойти с правильного бока, алгоритм вырисовывается. Требуется обсуждение и ваше мнение...

aldic · 13.06.2006, 10:29

Новая версия проверяет «забаненность» сайтов в базе с точностью до подкаталога, например, site.ru может быть не забанен, а подкаталог site.ru/links/ - забанен – это будет обнаружено.

Новая версия умеет проверять дубли в базе – еще на этапе загрузки обнаружит дублирующиеся ссылки в самой базе и откинет их перед дальнейшей работой. Работает быстро! Дубли проверяются сразу по всем загружаемым базам.

Новая версия так же умеет проверять URL в базе на корректность. Известно, что в базах часто накиданы «битые» ссылки типа «[link]» и т.п. в поле адреса. Такие ссылки будут исключены на этапе загрузки.

Количество найденных битых ссылок и дублей сообщается.

Новая версия умеет читать сразу из txt. При том достаточно, чтобы url были разделены хотя бы одним пробелом (не обязательно построчно). Т.е. в любом виде программка сможет считать текстовый файл с url`ами – при этом сохраняются остальные функции – проверка дублей и корректности ссылок. Программа сама распознает какой формат ей подсунули txt или xml.

Новая версия умеет открывать базы SmileSeoTools, при этом сама отличает их формат от других баз. Правда сохраняет только в txt или формат AllSubmitter. SmileSeo умеет импортировать эти базы, так что этих возможностей должно хватить. При открытии баз формата SmileSeoTools утилита вытаскивает оттуда в комментарии часть доп. информации, которая не предусмотрена в AllSubmitter, но может пригодиться.

С текущей версии для облегчения апдейтов стоит автоматический напоминатель. Теперь вы всегда будете в курсе новых апдейтов.

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
Нужен совет по построению каталогов	ddddd	Библиотека	0	20.01.2010 17:04
Помогите разобраться с базами данных	akbulakchanin	ASP, Perl, PHP и MySQL	4	12.10.2009 10:42
Закачка нескольких каталогов	LL-20	HTML, CSS, JavaScript	6	11.02.2009 13:49
О структуре каталогов сайта	BarsЯ	HTML, CSS, JavaScript	2	19.07.2006 16:54
Порядок сортировки каталогов	MasMaX	HTML, CSS, JavaScript	1	02.08.2005 10:54

04.06.2006, 20:55	#1
aldic	Уилита BaseFix работает с базами каталогов, которые использует AllSubmitter, и позволяет быстро и удобно в автоматическом режиме проделать над базой необходимые манипуляции. Есть Help, в котором описаны текущие возможности. Принимаем пожелания по усовершенствованию. Чего в ней еще хотелось бы видеть? За последнее время по просьбам пользователей добавили опции проверки забаненных каталогов и проверки "мертвых" ссылок... Ведется работа над автоматической проверкой белости, но, кажется, это уже не актуально...

05.06.2006, 09:43	#2
aldic	Вышла новая версия. В ней улучшена работа с проверкой убитых ссылок. Теперь можно самостоятельно решить, какие коды ответов сервера считать убитыми ссылками. Так же можно отфильтровать редиректы, forbidden и пр. коды. Наконец-то актуализирован help. За апдейтами обращайтесь на почту. Покупка теперь стоит $10, зато можно получить подарки...

05.06.2006, 19:58	#5
aldic	Это как посмотреть. Довожу до сведения.... А что это у вас в приписочке ? Реклама?

05.06.2006, 20:50	#6
Silver	aldic, извините, но я АДМИН этого форума!!! И не создаю пустые топики с некому ненужной информацией. Хотите поспорить об этом?

05.06.2006, 21:10	#7
aldic	Извините? - За что мне вас извинять? Или фигура речи такая? Я не админ этого форума и вообще здесь никто, но, думаю, это не повод нападать на меня и называть тему пустой - если местному населению нечего сказать, кроме издевок, можете удалить тему. Я рассчитывал узнать мнение о сервисе и в моем сообщении это прямо указано...

06.06.2006, 08:22	#8
Silver	Интересно, как она выглядит "фигура речи"?

07.06.2006, 10:32	#9
aldic	Алгоритм проверки белости каталога. На данный момент по соотношению <качетсво определения/разумная скорость> самый лучший, что придумали. Предлагаем на обсуждение и если будет перспектива, можно встроить в утилиту. ---- Процесс состоит из двух этапов. 1. Проверить прямые ли ссылки (достаточно просто) 2. Проверить требуются ли обратки Первое, как уже написал, сравнительно не сложно определяется парсингом, главное точно нацелиться на нижний уровень, а не попасть в рубрикатор. Проблема больше техническая. Второе сложнее, т.к. тут вообще с виду не подобраться. Решение: Берем выборочно пару (число уточняется) ссылок из каталога из разных разделов и идем на эти сайты. Если на них нет ответных ссылок, значит велика вероятность, что каталог белый. Проблемы: а) страниц на сайте много и ссылки можно искать оч. долго. Нужно определить вероятность и выбрать наиболее важные участки поиска, на основании которого сделать с определ. вероятностью вывод, что ссыолк не найдено. б) Сайт может быть недавно в каталоге и ссылок обратных еще не поставить. ли не поставил вообще, но в каталоге недавно и можеры его еще не удалили. Или в каталоге давно, но ссылки грохнул и еще не удален. В общем, есть опр. вероятность, но не большая. Пункт а решается так же парсингом ответа Я. на предмет ссылающихся страниц. В общем, если подойти с правильного бока, алгоритм вырисовывается. Требуется обсуждение и ваше мнение...

13.06.2006, 10:29	#10
aldic	Новая версия проверяет «забаненность» сайтов в базе с точностью до подкаталога, например, site.ru может быть не забанен, а подкаталог site.ru/links/ - забанен – это будет обнаружено. Новая версия умеет проверять дубли в базе – еще на этапе загрузки обнаружит дублирующиеся ссылки в самой базе и откинет их перед дальнейшей работой. Работает быстро! Дубли проверяются сразу по всем загружаемым базам. Новая версия так же умеет проверять URL в базе на корректность. Известно, что в базах часто накиданы «битые» ссылки типа «[link]» и т.п. в поле адреса. Такие ссылки будут исключены на этапе загрузки. Количество найденных битых ссылок и дублей сообщается. Новая версия умеет читать сразу из txt. При том достаточно, чтобы url были разделены хотя бы одним пробелом (не обязательно построчно). Т.е. в любом виде программка сможет считать текстовый файл с url`ами – при этом сохраняются остальные функции – проверка дублей и корректности ссылок. Программа сама распознает какой формат ей подсунули txt или xml. Новая версия умеет открывать базы SmileSeoTools, при этом сама отличает их формат от других баз. Правда сохраняет только в txt или формат AllSubmitter. SmileSeo умеет импортировать эти базы, так что этих возможностей должно хватить. При открытии баз формата SmileSeoTools утилита вытаскивает оттуда в комментарии часть доп. информации, которая не предусмотрена в AllSubmitter, но может пригодиться. С текущей версии для облегчения апдейтов стоит автоматический напоминатель. Теперь вы всегда будете в курсе новых апдейтов.