Актуальность и востребованность
Экспоненциальный рост объема информации, содержащейся в Интернете, является причиной все более и более возрастающей трудности поиска необходимых документов и организации их в виде структурированных по смыслу хранилищ. Начиная еще с докомпьютерной эпохи, в качестве эффективного средства смысловой организации массивов документов, обеспечивающего возможность удобного доступа к ним, используются иерархические каталоги. В настоящее время этот подход применяется разнообразными компьютерными системами поддержки поиска и доступа к документам. Вероятно, из всех типов таких систем, лидерами по количеству использующих их людей, являются веб-каталоги, такие как DMOZ, Yandex, Yahoo и Rambler. В качестве других примеров можно назвать рубрицированные хранилища патентов (например, Всемирной Организации Интеллектуальной Собственности WIPO) или разнообразные компьютерные библиотечные каталоги. Такие системы незаменимы для эффективного поиска и навигации в огромных массивах документов, однако поддержка их полноты, производимая главным образом вручную, становится все более трудоемкой в условиях взрывного роста числа документов.
Существующие решения
Интеллектуализация созданных в настоящее время каталогов ресурсов интернет находится на зачаточном уровне, многие функции существующих в настоящее время каталогов даже не автоматизированы. Наиболее развитыми и полными каталогами в Интернете являются: Open Directory Project, каталог Yahoo, каталог Alexa. В русскоязычном интернете следует выделить следующие каталоги: каталог Яндекс, каталог-рейтинг Рамблер ТОП-100, каталог и рейтинг Mail.ru. Следует заметить, что только в русскоязычном Интернете количество каталогов ресурсов интернет превышает 1700. В основном, это частично автоматизированные неинтеллектуализированные тематические каталоги. Зачастую такие каталоги создаются для «обмана» поисковых систем с целью повышения рейтинга сайта в выдаче поисковой машины при помощи обмена ссылками.