Существует ряд типичных для каталогов ресурсов интернет проблем, они будут описаны ниже.
Одной из актуальных и наиболее важных проблем является возможность публикации нежелательного содержания в каталоге. Данная проблема выявляется различно, в зависимости от типа каталога. В каталогах с предварительной модерацией редакторам приходится ежедневно обрабатывать такие заявки вручную. В каталогах с пост-модерацией или в немодерируемых каталогах появляется задача удаления такого содержания после публикации. Причем нежелательный материал в случае пост-модерации может быть опубликован, соответственно рядовой пользователь каталога может увидеть такой материал, что крайне нежелательно.
Обычно к нежелательному содержанию относят следующую информацию:
- большое количество ненормативной лексики;
- ресурсы, содержащие жестокость, расовую нетерпимость или пропаганду действий против личности, группы или организации.;
- о взломе компьютерных систем;
- о наркотиках и их атрибутике;
- порнографию и информацию только для взрослых;
- азартные игры или информация, относящаяся к казино;
- чрезмерное количество рекламы на сайте;
- любая информация, пропагандирующая нелегальную деятельность или нарушающая права других людей;
- всплывающие окна переднего плана, всплывающие окна заднего фона или окна, открывающиеся при уходе со страницы, которые мешают навигации по сайту, меняют настройки пользователя или предназначены для загрузки;
- наличие чрезмерного количества часто повторяющихся и несоответствующих содержанию страницы ключевых слов на самой странице или в коде страницы;
- содержание, вводящее пользователя в заблуждение или манипулирующее им, а также структура, позволяющая увеличить рейтинг страницы при поиске в каталоге;
- продажа или реклама определенных видов оружия, например, огнестрельного оружия, боеприпасов, складных ножей и кастетов;
- продажа или реклама пива или крепких алкогольных напитков;
- продажа или реклама табака или табачных изделий;
- продажа или реклама лекарств, отпускаемых по рецепту;
- продажа или продвижение товаров, являющихся копией или имитацией изделий от дизайнеров и т.п.
В общем случае, определение недоброкачественного содержания сводится к выявлению тематики, противоречащей политике каталогов. Как правило, в роли цензора выступает модератор.
В настоящее время разработан ряд методов для борьбы с публикацией недоброкачественного содержания. Эти методы подразделяют на ручные (обработка заявок модератором), частично автоматизированные (когда используются модули, позволяющие автоматизировать часть операций и выявить недоброкачественное содержание) и полностью автоматизированные (когда ИС работает в экспертном режиме и определяет недоброкачественное содержание: удаляет его или помечает специальным маркером самостоятельно, без привлечения модератора).