ФОРМАЛЬНОЕ ОПРЕДЕЛЕНИЕ ТЕМЫ И ОСНОВНОГО СОДЕРЖАНИЯ ТЕКСТА КАК ОСНОВА ПРОЦЕДУРЫ АВТОМАТИЧЕСКОГО ОБЪЕДИНЕНИЯ НОВОСТНЫХ СООБЩЕНИЙ В ЕДИНЫЙ СЮЖЕТ

Транскрипт

1 А.О. Третьяк (Минск, МГЛУ) ФОРМАЛЬНОЕ ОПРЕДЕЛЕНИЕ ТЕМЫ И ОСНОВНОГО СОДЕРЖАНИЯ ТЕКСТА КАК ОСНОВА ПРОЦЕДУРЫ АВТОМАТИЧЕСКОГО ОБЪЕДИНЕНИЯ НОВОСТНЫХ СООБЩЕНИЙ В ЕДИНЫЙ СЮЖЕТ В современном мире происходит большое количество разных событий, поэтому выбор новостных сюжетов для освещения и определение порядка их появления в новостных выпусках является важной задачей, которую иногда сложно реализовать быстро вручную. Вследствие этого, создание автоматизированной системы обработки новостей является актуальной проблемой, поскольку позволяет формализовать и ускорить процесс их обработки. Под новостным сюжетом будем понимать совокупность сведений о некоторых сущностях и явлениях, т.е. сделаем допущение, что группа схожих по содержанию и близких по времени новостных сообщений соответствует новостному сюжету. Таким образом, выделение новостных сюжетов сводится к разбиению информационного потока на тематические группы. Автоматическое определение темы текста (отнесение текста к определенной тематической области) проводится в рамках автоматического индексирования. Среди методов автоматического индексирования наибольший интерес для данной работы представляет дескрипторный (индикаторный) метод. При индексировании текста по этому методу предварительно изучается большое количество текстов разной тематической направленности. По текстам каждой тематики создаётся словарь дескрипторов (индикаторов), т.е. слов, специфичных для данной темы. Все слова-дескрипторы при этом делятся на безусловные и условные индикаторы. К безусловным дескрипторам относятся те лексические единицы, которые однозначно определяют принадлежность текста к данной тематике. Условные дескрипторы могут употребляться в текстах различных тематик. Среди них выделяют квазиоднозначные и тематически многозначные дескрипторы. Квазиоднозначными являются те лексические единицы, употребление которых более вероятно в текстах, относящихся к одной тематике, но они встречаются и в текстах других тематик. Тематически многозначные дескрипторы это такие лексические единицы, частота употребления которых в текстах разных тематик приблизительно одинакова. Процесс индексирования текста на основе данного метода осуществляется следующим образом. Первоначально в ходе его семантического анализа определяется наличие безусловных индикаторов. Если в тексте содержатся только безусловные дескрипторы одной тематической области, то текст относится к одной тематике. В противном

2 случае текст политематичен и относится к разным предметным областям. Если в тексте найдены безусловные дескрипторы только одной предметной области и условные дескрипторы различных предметных областей, то тематическая направленность текста определяется в два этапа. На первом этапе с опорой на безусловные дескрипторы делается предварительный вывод о том, что текст относится к конкретной тематической области. Следующий этап связан с анализом условных дескрипторов. Компьютер определяет расстояние между условными дескрипторами, их сочетаемость и делает окончательный вывод о том, однотематичен или политематичен текст. Для того чтобы слово можно было использовать в качестве дескриптора, следует определить, насколько оно значимо для данной предметной области и не относится ли оно к общеупотребительной лексике. Г.П. Лун [1, c. 124] предложил способ измерения значимости слов путем использования частот их появления в тексте. Сначала он обратил внимание на то, что наиболее часто встречающиеся слова являются «слишком общими, чтобы иметь требуемый тип значимости...» и что они могут быть исключены из рассмотрения благодаря использованию списка общих слов или же «путем отбрасывания наиболее часто встречающихся слов при использовании статистических методов... Точно так же можно было бы отбрасывать редко встречающиеся слова. Это кажется интуитивно разумным, так как если в большой статье или книге слово встречается всего один или два раза, то такому слову едва ли придается большая значимость» [1, c. 125]. Однако Г.П. Лун не определил, что такое «значимость». В статистике при проверке какойлибо гипотезы значимость определяется некоторым числом, выражающим отличие от ожидавшейся величины. Таким образом, значимым является то, что отклоняется от ожидаемого [1, c ]. Следовательно, значимым (информативным) словом будет являться слово, частота повторения которого в некоторых документах выше, чем при случайном распределении. Американскими исследователями было установлено пороговое значение частоты употребления слов в текстах, при котором слово становится значимым. Оно вычисляется по следующей формуле [2, c. 156]: Q=(10500*ЕК)/F, где Q коэффициент значимости слова; F абсолютная частота употребления слова на 1 млн. словоупотреблений; ЕК обратная величина коэффициента изменения частоты употребления этого слова. ЕК вычисляется следующим образом:

3 где N количество документов в выборке; L d количество слов во взятом подряд тексте; f c,d количество случаев появления слова с в документе d; g c,d / L d нормализованная частота появления слова с в документе d. При Q > Q=(10500*ЕК)/F слово будет значимым. При автоматическом определении основного содержания текста центральной является проблема критериев, используемых для выбора наиболее информативных слов и предложений из первичного документа. Чаще всего для этих целей используются статистические, позиционные и лингвосемантические методы [3]. Исходя из цели данного исследования, рассмотрим более подробно статистические методы. Они основаны на использовании статистических параметров для оценки информативности различных элементов текста и учитывают, прежде всего, показатель частоты встречаемости слов в тексте. В результате ранжирования лексики в том или ином документе определяют слова с высоким рангом и их сочетаемость в различных фразах [4, c. 144]. Статистическая информация об отдельных лексических единицах легко извлекается компьютером из текста, и есть все основания полагать, что она адекватно отражает его основное содержание. Свое начало статистические методы берут из работ вышеупомянутого американского ученого Г.П. Луна, который в 1958 году получил первый в мире машинный реферат текста. Он был основан на допущении, что чем больше часто встречающихся знаменательных слов оказывается рядом, тем более существенную информацию содержит предложение. Разработанный Г.П. Луном алгоритм автоматического составления реферата включал в себя следующие действия: ЭВМ «читала» исходный текст и создавала по нему частотный словарь всех словоформ. Далее из этого словаря удалялась вся служебная и общеупотребительная лексика. По специальной формуле в зависимости от длины текста рассчитывалась критическая (пороговая) частота употребления словоформы в тексте. Частоты словоформ словаря сравнивались с этим пороговым значением, и в случае его превышения данные словоформы сохранялись в словаре. Низкочастотная лексика из словаря удалялась. Затем ЭВМ «читала» текст еще раз по отдельным предложениям. Каждое из них анализировалось на наличие в нем ключевых слов. Если в предложении не было ключевых слов, то оно в реферат не включалось. Если в предложении было два и более ключевых слова, то ЭВМ

4 анализировала расстояние между ними. Если расстояние между ключевыми словами было невелико (2 4 слова), то предложение считалось информационно значимым и включалось в создаваемый ЭВМ реферат текста. В противном случае оно пропускалось. В настоящее время существует целая группа статистических методов. Так, в одном из них [5, c. 125] процедура выделения ключевых слов текста сводится к следующему: 1. Компьютер разбивает текст на абзацы и составляет по каждому абзацу алфавитно-частотный словарь словоформ. 2. Далее все алфавитно-частотные словари абзацев объединяются в единый распределительный алфавитно-частотный словарь словоформ всего текста. В нем указывается общая частота употребления словоформы в тексте и числа абзацев, в которых она встретилась. 3. Затем производится сокращение распределительного алфавитночастотного словаря словоформ текста до словаря потенциальных ключевых (опорных) слов. Эта процедура включает в себя следующие операции. Из распределительного словаря удаляется вся служебная и общеупотребительная лексика. В оставшейся части словаря суммируются частоты всех грамматических форм одного и того же слова. Далее в этом же словаре суммируются частоты синонимов (в том числе и контекстуальных). Затем из оставшейся части распределительного словаря удаляются слова, которые встретились только в одном абзаце. 4. На последнем этапе словарь потенциальных опорных слов текста делится на две части. В первую часть входят главные опорные слова (ГОС), а во вторую второстепенные опорные слова (ВОС). Данная процедура осуществляется на основе коэффициента важности каждого слова, который вычисляется по формуле: К в =F*m/N*n, где F абсолютная частота употребления слова с учётом всех грамматических форм и синонимов; m количество абзацев, в которых встретилось слово; N общее число словоупотреблений в тексте; n общее число абзацев в тексте. Предварительно, в зависимости от длины текста (в словах и абзацах) по специальной формуле определяется средняя (пороговая) величина коэффициента важности [6, c. 45]. Коэффициент важности каждого слова словаря сравнивается с этой величиной. Если коэффициент важности слова выше пороговой величины, то оно относится к числу главных опорных слов, если меньше пороговой величины к числу второстепенных опорных слов текста. Слова, входящие в каждую из выделенных групп, не однородны по своему содержанию. Они обозначают основные компоненты описанной в тексте ситуации: адресата и адресанта (субъекты), совершаемые ими действия в определенное время и в определенном месте, а также объекты действительности, о которых идет речь в тексте.

5 Для адекватного формализованного представления основного содержания текста необходимо оперировать не отдельными словами, а определенным набором ключевых слов, который и представляет собой «информационный портрет» текста новостного сообщения. Максимальная смысловая близость «информационных портретов» текстов, а также их монотематичность являются двумя важными факторами, которые необходимо учитывать компьютеру при объединении текстов в единый сюжет. ЛИТЕРАТУРА 1. Мидоу, Ч. Анализ информационно-поисковых систем. Введение для программистов. М., Деннис, Ф. Разработка и испытание полностью автоматизированной системы индексирования и поиска текстовых документов // Информационный поиск: cб. матер. / Под ред. К.Н. Трофимова М., С Горяник, Л.В., Дорохина, Г.В. Тематический фильтр текстов // Искусственный интеллект. Донецк, С Блюменау, Д.И. Информационный анализ/синтез для формирования вторичных документов: учебно-практ. пособие. СПб., Зубов, А.В, Зубова, И.И. Компьютерная лингвистика // Основы лингвистической информатики. В 3-х частях Минск, Ч Зубов, А.В. Вероятностно-алгоритмическая модель порождения текста // Проблемы порождения текста. В 4-х частях. Минск, Ч. 2.