Современные проблемы теории кодирования

Save this PDF as:
 WORD  PNG  TXT  JPG

Размер: px
Начинать показ со страницы:

Download "Современные проблемы теории кодирования"

Транскрипт

1 Нижегородский государственный университет им НИ Лобачевского Федеральное агентство по образованию Национальный проект «Образование» Инновационная образовательная программа ННГУ Образовательно-научный центр «Информационно-телекоммуникационные системы: физические основы и математическое обеспечение» ЛП Жильцова Современные проблемы теории кодирования Учебно-методические материалы по программе повышения квалификации «Информационные технологии и компьютерное моделирование в прикладной математике» Нижний Новгород 7

2 Учебно-методические материалы подготовлены в рамках инновационной образовательной программы ННГУ: Образовательнонаучный центр «Информационно-телекоммуникационные системы: физические основы и математическое обеспечение» Жильцова ЛП Современные проблемы теории кодирования Учебнометодические материалы по программе повышения квалификации «Информационные технологии и компьютерное моделирование в прикладной математике» Нижний Новгород 7 8 с В учебно-методических материалах освещаются вопросы экономного кодирования информации Для различных классов языков сообщений излагаются теоретические результаты характеризующие возможности сжатия информации при учете ее вероятностных и структурных свойств Приводится краткий обзор методов кодирования применяемых в приложениях Для преподавателей научных работников аспирантов и студентов специализирующихся в области дискретной математики и теории кодирования или интересующихся проблемами теории кодирования ЛП Жильцова 7

3 Оглавление Введение 5 Глава Алфавитное кодирование 7 Основные определения 7 Проблема распознавания взаимной однозначности алфавитного 8 кодирования 3 Алгоритм построения префиксного кода по набору длин элементарных кодов 4 Алгоритмы экономного алфавитного кодирования 3 4 Алгоритм Хаффмана 4 4 Алгоритм Фано 6 43 Алгоритм Шеннона 7 44 Энтропия и ее связь со стоимостью оптимального алфавитного 8 кодирования 5 Возможности сжатия при алфавитном кодировании учитывающем синтаксис языка сообщений Глава Кодирование вероятностных источников с конечным 5 числом состояний Глава 3 Вопросы кодирования стохастических языков Соотношение 8 между стоимостью оптимального кодирования и энтропией стохастического языка 3 Основные определения относящиеся к кодированию стохастических 8 языков 3 Соотношение между стоимостью оптимального кодирования и 9 энтропией для произвольного стохастического языка Глава 4 Вопросы кодирования контекстно-свободных языков 34 4 Основные определения и понятия связанные с КС-языками и 34 стохастическими КС-языками 4 Связь стоимости оптимального кодирования стохастического КСязыка 39 с энтропией и матрицей первых моментов 43 Метод укрупнения правил КС-грамматики 4 3

4 44 Неразрешимость проблем связанных с кодированием стохастических 44 КС-языков 45 Кодирование стохастических КС-языков в докритическом случае Закономерности применения правил грамматики Нижняя оценка стоимости кодирования Алгоритм асимптотически оптимального кодирования 5 46 Кодирование стохастических КС-языков в критическом случае Закономерности в деревьях вывода слов стохастического КС-языка 55 в критическом случае 46 Нижняя оценка стоимости кодирования и асимптотически 58 оптимальное кодирование Критический случай Глава 5 Краткий обзор методов экономного кодирования 6 используемых в приложениях 5 Арифметическое кодирование 6 5 Алгоритмы Зива-Лемпеля 68 5 Алгоритм LZ Алгоритм LZ Преобразование Барроуза-Уилера 73 Литература 79 4

5 ВВЕДЕНИЕ В работе излагаются результаты относящиеся к одному из направлений теории кодирования в котором изучаются вопросы сжатия информации Такое кодирование называется экономным Вопросы сжатия информации играют важную роль в информатике Это связано с развитием вычислительной техники и средств связи и как следствие с необходимостью хранения и передачи больших объемов информации Возможности сжатия информации определяются ее вероятностными и структурными синтаксическими свойствами С помощью вероятностей моделируются частоты появления различных букв в сообщениях частоты фрагментов сообщений частоты появления самих сообщений Дополнительные возможности для сжатия появляются когда в качестве сообщений рассматриваются не любые последовательности символов а только некоторые из них Например в текстах русского языка не могут встречаться фрагменты "ггг" "аь" и тд и это можно учитывать при кодировании Начало математическому исследованию вопросов экономного кодирования учитывающего вероятностные и структурные свойства информации было положено работой К Шеннона «Математическая теория связи» опубликованной в 948 году При построении алгоритмов кодирования Шенноном учитывались главным образом вероятностные свойства сообщений порождаемых источником с конечным числом состояний Однако эти вероятностные свойства определялись как вероятностными свойствами состояний источника так и синтаксическими структурными свойствами последовательностей символов генерируемых источником Вопросы экономного кодирования с учетом структурных свойств информации рассматривались в работах Ал А Маркова Он изучал возможности сжатия сообщений также генерируемых источниками с конечным числом состояний при простом с алгоритмической точки зрения способе кодирования алфавитном или побуквенном кодировании Ал А Марков показал что во многих случаях учет структурных свойств при кодировании позволяет более эффективно сжимать информацию Продолжением этого направления являлись исследования автора настоящей работы В них рассматривались вопросы алфавитного кодирования контекстно-свободных языков КС-языков являющихся существенным расширением языков сообщений генерируемых источниками с конечным числом состояний Оказалось что в классе контекстно- 5

6 свободных языков даже для такого простого способа кодирования как алфавитное многие проблемы алгоритмически неразрешимы К ним относятся проблема распознавания однозначности декодирования и проблема оптимального кодирования Поэтому в настоящее время при изучении вопросов экономного кодирования для таких сложных классов языков сообщений как класс КС-языков большое внимание уделяется построению асимптотически оптимальных алгоритмов экономного кодирования Необходимость в исследовании математических вопросов кодирования КС-языков объясняется тем что КС-языки одно из ближайших расширений языков описываемых источниками с конечным числом состояний КС-языки широко применяются на практике для описания синтаксических свойств естественных языков и языков программирования высокого уровня Известны также примеры их использования для описания классов геометрических и физических объектов В настоящее время достаточно большое количество публикаций посвящено использованию контекстно-свободных грамматик для моделирования структурных свойств различных видов информации: звуковой графической и др Кроме теоретических результатов относящихся к вопросам кодирования сообщений с учетом их вероятностных и структурных свойств в работе приводится краткий обзор методов кодирования которые появились в последние годы и применяются на практике в системах сжатия данных 6

7 ГЛАВА АЛФАВИТНОЕ КОДИРОВАНИЕ В настоящей главе излагаются математические результаты связанные с наиболее простым методом кодирования побуквенным кодированием Основные определения Пусть B b b K b } алфавит Конечную последовательность символов n { β b b Kb будем называть словом а число n - длиной слова длину слова β будем обозначать через β Через B* обозначается множество всех слов в алфавите B Слова из B* будем называть также сообщениями Языком сообщений назовем произвольное подмножество L B * Пусть L язык Под двоичным кодированием языка L понимается инъективное + отображение f : L {} где + { } - множество всех непустых двоичных последовательностей Далее под кодированием будет пониматься двоичное кодирование Отображение f ставит в соответствие слову кодом сообщения β β L слово + α { } α будем называть Требование инъективности отображения f означает что различные сообщения должны кодироваться разными двоичными последовательностями При выполнении этого требования обеспечивается однозначность декодирования сообщений Такое кодирование называется взаимно-однозначным В теории кодирования рассматриваются не любые инъективные отображения f а те из них которые могут быть реализованы алгоритмами Наиболее изученными являются вопросы экономного кодирования для случая когда LB* свойства информации описываются вероятностями появления букв в сообщениях из B* а в качестве способа кодирования применяется побуквенное или алфавитное кодирование Алфавитное кодирование задается схемой в которой каждой букве алфавита ставится в соответствие двоичная последовательность символов: b v b v f : L b v v * {} Коды v называются элементарными а их набор V v v Kv - кодом 7

8 При построении схемы кодирования используется дополнительная информация о вероятностях появления букв вероятностное распределение P K При построении схем алфавитного кодирования возникают две основные задачи: Проблема распознавания взаимной однозначности алфавитного кодирования; Задача построения схемы кодирования обеспечивающего наибольшее сжатие Проблема распознавания взаимной однозначности алфавитного кодирования Пример Рассмотрим схему b f : b f задает взаимно-однозначное кодирование Достаточно заметить что перед каждым вхождением символа стоит символ поэтому каждое вхождение вместе с предшествующим нулем кодирует букву b Символ за которым не следует кодирует букву b Например последовательность β имеет единственную расшифровку α bb bb bb Пример Рассмотрим схему f b : b b3 Кодирование задаваемое схемой f не является взаимно-однозначным Последовательность β допускает две расшифровки α bb и α b3 Для непосредственной проверки взаимной однозначности необходимо в общем случае проверить бесконечное множество пар слов Определение Пусть слово α имеет вид α α Тогда α называется префиксом слова α а α - суффиксом α Если < α < α то α называется собственным префиксом α если < α < α то α собственный суффикс α Определение Схема алфавитного кодирования f обладает свойством префикса если для любых и элементарный код v не является префиксом элементарного кода v Определение 3 Алфавитное кодирование схема которого обладает свойством префикса называется префиксным 8

9 Теорема Если схема обладает свойством префикса то алфавитное кодирование является взаимно-однозначным Таким образом свойство префикса является достаточным условием взаимной однозначности Теорема Если алфавитное кодирование со схемой f обладает свойством взаимной однозначности то длины элементарных кодов l v K удовлетворяют неравенству Мак-Миллана: l Неравенство Мак-Миллана является необходимым условием взаимной однозначности кода со схемой f но не достаточным Рассмотрим схему f приведенную ранее: f b : b b3 Для нее l l и l 3 3 и неравенство Мак-Миллана выполняется: /8 < Однако задаваемое схемой f кодирование не является взаимнооднозначным Теорема 3 Если набор натуральных чисел l l Kl удовлетворяет неравенству Мак-Миллана то существует префиксное кодирование удовлетворяющее равенствам: v l v l K v l Следствие Если существует взаимно-однозначное алфавитное кодирование с заданными длинами элементарных кодов то существует также префиксное кодирование с теми же длинами элементарных кодов Неравенство Мак-Миллана в силу справедливости теоремы 3 можно рассматривать и как достаточное условие взаимной однозначности в том смысле что если неравенство для некоторой схемы кодирования выполняется можно заменить эту схему схемой со свойством префикса с теми же длинами элементарных кодов Пусть задан код V v v Kv Элементарные коды определяют бинарное кодовое дерево Из каждой вершины дерева выходит не более двух ребер в вершины следующего яруса левое из которых помечается символом а правое символом Элементарным 9

10 кодам соответствуют вершины дерева определяемые путем идущим от корня Если код префиксный элементарные коды расположены в листьях дерева Дерево называется насыщенным если из каждой вершины не являющейся листом в следующий ярус выходит ровно два ребра На рис изображено дерево для схемы префиксного кодирования f 3 f 3 b b b3 : b4 b5 b6 b7 v v 4 v 5 v 3 v v 6 v 7 Рис Кодовое дерево для схемы кодирования f 3 Проблема распознавания взаимной однозначности алфавитного кодирования решена Ал А Марковым 963 г Алгоритм распознавания состоит в следующем Для кода V v v K v пусть S - множество слов обладающих следующим свойством Слово β является собственным префиксом некоторого элементарного кода v и одновременно собственным суффиксом некоторого v Положим S S { } λ - λ пустое слово

11 Сопоставим коду V ориентированный граф G вершинами которого являются элементы множества S Вершины α и β соединяем ориентированным ребром α β если существует элементарный код v и последовательность элементарных кодов P v v Kv такие что v αv v Kv β При этом P может быть пустой если α и β оба непустые k Ребру α β припишем последовательность графе тогда и только тогда когда существует v и P v v Kv k такие что v v v Kv k k k v v Kv Ребро λ λ присутствует в k последовательность Теорема 4 Алфавитный код V является взаимно-однозначным тогда и только тогда когда в графе G отсутствуют ориентированные циклы проходящие через вершину λ Пример 3 Пусть B b b b3 V { } Построим множества S и S: S {} S{ λ} Для этого выпишем все нетривиальные разложения элементарных кодов v Для v нет нетривиальных разложений v v λ λ v λ v v λ λ λ 3 Соответствующий коду граф изображен на рис λ λ λ λ λ Рис Граф для примера 3

12 Граф содержит ориентированный цикл проходящий через вершину λ следовательно код V не является взаимно-однозначным По графу нетрудно построить двоичную последовательность допускающую две расшифровки Для этого достаточно начиная с вершины λ приписать друг к другу двоичные последовательности соответствующие вершинам и ребрам графа вдоль найденного цикла Слово γ соответствующее циклу допускает две расшифровки: b bb 3 и b 3bb Пример 4 Пусть B b b b3 b4b5 V { } Построим множества S и S: S {} S{ λ} Выпишем все нетривиальные разложения для элементарных кодов v v λ λ v 3 λ v λ v 4 v λ v v 3 λ v 5 λ λ λ Соответствующий коду граф изображен на рис Граф не содержит ориентированный цикл проходящий через вершину λ следовательно код V является взаимно-однозначным λ λ λ λ λ λ λ Рис3 Граф для примера 4

13 3 Алгоритм построения префиксного кода по набору длин элементарных кодов Пусть задан набор чисел l l Kl удовлетворяющих неравенству Мак-Миллана: l В силу теоремы 3 существует префиксный код с набором длин l l Kl элементарных кодов Приведем алгоритм К Шеннона построения префиксного кода по набору длин Будем полагать следующим правилам: q l l l q + q + K K l q q K q по Построим последовательность чисел Очевидно q < и q имеет единственное представление в виде двоичной дроби с l знаками после запятой: l q c где c или Рассмотрим код V v v K v c где v c c Kc Так как наборы длин упорядочены по неубыванию при неравенства элементарного кода префиксным l h > выполняются lh l и q l h q + Поэтому элементарный код v h отличается от v в l первых разрядах Следовательно построенный код является Пример 5 Рассмотрим набор чисел L Так как < неравенство Мак-Миллана выполняется 6 Построим последовательность чисел q q q3 q4 q5 q6 q7 записывая их в двоичной системе счисления q q q q q q q

14 Построим схему f алфавитного кодирования выбирая в качестве элементарного кода v последовательность из и длины l образующую дробную часть числа q : v v v3 f : v4 v5 v6 v7 Нетрудно убедиться в том что построенный код является префиксным 4 Алгоритмы экономного алфавитного кодирования При построении экономных кодов используется дополнительная информация о вероятностях появления букв в сообщениях Пусть на буквах алфавита B { b b } P { K } задано распределение вероятностей K b Под стоимостью кодирования f понимается величина C P f v Здесь v - длина элементарного кода буквы b Стоимость кодирования определяет число двоичных разрядов которые тратятся в среднем на кодирование одной буквы C f P - это средняя длина элементарного кода которая показывает во сколько раз увеличивается средняя длина слова при кодировании f Пример 6 Пусть B { b b b } P { 4;5;;5} 3 b4 Рассмотрим две схемы алфавитного кодирования и определим для них стоимости кодирования b b f : b b b b f : b b 4

15 Для f стоимость кодирования C P f для f стоимость кодирования C f P 95 Таким образом стоимость кодирования может изменяться при переходе от одной схемы кодирования к другой Положим C * P nf C P Код V * со схемой f* такой что C f P C * f f * P называется оптимальным для набора вероятностей P Можно показать что величина C * P достигается при некоторой схеме f * и может быть определена как n P Оптимальные коды дают в среднем минимальное увеличение длин слов при соответствующем кодировании В силу теоремы 3 при построении оптимальных кодов можно ограничиться рассмотрением префиксных кодов Рассмотрим алгоритмы построения оптимальных и близких к оптимальным кодов 4 Алгоритм Хаффмана 95 г Алгоритм Хаффмана строит оптимальный префиксный код При рассмотрении алгоритмов кодирования наряду с элементарными кодами вершинам кодового дерева будем приписывать вероятности соответствующих букв Алгоритм Хаффмана основан на следующих свойствах оптимальных кодов Лемма Если код V v v K v - оптимальный для P K то v v при > f C f Из леммы следует что в оптимальном дереве вероятности букв приписанные вершинам k-го яруса не меньше вероятностей приписанных вершинам k+-го яруса Лемма Оптимальному префиксному коду соответствует насыщенное кодовое дерево Лемма 3 Две самые маленькие вероятности в оптимальном кодовом дереве находятся на нижнем ярусе Перестановкой элементарных кодов нижнего яруса их можно поставить в вершины для которых инцидентные им ребра выходят из одной вершины Теорема 5 теорема редукции Если код с длинами l l K l l является оптимальным для распределения вероятностей P K то код с длинами l l K также будет оптимальным для распределения вероятностей l P K + ' Теорема редукции позволяет свести задачу построения оптимального кода мощности к задаче построения оптимального кода мощности - На ней основан алгоритм 5

16 Хаффмана который заключается в следующем Пусть вероятности в распределении P расположены в порядке невозрастания На каждом шаге объединяются K две буквы имеющие наименьшие вероятности Вместо этих двух букв вводится новая буква с вероятностью + Вероятность вставляется в оставшийся набор вероятностей так чтобы в получившемся новом наборе вероятности остались расположенными в порядке невозрастания Продолжаем процесс объединения вероятностей до тех пор пока не останутся две буквы алфавита Одной из них приписывается символ другой символ оптимальный код для двух букв при произвольном распределении вероятностей Затем из оптимального кода для двух букв строится оптимальный код для трех букв и тд Продолжая этот процесс придем к искомому оптимальному коду для букв Пример 7 Пусть B { b b b b b b } P;;9;;;9; b7 Процесс построения оптимального кода можно представить следующим образом: Фигурными скобками отмечены объединяемые вероятности Для каждой скобки верхнему члену приписываем символ нижнему символ Затем осуществляем движение в обратном направлении к K 7 и проходя скобки выписываем соответствующие элементарные коды Например путь 6 3 дает элементарный код для буквы b 5 Таким образом мы получаем следующую схему f для оптимального кода: 6

17 b b b3 f : b4 b5 b6 b7 Стоимость кодирования C * P 78 4 Алгоритм Фано 96 г Упорядоченный в порядке невозрастания вероятностей список букв делится на две последовательные части так чтобы суммы вероятностей входящих в них букв как можно меньше отличались друг от друга Буквам из первой части приписываем символ а буквам из второй части символ Далее точно так же поступаем с каждой из полученных частей если она содержит хотя бы две буквы Построенный код является префиксным и ему соответствует насыщенное кодовое дерево В алгоритме Фано кодовое дерево строится от корня а в алгоритме Хаффмана начиная с листьев Это отличие позволяет в алгоритме Хаффмана полнее использовать специфику данного распределения вероятностей и строить оптимальный код Алгоритм Фано строит код близкий к оптимальному Пример 8 Применим алгоритм Фано к тому же распределению вероятностей Пусть B { b b b b b b } P;;9;;;9; b Получаем следующую схему алфавитного кодирования: 7

18 Стоимость кодирования P 8 C Ф f b b b3 : b4 b5 b6 b7 43 Алгоритм Шеннона 948 г Алгоритм Шеннона применим в случае когда все вероятности > Букве b ставится в соответствие последовательность из l log двоичных символов здесь x - ближайшее целое сверху числа x и log здесь и везде далее берется по основанию Алгоритм Шеннона основан на том что выбранные длины l удовлетворяют неравенству Мак-Миллана После выбора длин применяется алгоритм Шеннона построения схемы кодирования по заданному набору длин элементарных кодов описанный ранее Пример 9 Пусть B { b b b b b b } P;;9;;;9; b7 Вычислим набор длин для P l l l l l 4 4 l l7 Построим префиксный код по алгоритму Шеннона с вычисленными длинами элементарных кодов 3 4 8

19 9 : b b b b b b b f Стоимость кодирования 34 P C Ш 44 Энтропия и ее связь со стоимостью оптимального алфавитного кодирования Важную роль для оценки эффективности кодирования играет энтропия вероятностного распределения: log P H Пусть * P C - стоимость оптимального алфавитного кодирования Теорема 6 * P H P C Доказательство Будем использовать неравенство log log e x x Так как для длин элементарных кодов выполняется неравенство Мак-Миллана l Рассмотрим разность HP-C*P: log log log log log log log log * + l l l l l e e e l l P C P H Отсюда * P H P C Теорема доказана При некоторых распределениях стоимость * P C может достигать нижней границы Пример Рассмотрим распределение вероятностей P K Вычислим P C C

20 Положим log l Получим l l K l K l l l Величины l удовлетворяют неравенству Мак-Миллана следовательно существует префиксный код с таким набором длин элементарных кодов Так как являются степенью двойки l В общем же случае теорема Теорема 7 C * P < H P + log поэтому C P log H P C * P H P + ε где ε < как показывает следующая Доказательство Возьмем l l l log K Тогда < откуда l Те набор длин l l K реализуем Но l log + откуда l < log + и суммируя по получаем: < Теорема доказана C * P l < log + H P + Стоимость оптимального кодирования может быть как угодно близка и к верхней оценке Дополнительные возможности для сжатия могут возникнуть при конечно-автоматном кодировании Вместо того чтобы кодировать каждую букву разобьем сообщение на блоки длины которые и будем кодировать как буквы нового алфавита B P на B: Пусть P - распределение вероятностей на K b b K b K Теорема 8 H P H P B которое индуцируется распределением Доказательство проведем индукцией по При утверждение теоремы тривиально Пусть теорема верна при K k Тогда

21 log log log log log log log P H k P H P H k P H P H P H P H P H P H P H k k k k k k k k k k k k k k K K K K K K K K K K K Теорема доказана Покажем что выбирая длину блока достаточно большой можно сделать стоимость кодирования на одну букву сообщения P C сколь угодно близкой к HP Теорема 9 P H P C P H + < Доказательство Имеем: + + < P H P H P C P C P H P H Отсюда получаем: P H P C P H + < При P H P C Теорема доказана Таким образом увеличивая длину блока мы приближаемся сколь угодно близко к нижней границе Пример Пусть { } 3 b b b B P{5;4;} Применяя алгоритм Хаффмана к распределению P получаем следующую схему кодирования: : b b b f Вычислим стоимость оптимального кодирования: 5 C Положим и рассмотрим всевозможные блоки длины Определим произведение вероятностей каждого блока как произведение вероятностей входящих в него букв: 4; 5; 4; 6; ; 5; ; 5; b b b b b b b b b b b b b b b b b b Применяя алгоритм Хаффмана к построенному вероятностному распределению получим следующую схему кодирования для блоков длины :

22 f b b bb b b3 bb : bb bb 3 b3b b3b b3b 3 Построенная схема имеет стоимость кодирования одного блока C 78 и стоимость C кодирования одной буквы 39 Найдем энтропию HP: H P 5 log5 + 4 log4 + log 36 C Получаем H P 36 < 39 < C 5 45 Возможности сжатия при алфавитном кодировании учитывающем синтаксис языка сообщений Дополнительные возможности для сжатия появляются при * L B когда в качестве сообщений могут быть не любые последовательности символов а только некоторые из них Пример алфавитного кодирования учитывающего синтаксис языка сообщений: В качестве языка L рассмотрим множество слов в алфавите B { b b b } содержащих диграмму b b Синтаксис этого языка описывается источником с двумя состояниями изображенным на рис4 3 не b ½ b ¼ S S b ½ b 3 ¼ b 3 ½ ½ Рис 4 Источник генерирующий сообщения не содержащие диграмму b b

23 Приведем для этого языка две схемы кодирования Первая схема построена без учета синтаксиса языка вторая учитывает запрещенную диграмму b b Так как диграмма b b не может встречаться в словах языка L буква b 3 может быть закодирована последовательностью Насколько эффективно можно использовать те или иные свойства языка для сжатия информации при алфавитном кодировании? В языке сообщений может присутствовать алфавитная избыточность: некоторые буквы алфавита могут быть фиктивными или контекстно-различимыми Поясним эти понятия Определение 4 Пусть B { b } K b и L B * Буква b называется фиктивной в L если отображение α α' состоящее в замене b пустым словом λ во всех вхождениях b в α таково что из α β L и α β следует α' β ' В противном случае буква b называется существенной в L Буквы b и b называются контекстно различимыми в L если отображение α α' состоящее в замене b буквой α β L и α β следует α' β ' Определение 5 b во всех вхождениях b в α таково что из Язык L называется неприводимым если все его буквы существенные и попарно контекстно неразличимы В противном случае говорят что L допускает алфавитную редукцию За счет алфавитной избыточности можно сжимать сообщения языка в любое число f : B* {}* Алгоритм Хаффмана f : L {}* С учетом структуры b b b 3 раз Пример 3 Пусть L abc Рассмотрим схему кодирования n { : n } K b b b 3 3

24 a f : b λ c λ Схема f задает взаимно-однозначное кодирование языка L так как фрагмент abc может быть закодирован одним символом для взаимной однозначности кодирования достаточно каким-то образом кодировать число вхождений фрагмента abc в слово языка Пример 4 Пусть L { a b} { } последовательность букв a + c * Здесь + a означает произвольную непустую Буквы b и c контекстно различимы их можно кодировать одинаково Поэтому следующая схема кодирования f задает взаимно-однозначное кодирование языка L : a f : b c Пусть L неприводимый язык и FL множество всех взаимно-однозначных кодирований языка L задаваемых схемами алфавитного кодирования Пусть на множестве букв алфавита B языка L задано распределение вероятностей P Обозначим через C L P * стоимость оптимального алфавитного кодирования учитывающего синтаксис языка L и через C * B* P стоимость кодирования по алгоритму Хаффмана обозначавшуюся ранее как C * P Для α L через C * L α обозначим f * α где f * - оптимальное алфавитное кодирование учитывающее синтаксис языка L и через C * B* α - длину кода слова α L построенного по алгоритму Хаффмана В качестве меры эффективности кодирования учитывающего синтаксис языка L рассмотрим коэффициент сжатия C * L α Z L nf : α L C * B* α Теорема Пусть L неприводимый язык Тогда Z L Из теоремы следует что неприводимый язык может быть сжат с помощью алфавитного кодирования не более чем в два раза Теорема Для почти всех неприводимых языков Z L 4

25 Таким образом почти все неприводимые языки несжимаемы с помощью алфавитного кодирования При рассмотрении алфавитного кодирования учитывающего синтаксические свойства языка возникают две задачи: Проблема распознавания взаимной однозначности алфавитного кодирования Задача оптимального кодирования Проблема распознавания взаимной однозначности алфавитного кодирования для языков описываемых источниками с конечным числом состояний решена АлАМарковым 96 г Задача оптимального алфавитного кодирования для конечных источников сложная она остается открытой Задача решена для отдельных подклассов источников 5

26 ГЛАВА КОДИРОВАНИЕ ВЕРОЯТНОСТНЫХ ИСТОЧНИКОВ С КОНЕЧНЫМ ЧИСЛОМ СОСТОЯНИЙ Впервые задачу экономного кодирования учитывающего синтаксические свойства сообщений наряду с вероятностными свойствами рассмотрел К Шеннон в работе «Математическая теория связи» 948 г Для моделирования синтаксических свойств он использовал эргодический источник с конечным числом состояний Дискретный источник представляется некоторым марковским процессом Для каждого состояния задано свое распределение вероятностей на множестве букв алфавита те вероятность появления буквы зависит от того в каком состоянии находится в данный момент источник Свойство эргодичности источника означает что ориентированный граф с вершинами состояниями и дугами определяющими переходы от одного состояния к другому является сильно связным те для любой пары состояний S S существует ориентированный путь из S в S Кроме того источник должен быть непериодическим но это требование не является принципиальным Для задания источника I необходимо для каждого состояния S и каждой буквы b определить - вероятность появления буквы b в состоянии S где для всех n причем > в том и только том случае когда в состоянии S может появляться буква буквой b b те существует дуга выходящая из состояния S помеченная Через обозначим сумму вероятностей букв переводящих источник из состояния S в состояние S Для эргодического источника через P обозначим распределение K n вероятностей на множестве состояний вероятность попадания источника в состояние S Вероятности удовлетворяют системе уравнений: n n 6

27 Соотношениями π K определяются финальные вероятности букв алфавита B Роль этих финальных вероятностей при анализе достаточно длинных сообщений языка вытекает из усиленного закона больших чисел: Если µ - число вхождений буквы b в сообщение длины то для любого и любого ε > имеет место µ l P π < ε те почти все сообщения длины порождаемые источником имеют частотную характеристику близкую к π I π π K π Поэтому π I может рассматриваться как «типичная» частотная характеристика достаточно длинных сообщений Это также означает что частотная характеристика сообщений является статистически устойчивой и с хорошей степенью приближения может быть определена выборочными исследованиями экспериментально Другая характеристика вероятностного источника I энтропия HI: H I log Теорема теорема Шеннона: Если P вероятность порождения источником I сообщения длины то для любого ε > имеет место log l P H I < ε Все сообщения достаточно большой длины разбиваются на две группы: маловероятные и высоковероятные вероятность каждого сообщения H I приблизительно равна ; Cтоимость любого кодирования имеющего однозначное декодирование ограничена снизу величиной HI в качестве стоимости кодирования рассматривается число двоичных разрядов приходящееся на кодирование одной буквы сообщения; 3 Для любого ε> существует равномерное блочное кодирование f такое что его стоимость C f < HI + ε Таким образом алгоритм блочного кодирования является асимптотически оптимальным и для эргодических источников 7

28 При его построении Шеннон главным образом учитывал вероятностные свойства сообщений Алгоритм блочного кодирования при реализации требует больших вычислительных ресурсов Пример кодирования для эргодического источника с двумя состояниями B b b } источник порождает язык сообщений L множество слов не { b3 содержащих диграмму b b см рис4 Составим систему уравнений для P : Решая систему получаем: Используя найденное решение вычислим вероятности появления букв: π π π π 4 Найдем энтропию источника: H I Следовательно нижней оценкой любого 3 кодирования является значение 3 4 к Поскольку буквы алфавита B равновероятны в сообщениях большой длины применяя π алгоритм Хаффмана получаем стоимость кодирования C * π 3 Видно что стоимость алфавитного кодирования отличается от нижней границы на /3 Применяя блочное равномерное кодирование и увеличивая приблизиться к 3 4 с любой степенью точности длину блока можно 8

29 ГЛАВА 3 ВОПРОСЫ КОДИРОВАНИЯ СТОХАСТИЧЕСКИХ ЯЗЫКОВ СООТНОШЕНИЕ МЕЖДУ СТОИМОСТЬЮ ОПТИМАЛЬНОГО КОДИРОВАНИЯ И ЭНТРОПИЕЙ СТОХАСТИЧЕСКОГО ЯЗЫКА В этой главе исследуются вопросы связанные с двоичным кодированием стохастических языков Произвольный стохастический язык это множество слов сообщений на котором задано распределение вероятностей В качестве стоимости кодирования рассматривается математическое ожидание длины закодированного слова стохастического языка Целью оптимального кодирования является минимизация стоимости кодирования Определение стоимости кодирования в этой главе существенно отличается от определения рассматриваемого К Шенноном Основное отличие состоит в том что стоимость кодирования определяется на множестве всех слов языка Поэтому на величину стоимости кодирования влияют как короткие так и длинные сообщения Для произвольного языка с конечным значением энтропии установлены верхняя и нижняя неулучшаемые оценки стоимости оптимального кодирования зависящие только от энтропии Показано что стоимость оптимального кодирования произвольного стохастического языка имеет конечное значение тогда и только тогда когда конечное значение имеет энтропия языка 3 Основные определения относящиеся к кодированию стохастических языков Пусть B- алфавит и L B * - язык в алфавите B Пусть на множестве слов языка L задано распределение вероятностей P Через α обозначим вероятность слова α Будем рассматривать только такое распределение вероятностей для которого α > для любого L α Множество L { α α : α L} называется стохастическим языком Для стохастического языка будем применять запись LLP Пусть LLP - стохастический язык Через FL обозначим класс всех инъективных отображений из L в {}* Для f FL величину CL f l назовем стоимостью кодирования f α L α α f α 9

30 Если существует конечное значение CL f будем сокращенно записывать CL f α L α f α Величину C L nf CL f будем называть стоимостью оптимального кодирования f F а кодирование f для которого C L f C L будем называть оптимальным Оптимальное кодирование для любого стохастического языка L существует и состоит в упорядочении слов в соответствии с невозрастанием их вероятностей и кодировании их в алфавите {} сначала словами длины потом словами длины и тд Под энтропией стохастического языка LLP будем понимать величину HL l α log α α L α логарифм здесь и везде далее берется по основанию Если существует конечное значение HL будем писать HL α log α α L Отметим что если HL конечна то так как ряд положительный он абсолютно сходится поэтому в нем можно переставлять слагаемые Следовательно неважно как упорядочены слова языка L при вычислении HL 3 Соотношение между стоимостью оптимального кодирования и энтропией для произвольного стохастического языка Теорема 3 а Пусть LLP - произвольный бесконечный стохастический язык для которого существует конечное значение HL Тогда стоимость оптимального кодирования C L имеет конечное значение и удовлетворяет неравенствам б Пусть { α α K } H L C L < H L + L - произвольный бесконечный язык * * Существует распределение вероятностей * { K} P такое что для стохастического языка L { α * : K} энтропия HL имеет конечное значение и выполняется равенство C L H L 3

31 в Пусть LLP - произвольный бесконечный стохастический язык Для любого > P ε ε такое что для K ε существует распределение вероятностей стохастического языка L Доказательство а Пусть { α α K } ε { * ε : K} L K ε α выполняется неравенство C L ε > H L ε + ε P и для определенности K где - вероятность слова α Рассмотрим последовательность чисел которой d log для любого здесь Последовательность D удовлетворяет неравенству Мак-Миллана: d log log так как D d d K d K в x - ближайшее целое сверху Нетрудно показать что существует бесконечный префиксный код f с заданным набором длин D кодов слов из L Для этого достаточно применить без каких-либо изменений метод построения префиксного кода по заданному конечному набору длин описанный выше Оценим стоимость кодирования для f : здесь log + log CL f log log + ε H L + ε < H L + H L + ε и следовательно ε < для любого Так как C L C L f то C L также конечна и C L < H L + Докажем неравенство H L C Длина оптимального кода для слова α равна log + Рассмотрим разность: HL C L L log log + log Используя неравенство log x x loge получим: log + 3

32 Оценим сумму: log loge log + log + loge log + log + loge log + + Окончательно получаем что K 3 log K H L C L откуда следует H L C L б Рассмотрим произвольный бесконечный язык { α α K } * * * вероятностей P * { K } где K для log + L и распределение Нетрудно показать что * и P* действительно является распределением вероятностей Для стохастического языка L { α * : K} мы имеем те H L конечна HL log log log + log K+ Вычислим стоимость оптимального кодирования: C L log + log K следовательно H L C L + 4 с Рассмотрим произвольный бесконечный язык { α α K } вероятностей P построенное по P* из пункта б для которого δ и δ * для > где < δ < L и распределение 3

33 Для стохастического языка L δ α : K нетрудно показать что энтропия HL δ конечна и следовательно C L δ также конечна Действительно HL δ δ log δ + δ log δ + δ log log logδ log + δ log + logδ δ log δ + δ H L δ logδ H δ + 4δ < здесь L - язык из б и H δ δ logδ δ log δ Оценим стоимость оптимального кодирования: C L δ log + δ + δ log + δ δ + δ log + log log + log + log + δ δ + δ C L δ - HL δ + δ H δ 4δ 3δ H δ при δ и следовательно существует δ * удовлетворяющее условию: δ * > 3δ * H ε В качестве L ε возьмем L δ * Для L ε выполняется неравенство C L ε > H L ε + ε Теорема доказана Теорема 3 Пусть LLP произвольный бесконечный стохастический язык для которого C L имеет конечное значение Тогда H L также имеет конечное значение Доказательство Пусть слова из L упорядочены в порядке невозрастания их вероятностей те L { α α K α K} и α Рассмотрим частичные суммы α для любого + S n n log Покажем что существует константа C для которой Рассмотрим разность S n C L : C n S n C для любого n S n L log log + 33

34 n log n log + < log log n n log + Вторая сумма не превосходит Для оценки первой суммы применим неравенство log x x loge Получим что n log n loge При loge n n n log < e n n сумма сходится к конечному пределу обозначим его через S Окончательно получаем что для любого n Отсюда следует что S n C L < loge S + H L имеет конечное значение Теорема доказана log Следствие Пусть L - произвольный стохастический язык Тогда стоимость оптимального кодирования C L имеет конечное значение тогда и только тогда когда конечное значение имеет энтропия H L В доказательствах теорем этой главы мы в действительности использовали свойства различных вероятностных распределений Мы не накладывали ограничений на распределение вероятностей которое может зависеть от синтаксиса языка Таким образом не всегда энтропия является нижней оценкой стоимости кодирования Стоимость кодирования может быть меньше энтропии Все определяется свойствами вероятностного распределения на множестве слов языка сообщений Эргодические источники с конечным числом состояний рассматривавшиеся К Шенноном определяют не любые распределения вероятностей на словах длины при а распределения с определенными свойствами Именно благодаря этим свойствам нижней границей стоимости кодирования является энтропия 34

35 ГЛАВА 4 ВОПРОСЫ КОДИРОВАНИЯ КОНТЕКСТНО- СВОБОДНЫХ ЯЗЫКОВ Не любые свойства сообщений могут быть описаны с помощью источников с конечным числом состояний Пример 4 Язык арифметических выражений содержит слова вида a + b* a + b a * b + c + c В арифметических выражениях уровень вложенности скобок может быть любым и не может быть описан средствами источников с конечным числом состояний Для описания таких свойств используются контекстно-свободные грамматики Они определяют класс контекстно-свободных языков который является ближайшим расширением класса языков описываемых конечными источниками КС-языки являются хорошей моделью для описания естественных языков и языков программирования и поэтому представляют практический интерес 4 Основные определения и понятия связанные с КС-языками и стохастическими КС-языками Определение 4 Стохастической КС-грамматикой называется система G VT V R s где V V T - конечные множества терминальных и нетерминальных символов терминалов и нетерминалов соответственно; s V - аксиома R - множество k правил Множество R можно представить в виде R где k - мощность алфавита V и R { r r } K n Каждое правило r из R имеет вид R : A β r K n где A V β VT V * и - вероятность применения правила r вероятность правила r которая удовлетворяет следующим условиям: n < и Обычная КС-грамматика отличается от стохастической КС-грамматики отсутствием вероятностей применения правил 35

36 Для слов α и β из V V * будем говорить что β непосредственно выводимо из T α и записывать α β если α α Aα β αβα для некоторых α α V V * T и в грамматике G имеется правило A β G Обозначим через * рефлексивное транзитивное замыкание отношения Через L будем обозначать множество слов { α s * α α V *} Пусть s * α : T Левым выводом слова α назовем вывод при котором каждое правило в процессе вывода слова α из аксиомы s применяется к самому левому нетерминалу в слове Последовательность правил в левом выводе будем обозначать через w α Важное значение имеет понятие дерева вывода Дерево строится следующим образом Корень дерева помечается аксиомой s Пусть при выводе слова α на очередном шаге в процессе левого вывода применяется правило A b b Kb где b l V V l K Тогда из самой левой вершины-листа дерева помеченной T символом A при обходе листьев дерева слева направо проводится дуг в вершины следующего яруса которые помечаются слева направо символами b b K b соответственно После построения дуг и вершин для всех правил грамматики в выводе слова языка все листья дерева помечены терминальными символами и само слово получается при обходе листьев дерева слева направо Ярусы дерева будем нумеровать следующим образом Корень дерева расположен в нулевом ярусе Вершины дерева смежные с корнем образуют первый ярус и тд Дуги выходящие из вершин -го яруса ведут к вершинам +-го яруса Высотой дерева будем называть максимальную длину пути от корня к листу или номер последнего яруса Пример 4 Рассмотрим грамматику { x x} { } R состоит из двух правил: r : xx r : λ λ пустое слово G в которой множество R Грамматика G порождает хорошо известный язык Дика Если символ x интерпретировать как открывающую скобку "" а символ x - как закрывающую скобку "" то язык Дика - это множество "правильных" последовательностей скобок обладающих следующими свойствами: 36

37 а для любой начальной подпоследовательности число вхождений "" не меньше числа вхождений ""; б для всей последовательности число вхождений "" равно числу вхождений "" Для слова α xxxxxxxx L G левый вывод имеет вид r r rr r rr r r ему дерево вывода изображено на рис4 Высота дерева вывода равна 4 Соответствующее λ λ λ x x λ λ x x x x x x Пусть n n Рис 4 Дерево вывода w α r r Kr - некоторый левый вывод слова α L и d α - соответствующее ему дерево вывода Определим d α как произведение вероятностей правил образующих w α : d K α n n Вероятность слова α определим как α d всем различным деревьям вывода слова α Грамматика G называется согласованной если l α LG α где суммирование ведется по α α В дальнейшем будем рассматривать согласованные KC-грамматики Согласованная КС-грамматика G индуцирует распределение вероятностей P G на множестве слов L G Стохастический KC-язык порожденный согласованной стохастической KCграмматикой G есть L L P G G G Стохастический язык L называется стохастическим КС-языком если существует стохастическая КС-грамматика такая что LL G 37

38 Для задачи кодирования важное значение имеет матрица первых моментов которая определяется следующим образом Рассмотрим многомерные производящие функции F s s K s k k где переменная s соответствует нетерминальному символу A Функция F s s K s k строится по множеству правил R с одинаковой левой частью A Для каждого правила A β выписывается слагаемое q s K l l l k s sk где l - число вхождений нетерминального символа k Тогда n F s s K sk q A в правую часть правила Пусть a F s s K s s k s s Ks k Квадратная матрица A порядка k образованная элементами a называется матрицей первых моментов грамматики G Так как матрица A неотрицательна то существует максимальный по модулю действительный неотрицательный собственный корень перронов корень Обозначим этот корень через r Известно необходимое и достаточное условие согласованности стохастической КСграмматики: стохастическая КС-грамматика при отсутствии бесполезных нетерминалов те не участвующих в порождении слов языка является согласованной тогда и только тогда когда перронов корень матрицы первых моментов не превосходит единицы Поэтому рассматривая КС-языки мы будем предполагать что r Вторые моменты грамматики G определяются как b F s s K sk s s k s s Ks k Пусть A V Через I A обозначим множество нетерминальных символов таких что для любого A I A существует слово α α A α V UV * для которого T A α * Через I A обозначим множество нетерминальных символов таких что для любого A I A существует α α Aα V UV * для которого A * α Таким T 38

39 образом I A - это множество нетерминалов которые встречаются при выводе слов из A как аксиомы а I A - множество нетерминалов при выводе слов из которых встречается символ I A Через I A обозначим пересечение этих множеств те A I A I A Множество нетерминалов K A K A q совпадают и I q назовем классом Если A образует класс { A } Для грамматики G множество нетерминалов для которых I A I A будем считать что A V распадается на непересекающиеся классы Грамматику G назовем неразложимой если все нетерминалы из один класс В противном случае G называется разложимой V образуют Свойство неразложимости грамматики можно проиллюстрировать на языке теории графов Пусть k - мощность нетерминального алфавита Каждому нетерминальному символу v A поставим в соответствие вершину графа v Вершины v и v соединим дугой v если A I A Обозначим полученный граф через Γ G Для неразложимой грамматики построенный граф Γ G является сильно связным те графом в котором каждая пара вершин связана ориентированным путем Неразложимой грамматике соответствует неразложимая матрица первых моментов A Напомним что матрица A называется разложимой если перестановкой рядов она может быть приведена к виду B A C D где B и D - квадратные матрицы перестановка рядов - это перестановка строк с такой же перестановкой столбцов В противном случае матрица A называется неразложимой Неразложимая матрица называется периодической с периодом c если НОД для всех тех t для которых a t > равен c здесь через a t обозначены элементы матрицы t A Если c матрица называется непериодической Неразложимость и непериодичность матрицы A означают существование такого n > n для которого A > Проиллюстрируем понятие неразложимой грамматики на следующем примере Пример 43 Пусть { E T I} G V V R s - грамматика в которой V T { +* x} T V аксиомой является нетерминал E и R R R R3 где 39

40 R { r } r R { r } r r r : E T : E E + T r r q : T I q : T I * T и R { r } 3 3 r 3 r r 3 3 g : I E g : I x Грамматика G порождает язык правильных арифметических выражений Примером слова языка порождаемого G является α x + x * x Построим производящие функции по грамматике G: F s s F s qs F s gs s s + q s s + g Используя производящие функции найдем матрицу первых моментов: 3 A g q Матрица A является неразложимой Нетрудно убедиться что A 3 > 4 Связь стоимости оптимального кодирования стохастического КС-языка с энтропией и матрицей первых моментов Рассмотрим класс КС-языков с однозначным выводом каждое слово такого языка имеет единственное дерево вывода В этом случае вероятность слова определяется как произведение вероятностей правил грамматики образующих левый вывод слова Поэтому значение вероятности слова определяется выводом слова Следующая теорема устанавливает соотношение между стоимостью оптимального кодирования и энтропией КС-языка с однозначным выводом Теорема 4 а Для любого s s < существует стохастический КС-язык L s с однозначным выводом для которого выполняется равенство 4

41 C L s s H L s б Для любоо t t < существует стохастический КС-язык Lt с однозначным выводом для которого выполняется равенство C L t H L t + t Опускаем доказательство этой и следующей теорем ввиду их сложности Пусть L - стохастический КС-язык порожденный грамматикой G с однозначным выводом и A - некоторый нетерминальный символ Через L обозначим язык порожденный грамматикой G которая получается из исходной грамматики G заменой аксиомы на выводимых из символа A A Таким образом L есть множество слов в терминальном алфавите Положим L L для исходного языка L Через H R будем обозначать энтропию множества правил R : и через HL - энтропию языка L H n R log Теорема 4 Пусть перронов корень r матрицы первых моментов порождающей грамматики G с однозначным выводом меньше Тогда величины H L конечны и удовлетворяют следующей системе линейных уравнений: здесь k + HL H R a H a - элементы матрицы первых моментов L K k Теорема 43 Пусть перронов корень r матрицы A равен Тогда HL не ограничена Следствие Пусть L -стохастический КС-язык порожденный грамматикой G с однозначным выводом Тогда энтропия HL и стоимость оптимального кодирования C L имеют конечное значение тогда и только тогда когда перронов корень матрицы первых моментов грамматики G строго меньше Из теоремы 43 следует эффективный путь для вычисления энтропии стохастического KC-языка с однозначным выводом при r < Пример 44 Пусть { a b c d} { A A } R A правила: G и R R R где R содержит два 4

42 : A aa b r и R содержит два правила: : A cad r ; : A cad r : A cd Грамматика G с однозначным выводом порождает язык r Для этой грамматики L { a c d b : } A и r < где A - матрица первых моментов и r - ее перронов корень Запишем систему уравнений: H L + H L + H L H L + H L Система имеет единственное решение: H L 4 H L Используя теорему можно оценить стоимость оптимального кодирования языка L : C L < 5 43 Метод укрупнения правил КС-грамматики Опишем метод перехода от исходной грамматики G с однозначным выводом к грамматике Gn используемый в дальнейшем в алгоритмах асимптотически оптимального кодирования стохастических КС-языков Пусть A *α Через d α обозначим дерево вывода слова α и через α - высоту дерева вывода α Через L обозначим множество слов языка L имеющих деревья n вывода высоты n и через M - множество слов в алфавите V выводимых из A n V T для которых высота дерева вывода не превосходит n и нетерминалами могут быть помечены листья только n-го яруса дерева Покажем что 4

Кодирование. В.Е. Алексеев

Кодирование. В.Е. Алексеев http://vmcozet/ Кодирование ВЕ Алексеев Задача оптимального кодирования Побуквенное кодирование Пусть A a a a } и B b b b } два алфавита Побуквенное кодирование состоит в том что в кодируемом тексте слове

Подробнее

КОДИРОВАНИЕ. Код сообщений. Код сообщения на выходе. Источник сообщений. Канал связи. Сообщение на выходе. Источник помех. Лекция 10.

КОДИРОВАНИЕ. Код сообщений. Код сообщения на выходе. Источник сообщений. Канал связи. Сообщение на выходе. Источник помех. Лекция 10. КОДИРОВАНИЕ Источник сообщений Код сообщений Канал связи Код сообщения на выходе Сообщение на выходе Источник помех Лекция 0. Кодирование В этой схеме источник сообщений хочет передать по каналу связи

Подробнее

Глава V. Теория кодирования.

Глава V. Теория кодирования. 5 г. Павлов И.С. Глава V. Теория кодирования. При передаче данных часто возникает необходимость кодирования пересылаемой информации. Процесс пересылки информации происходит по следующей схеме: Возникают

Подробнее

Лекции 3, 4. 9 сентября 2016 г.

Лекции 3, 4. 9 сентября 2016 г. Лекции 3, 4 9 сентября 2016 г. Алфавитный Статистический Опр. 8: Количество информации по Хартли (Хартлиевская мера информации), содержащееся в в последовательности из n символов из алфавита A мощности

Подробнее

Верхняя и нижняя оценки Колмогоровской сложности 1

Верхняя и нижняя оценки Колмогоровской сложности 1 УДК 59.7 В.С. Выхованец Верхняя и нижняя оценки Колмогоровской сложности Аннотация. Рассматривается Колмогоровская сложность, определяемая как мера вычислительных ресурсов, необходимых для восстановления

Подробнее

Лекция 11: Раскраска графа

Лекция 11: Раскраска графа Уральский федеральный университет, Институт математики и компьютерных наук, кафедра алгебры и дискретной математики Происхождение понятия раскраски графа В приложениях теории графов нередко возникают задачи,

Подробнее

КОДИРОВАНИЕ ИНФОРМАЦИИ. Информационная безопасность

КОДИРОВАНИЕ ИНФОРМАЦИИ. Информационная безопасность КОДИРОВАНИЕ ИНФОРМАЦИИ Информационная безопасность Кодирование vs Шифрование Кодирование и шифрование информации достаточно близкие по смыслу термины. Тем не менее, они имеют существенные отличия. КоДиРоВаНие

Подробнее

( x) ( ) { ( )} c. (4.6) lmin . (4.7) . (4.8) i i. max

( x) ( ) { ( )} c. (4.6) lmin . (4.7) . (4.8) i i. max 4. ЭФФЕКТИВНОЕ КОДИРОВАНИЕ 4.. Объем сигнала и емкость канала связи, условия их согласования В разделе обсуждены вопросы согласования дифференциальных характеристик источника дискретной информации и предоставленного

Подробнее

Алгоритмы преобразования контекстно-свободных грамматик с помощью графов

Алгоритмы преобразования контекстно-свободных грамматик с помощью графов А. А. Вылиток Алгоритмы преобразования контекстно-свободных грамматик с помощью графов 1. Устранение бесполезных символов Рассмотрим пример контекстно-свободной грамматики c алфавитом терминальных символов

Подробнее

Коды с минимальной избыточностью

Коды с минимальной избыточностью Коды с минимальной избыточностью При выборе схемы кодирования естественно учитывать экономичность, т.е. средние затраты времени на передачу и прием сообщений. Предположим, что задан алфавит A {a,, ar},

Подробнее

ЛЕКЦИЯ 1 НЕКОТОРЫЕ ЭЛЕМЕНТЫ ТЕОРИИ ЧИСЕЛ

ЛЕКЦИЯ 1 НЕКОТОРЫЕ ЭЛЕМЕНТЫ ТЕОРИИ ЧИСЕЛ ЛЕКЦИЯ 1 НЕКОТОРЫЕ ЭЛЕМЕНТЫ ТЕОРИИ ЧИСЕЛ В пособии не излагается теория чисел а дан минимальный инструментарий из этой теории который в дальнейшем потребуется для изучения криптографических систем используемых

Подробнее

Занятие 3. deg u = 2 E.

Занятие 3. deg u = 2 E. Занятие 3 Граф 1 G = (V, E) представляет собой конечную непустую совокупность вершин V, некоторые из которых соединенны ребрами. Совокупность ребер обозначается E. Мы пишем uv E, если вершины u и v соединены

Подробнее

Языки и формальные грамматики с однозначным выводом

Языки и формальные грамматики с однозначным выводом 46 Глава Языки и формальные грамматики с однозначным выводом Конечные автоматы удобное средство для проверки принадлежности данного слова данному языку. Однако они непригодны для выписывания всех слов

Подробнее

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ НОВОСИБИРСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ СПЕЦИАЛИЗИРОВАННЫЙ УЧЕБНО-НАУЧНЫЙ ЦЕНТР

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ НОВОСИБИРСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ СПЕЦИАЛИЗИРОВАННЫЙ УЧЕБНО-НАУЧНЫЙ ЦЕНТР МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ НОВОСИБИРСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ СПЕЦИАЛИЗИРОВАННЫЙ УЧЕБНО-НАУЧНЫЙ ЦЕНТР Математика 0 класс ПРЕДЕЛЫ ПОСЛЕДОВАТЕЛЬНОСТЕЙ Новосибирск Интуитивно

Подробнее

Глава 1. Пределы и непрерывность 1. Числовые множества 1 0. Действительные числа Из школьной математики Вы знаете натуральные N целые Z рациональные

Глава 1. Пределы и непрерывность 1. Числовые множества 1 0. Действительные числа Из школьной математики Вы знаете натуральные N целые Z рациональные Глава 1. Пределы и непрерывность 1. Числовые множества 1 0. Действительные числа Из школьной математики Вы знаете натуральные N целые Z рациональные Q и действительные R числа Натуральные и целые числа

Подробнее

Об одновременной минимизации объемной и временной сложности контактных и вентильных схем

Об одновременной минимизации объемной и временной сложности контактных и вентильных схем Об одновременной минимизации объемной и временной сложности контактных и вентильных схем Ю.С. Шуткин Рассматривается задача одновременной минимизации объемной и временной сложности контактных и вентильных

Подробнее

2. Решение нелинейных уравнений.

2. Решение нелинейных уравнений. Решение нелинейных уравнений Не всегда алгебраические или трансцендентные уравнения могут быть решены точно Понятие точности решения подразумевает: ) возможность написания «точной формулы», а точнее говоря

Подробнее

ПРИМЕРЫ ПОСТРОЕНИЯ ГРАММАТИК :

ПРИМЕРЫ ПОСТРОЕНИЯ ГРАММАТИК : ПРИМЕРЫ ПОСТРОЕНИЯ ГРАММАТИК Порождающие грамматики служат для точного, формального задания языков. На практике часто ставится обратная задача: построить грамматику на основе некоторого числа примеров

Подробнее

Часть III. Языки, грамматики, автоматы

Часть III. Языки, грамматики, автоматы Часть III Языки, грамматики, автоматы 137 Глава 10 Языки и конечные автоматы 10.1 Язык Дика Как мы знаем, правильные скобочные структуры перечисляются числами Каталана. Выпишем все правильные скобочные

Подробнее

Александр Сергеевич Герасимов

Александр Сергеевич Герасимов Лекции по теории формальных языков Лекция 5. Операции над контекстно-свободными языками. Контекстно-свободные языки и автоматы с магазинной памятью. Контекстно-свободные грамматики и языки программирования.

Подробнее

Лекция 7: Векторные пространства

Лекция 7: Векторные пространства Уральский федеральный университет, Институт математики и компьютерных наук, кафедра алгебры и дискретной математики Вступительные замечания В этой лекции мы приступаем к изучению линейной алгебры как таковой,

Подробнее

Фракталы Рози, конспект лекций. φ(1) = 12, φ(2) = 12, φ(3) = 1. u 0 = a u 1 = h(a) = au u 2 = h(au) = auh(u).

Фракталы Рози, конспект лекций. φ(1) = 12, φ(2) = 12, φ(3) = 1. u 0 = a u 1 = h(a) = au u 2 = h(au) = auh(u). Фракталы Рози, конспект лекций. Лекция 1. Подстановочные слова. Слово Фиббоначи получается как предел слов u n, где u 0 = 0 и u k+1 = ϕ(u k ). Здесь ϕ это подстановка Фиббоначи, определяемая по правилу

Подробнее

МОДУЛЬНАЯ АРИФМЕТИКА

МОДУЛЬНАЯ АРИФМЕТИКА МОДУЛЬНАЯ АРИФМЕТИКА В некоторых приложениях удобно выполнять арифметические операции над целыми числами, заданными в так называемом модульном представлении Это представление предполагает, что целое число

Подробнее

ОГЛАВЛЕНИЕ. Предисловие... 3

ОГЛАВЛЕНИЕ. Предисловие... 3 ОГЛАВЛЕНИЕ Предисловие............................................ 3 Часть 1. Лекции......................................... 4 1. Определение и простейшие свойства чисел Фибоначчи.... 4 2. Биномиальные

Подробнее

2.1.Теория вероятностей

2.1.Теория вероятностей ..Теория вероятностей...основные определения. Определение. Экспериментом называется процедура, в результате которой могут произойти одно из заданных множеств исходов. Отдельный возможный исход называется

Подробнее

1. Рекуррентный способ Выпишите первые десять членов последовательности, заданной рекуррентно. 10) а 1 = 2, 7) а 1 = 1, a = a + 1

1. Рекуррентный способ Выпишите первые десять членов последовательности, заданной рекуррентно. 10) а 1 = 2, 7) а 1 = 1, a = a + 1 Глава 0 ПОСЛЕДОВАТЕЛЬНОСТИ Алгоритмы А- Задание числовых последовательностей А- Арифметическая прогрессия А- Геометрическая прогрессия А- Суммирование А-5 Бесконечно убывающая геометрическая прогрессия

Подробнее

О структурировании синтаксических диаграмм

О структурировании синтаксических диаграмм УДК 004.4'413 О структурировании синтаксических диаграмм С. З. Свердлов, А. А. Хивина Доказана теорема структурирования для синтаксических диаграмм, утверждающая, что произвольную синтаксическую диаграмму

Подробнее

ЛАБОРАТОРНАЯ РАБОТА 1 Способы задания и основные характеристики. сверточных кодов.

ЛАБОРАТОРНАЯ РАБОТА 1 Способы задания и основные характеристики. сверточных кодов. ЛАБОРАТОРНАЯ РАБОТА Способы задания и основные характеристики сверточных кодов Сверточные коды широко применяются в самых различных областях техники передачи и хранения информации. Наиболее наглядными

Подробнее

Тема 2-1: Линейные пространства

Тема 2-1: Линейные пространства Тема 2-1: Линейные пространства А. Я. Овсянников Уральский федеральный университет Институт математики и компьютерных наук кафедра алгебры и дискретной математики алгебра и геометрия для механиков (2 семестр)

Подробнее

Глава 4 КОНТЕКСТНО-СВОБОДНЫЕ ГРАММАТИКИ

Глава 4 КОНТЕКСТНО-СВОБОДНЫЕ ГРАММАТИКИ Глава 4 КОНТЕКСТНО-СВОБОДНЫЕ ГРАММАТИКИ 4.1. Упрощение контекстно-свободных грамматик В этой главе мы опишем некоторые основные упрощения КС-грамматик и докажем несколько важных теорем о нормальных формах

Подробнее

Лекция 6: Деревья. Б.М.Верников, А.М.Шур

Лекция 6: Деревья. Б.М.Верников, А.М.Шур Уральский федеральный университет, Институт математики и компьютерных наук, кафедра алгебры и дискретной математики Определение и примеры Определение Деревом называется связный граф без циклов. Примеры

Подробнее

ПРЕДЕЛЫ ПОСЛЕДОВАТЕЛЬНОСТЕЙ И ФУНКЦИЙ

ПРЕДЕЛЫ ПОСЛЕДОВАТЕЛЬНОСТЕЙ И ФУНКЦИЙ Министерство образования Московской области Государственное бюджетное образовательное учреждение высшего профессионального образования Московской области «Международный университет природы, общества и

Подробнее

Лекция 8. Помехоустойчивое кодирование. Технологии обработки информации, 2015

Лекция 8. Помехоустойчивое кодирование. Технологии обработки информации, 2015 Лекция 8. Помехоустойчивое кодирование Технологии обработки информации, 2015 ASCII таблица Использоваться таблица ASCII, где ставящей в соответствие каждой букве алфавита определенный шестнадцатеричный

Подробнее

Глава 2 ГРАММАТИКИ Мотивировка

Глава 2 ГРАММАТИКИ Мотивировка Глава 2 ГРАММАТИКИ 2.1. Мотивировка Имеется один класс порождающих систем, которые представляют для нас первейший интерес системы, называемые грамматиками. Первоначально понятие грамматики было формализовано

Подробнее

Тема 2 Теория пределов. , каждый элемент которой равен произведению соответствующего элемента последовательности. вается последовательность m

Тема 2 Теория пределов. , каждый элемент которой равен произведению соответствующего элемента последовательности. вается последовательность m Тема Теория пределов Практическое занятие Числовые последовательности Определение числовой последовательности Ограниченные и неограниченные последовательности Монотонные последовательности Бесконечно малые

Подробнее

Лекция 12: Верхние оценки хроматического числа

Лекция 12: Верхние оценки хроматического числа Лекция 12: Верхние оценки хроматического числа Уральский федеральный университет, Институт математики и компьютерных наук, кафедра алгебры и дискретной математики Алгоритм последовательной раскраски В

Подробнее

размером m x n, то обычно используется следующее обозначение : c порядка m является произведением двух b соответственно размеров m x n и m m

размером m x n, то обычно используется следующее обозначение : c порядка m является произведением двух b соответственно размеров m x n и m m Ф О Р М У Л А Б И Н Е К О Ш И Напомним, что если имеется произвольная матрица А = размером x, то обычно используется следующее обозначение : А = () то есть А это минор порядка р данной матрицы, в который

Подробнее

Многочленом (полиномом) степени k называется функция вида. . Тогда x

Многочленом (полиномом) степени k называется функция вида. . Тогда x http://vk.ucoz.et/ Операции над многочленами k a k Многочленом (полиномом) степени k называется функция вида a, где переменная, a - числовые коэффициенты (=,.k), и. Любое ненулевое число можно рассматривать

Подробнее

{ z } { 1 2 3, 4,..., ( 1) n = ; ,, n,...}

{ z } { 1 2 3, 4,..., ( 1) n = ; ,, n,...} Тема Теория пределов Как мы понимаем слово «предел»? В повседневной жизни мы часто употребляем термин «предел», не углубляясь в его сущность В нашем представлении чаще всего предел отождествляется с понятием

Подробнее

ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ АЭРОКОСМИЧЕСКОГО. ПРИБОРОСТРОЕНИЯ, каф. Информационных Систем В.Д.КОЛЕСНИК УЧЕБНОЕ ПОСОБИЕ ПО КУРСУ

ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ АЭРОКОСМИЧЕСКОГО. ПРИБОРОСТРОЕНИЯ, каф. Информационных Систем В.Д.КОЛЕСНИК УЧЕБНОЕ ПОСОБИЕ ПО КУРСУ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ АЭРОКОСМИЧЕСКОГО ПРИБОРОСТРОЕНИЯ, каф Информационных Систем ВДКОЛЕСНИК УЧЕБНОЕ ПОСОБИЕ ПО КУРСУ «КОДИРОВАНИЕ И ДЕКОДИРОВАНИЕ СООБЩЕНИЙ (Алгебраическая теория блоковых кодов)»

Подробнее

Системы счисления Система счисления способ записи чисел с помощью заданного набора специальных символов (цифр).

Системы счисления Система счисления способ записи чисел с помощью заданного набора специальных символов (цифр). Системы счисления Система счисления способ записи чисел с помощью заданного набора специальных символов (цифр). В вычислительной технике применяются позиционные системы счисления, в которых значение цифры

Подробнее

Лекция 16. Универсальная машина Тьюринга

Лекция 16. Универсальная машина Тьюринга Лекция 16. Универсальная машина Тьюринга Дискретная математика, ВШЭ, факультет компьютерных наук (Осень 2014 весна 2015) Важнейшим свойством вычислимых функций является существование универсальной вычислимой

Подробнее

Лекция 1. Понятие множества. Определение функции, основные свойства. Основные элементарные функции

Лекция 1. Понятие множества. Определение функции, основные свойства. Основные элементарные функции ВВЕДЕНИЕ В МАТЕМАТИЧЕСКИЙ АНАЛИЗ Лекция. Понятие множества. Определение функции основные свойства. Основные элементарные функции СОДЕРЖАНИЕ: Элементы теории множеств Множество вещественных чисел Числовая

Подробнее

Решения задач заочного тура третьей олимпиады Эйлера

Решения задач заочного тура третьей олимпиады Эйлера Решения задач заочного тура третьей олимпиады Эйлера Решите уравнение ( x+ )( x ) + ( x ) x + = x О т в е т: { + ; 5} Решение Найдем область определения уравнения (ОДЗ): x ; x> Далее воспользовавшись свойствами

Подробнее

ГЛАВА 1. Проективная геометрия

ГЛАВА 1. Проективная геометрия ГЛАВА 1. Проективная геометрия 1.1. Проективное пространство Пусть дано (n + 1)-мерное векторное пространство V ( 6.1, часть I) и непустое множество P произвольной природы. Говорят, что множество P наделено

Подробнее

Указания, решения, ответы. нет, поэтому уравнение b 4ac имеет решений в целых числах. Третье решение. Перепишем уравнение УРАВНЕНИЯ В ЦЕЛЫХ ЧИСЛАХ

Указания, решения, ответы. нет, поэтому уравнение b 4ac имеет решений в целых числах. Третье решение. Перепишем уравнение УРАВНЕНИЯ В ЦЕЛЫХ ЧИСЛАХ Указания, решения, ответы УРАВНЕНИЯ В ЦЕЛЫХ ЧИСЛАХ. Уравнение с одной неизвестной.. Решение. Подставим в уравнение. Получим равенство ( 4a b 4) (a b 8) 0. Равенство A B 0, где А и В целые, выполняется,

Подробнее

Введение. a, b, c Z a b c =a b a c Нет делителей нуля -- a,b Z: a 0, b 0 a b 0

Введение. a, b, c Z a b c =a b a c Нет делителей нуля -- a,b Z: a 0, b 0 a b 0 Введение В начальной школе все мы знакомимся с множеством натуральных, а затем и целых чисел. Там же мы изучаем две базовые операции сложение и умножение, а также обратную операцию к сложению вычитание,

Подробнее

Теория информации и кодирование

Теория информации и кодирование Теория информации и кодирование В. Н. Потапов Институт математики им. С. Л. Соболева, Новосибирский государственный университет, Новосибирск XII летняя школа «Современная математика», г. Дубна, 19-30 июля

Подробнее

18. Отображения, отношения и лемма Цорна

18. Отображения, отношения и лемма Цорна 18. Отображения, отношения и лемма Цорна Вернемся еще раз к теории множеств будем надеяться, что последний раз в курсе анализа. Вы уже знакомы с понятием отображения множеств. Именно, отображение f : X

Подробнее

Тема 3: Определители

Тема 3: Определители Тема 3: Определители А. Я. Овсянников Уральский федеральный университет Институт математики и компьютерных наук кафедра алгебры и дискретной математики алгебра и геометрия для физиков-инженеров Начало

Подробнее

9.1. Замкнутость относительно элементарных операций

9.1. Замкнутость относительно элементарных операций Глава 9 ОПЕРАЦИИ НАД ЯЗЫКАМИ 9.1. Замкнутость относительно элементарных операций В этой главе мы применяем операции объединения, конкатенации, обращения, замыкания и т.д. к языкам разных типов. Интересно

Подробнее

Оглавление Краткие теоретические сведения Двоичная система счисления Восьмеричная и шестнадцатеричная системы счисления...

Оглавление Краткие теоретические сведения Двоичная система счисления Восьмеричная и шестнадцатеричная системы счисления... Оглавление Краткие теоретические сведения... 3 Двоичная система счисления... 5 Восьмеричная и шестнадцатеричная системы счисления... 5 Перевод числа из одной позиционной системы счисления в другую... 6

Подробнее

ЛЕКЦИЯ 1 ВВЕДЕНИЕ. ФОРМАЛЬНЫЕ ЯЗЫКИ

ЛЕКЦИЯ 1 ВВЕДЕНИЕ. ФОРМАЛЬНЫЕ ЯЗЫКИ ЛЕКЦИЯ 1 ВВЕДЕНИЕ. ФОРМАЛЬНЫЕ ЯЗЫКИ 1. Введение в математическую логику Рекомендуемая литература по данному курсу трилогия Верещагина и Шеня: «Начала теории множеств», «Языки и исчисления», «Вычислимые

Подробнее

Московский государственный технический университет имени Н.Э. Баумана. Факультет «Фундаментальные науки» Кафедра «Математическое моделирование»

Московский государственный технический университет имени Н.Э. Баумана. Факультет «Фундаментальные науки» Кафедра «Математическое моделирование» ÌÃÒÓ ÌÃÒÓ ÌÃÒÓ ÌÃÒÓ ÌÃÒÓ ÌÃÒÓ Московский государственный технический университет имени Н.Э. Баумана Факультет «Фундаментальные науки» Кафедра «Математическое моделирование» À.Í. Êàíàòíèêîâ, À.Ï. Êðèùåíêî

Подробнее

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ НОВОСИБИРСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ СПЕЦИАЛИЗИРОВАННЫЙ УЧЕБНО-НАУЧНЫЙ ЦЕНТР

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ НОВОСИБИРСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ СПЕЦИАЛИЗИРОВАННЫЙ УЧЕБНО-НАУЧНЫЙ ЦЕНТР МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ НОВОСИБИРСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ СПЕЦИАЛИЗИРОВАННЫЙ УЧЕБНО-НАУЧНЫЙ ЦЕНТР Математика 0 класс МЕТОД МАТЕМАТИЧЕСКОЙ ИНДУКЦИИ И БЕСКОНЕЧНЫЕ ЧИСЛОВЫЕ

Подробнее

Элементы теории графов

Элементы теории графов Глава 1 Элементы теории графов План. Общее определение графов, вершины, ребра, граничное отображение или отображение инцидентности, инцидентные вершины и ребра, вершины, соединенные ребром, смежные вершины,

Подробнее

Лектор - доцент Селезнева Светлана Николаевна

Лектор - доцент Селезнева Светлана Николаевна Лекция: Частично упорядоченные множества (ЧУМ). Диаграмма ЧУМ. Максимальные, минимальные, наибольший и наименьший элементы. Цепи и антицепи, длина и ширина конечных ЧУМ. Теорема о разбиении ЧУМ на антицепи.

Подробнее

Математическая логика и теория алгоритмов

Математическая логика и теория алгоритмов Математическая логика и теория алгоритмов Лектор: А. Л. Семенов Лекция 2 Попытка расширить пределы вычислимого Наряду с теми операциями над вычислимыми функциями, которые мы рассматривали, возможны более

Подробнее

Глава II. Теория графов.

Глава II. Теория графов. Глава II. Теория графов.. Из истории теории графов Родоначальником теории графов является Леонард Эйлер (707 782). В 736 году Эйлер решил задачу о Кенигсбергских мостах. Задача состояла в следующем: «Найти

Подробнее

4. Метод ветвей и границ

4. Метод ветвей и границ 4. Метод ветвей и границ Задачи дискретной оптимизации имеют конечное множество допустимых решений, которые теоретически можно перебрать и выбрать наилучшее (дающее минимум или максимум целевой функции).

Подробнее

Метод распознавания множества слов через синтез детерминированного автомата

Метод распознавания множества слов через синтез детерминированного автомата Метод распознавания множества слов через синтез детерминированного автомата Д.В. Пархоменко В статье предложен метод распознавания с помощью построения распознающего автомата по множеству его выходных

Подробнее

Глава 1. Начала линейной алгебры

Глава 1. Начала линейной алгебры Глава Начала линейной алгебры Системы линейных уравнений Систему m линейных уравнений с n неизвестными будем записывать в следующем виде: + + + + n n = + + + + nn = m + m + m + + mnn = m () Здесь n неизвестные

Подробнее

џ 1.1. Множества и операции над ними. Мощность множества

џ 1.1. Множества и операции над ними. Мощность множества TЕМА 1. Множества и отношения Цель и задачи Цель контента темы 1 ввести понятие отношения между множествами и рассмотреть различные свойства отношений. Задачи контента темы 1: дать определение прямого

Подробнее

1. Числовые последовательности

1. Числовые последовательности ТЕОРИЯ ПРЕДЕЛОВ И НЕПРЕРЫВНОСТЬ 1. Числовые последовательности Определение 1. Отображение a: N R множества натуральных, принимающее свои значения в множестве действительных чисел, называется числовой последовательностью.

Подробнее

Перестановки. Матрицы и определители. Системы линейных уравнений.

Перестановки. Матрицы и определители. Системы линейных уравнений. КЫРГЫЗСКО-РОССИЙСКИЙ СЛАВЯНСКИЙ УНИВЕРСИТЕТ КАФЕДРА МАТЕМАТИКИ СН ЗЕМЛЯНСКИЙ Перестановки Матрицы и определители Системы линейных уравнений Учебное пособие Бишкек Предисловие Учебное пособие предназначено

Подробнее

Дискретные модели генных сетей: анализ и сложность функционирования

Дискретные модели генных сетей: анализ и сложность функционирования Дискретные модели генных сетей: анализ и сложность функционирования Регуляторные контуры и циркулянтные графы. Введение основные определения Генные сети служат основой для моделирования процессов протекающих

Подробнее

Лекция 8: Базис векторного пространства

Лекция 8: Базис векторного пространства Уральский федеральный университет, Институт математики и компьютерных наук, кафедра алгебры и дискретной математики Вступительные замечания В курсе аналитической геометрии важную роль играли понятия базиса

Подробнее

Функции и графики. 1 Переменные и зависимости между ними

Функции и графики. 1 Переменные и зависимости между ними Глава 8 Функции и графики Переменные и зависимости между ними. Две величины и называются прямо пропорциональными, если их отношение постоянно, т. е. если =, где постоянное число, не меняющееся с изменением

Подробнее

Теория информации. Рассмотрим какова цена использования кода с неоптимальной длиной кодового слова. Пусть {p i

Теория информации. Рассмотрим какова цена использования кода с неоптимальной длиной кодового слова. Пусть {p i Теория информации Лекция 6. Символьные коды (продолжение) Рассмотрим какова цена использования кода с неоптимальной длиной кодового слова. Пусть {p } это вероятности в A x и наш код завершенный с длинами

Подробнее

КС-грамматики. Разбор цепочки - процесс построения вывода цепочки из цели S грамматики G = (T, N, P, S).

КС-грамматики. Разбор цепочки - процесс построения вывода цепочки из цели S грамматики G = (T, N, P, S). КС-грамматики Разбор цепочки - процесс построения вывода цепочки из цели грамматики G = (T, N, P, ). Вывод цепочки T* из N в КС-грамматике G = (T, N, P, ), называется: - левосторонним, если в нем каждая

Подробнее

9. Линейные пространства

9. Линейные пространства 9 Линейные пространства 3 Нам часто приходится рассматривать некоторые множества объектов, для которых установлены так называемые линейные операции: сложение элементов множества и умножение элемента множества

Подробнее

Приложение 1. ГРУППЫ, КОЛЬЦА, ПОЛЯ

Приложение 1. ГРУППЫ, КОЛЬЦА, ПОЛЯ Приложение 1 ГРУППЫ, КОЛЬЦА, ПОЛЯ Для криптографии алгебра является одним из основных инструментов в теоретических исследованиях и практических построениях криптографических преобразований Поэтому в этом

Подробнее

Определение 1.1. Таблица чисел (вещественных или комплексных) Число строк и столбцов матрицы А, если это необходимо, можно указать так:

Определение 1.1. Таблица чисел (вещественных или комплексных) Число строк и столбцов матрицы А, если это необходимо, можно указать так: Матрицы Определение и виды матриц Определение Таблица чисел (вещественных или комплексных) () состоящая из строк и столбцов называется прямоугольной матрицей размера Число строк и столбцов матрицы А если

Подробнее

Югорский физико-математический лицей В.П. Чуваков Задача С6 (Теория чисел на ЕГЭ)

Югорский физико-математический лицей В.П. Чуваков Задача С6 (Теория чисел на ЕГЭ) Югорский физико-математический лицей ВП Чуваков Задача С6 (Теория чисел на ЕГЭ) Учебно-методическое пособие Ханты-Мансийск 0 ВП Чуваков Задача С6 (Теория чисел на ЕГЭ): Учебнометодическое пособие, - Ханты-Мансийск,

Подробнее

Глава 1 ВВЕДЕНИЕ В АЛГЕБРУ

Глава 1 ВВЕДЕНИЕ В АЛГЕБРУ Глава ВВЕДЕНИЕ В АЛГЕБРУ.. КВАДРАТНЫЙ ТРЕХЧЛЕН... Вавилонская задача о нахождении двух чисел по их сумме и произведению. Одна из древнейших задач алгебры была предложена в Вавилоне, где была распространена

Подробнее

5 Построение графиков функций y = f (x) + b и y = f (x + a)

5 Построение графиков функций y = f (x) + b и y = f (x + a) 4.6. Постройте график функции: ) = []; ) = { }. 4.7. Постройте график функции: ) = ; ) = {}. Упражнения для повторения 4.8. Решите уравнение 3 = 3. 4.9. Постройте график уравнения + =. + 4.. Упростите

Подробнее

ПРИКЛАДНАЯ ЭКОНОМЕТРИКА 4 (20) 2010

ПРИКЛАДНАЯ ЭКОНОМЕТРИКА 4 (20) 2010 4 (0) 00 Байесовский анализ когда оцениваемый параметр является случайным нормальным процессом Рассмотрена задача байесовского оценивания последовательности неизвестных средних значений q q... q... по

Подробнее

Глава 6. Основы теории устойчивости

Глава 6. Основы теории устойчивости Глава 6 Основы теории устойчивости Лекция Постановка задачи Основные понятия Ранее было показано, что решение задачи Коши для нормальной системы ОДУ = f, () непрерывно зависит от начальных условий при

Подробнее

Глава 5 МАГАЗИННЫЕ АВТОМАТЫ Неформальное описание

Глава 5 МАГАЗИННЫЕ АВТОМАТЫ Неформальное описание Глава 5 МАГАЗИННЫЕ АВТОМАТЫ 5.1. Неформальное описание В этой главе мы рассмотрим простое устройство магазинный автомат 7 (pda pushdown automaton), которое адекватно классу КС-языков в том смысле, что

Подробнее

Теорема Жордана. Глава Теорема Жордана

Теорема Жордана. Глава Теорема Жордана Глава 3 Теорема Жордана План. Замкнутая кривая, незамкнутая кривая, незамкнутая кривая без самопересечений, замкнутая кривая без самопересечений, теорема Жордана о кривой без самопересечений, лежащей на

Подробнее

Тема 1. Функция. Способы задания. Неявная функция. Обратная функция. Классификация функций

Тема 1. Функция. Способы задания. Неявная функция. Обратная функция. Классификация функций Тема. Функция. Способы задания. Неявная функция. Обратная функция. Классификация функций Элементы теории множеств. Основные понятия Одним из основных понятий современной математики является понятие множества.

Подробнее

МОДЕЛИРОВАНИЕ СЛУЧАЙНЫХ СОБЫТИЙ И ПРОЦЕССОВ

МОДЕЛИРОВАНИЕ СЛУЧАЙНЫХ СОБЫТИЙ И ПРОЦЕССОВ Лекция 1-2 МОДЕЛИРОВАНИЕ СЛУЧАЙНЫХ СОБЫТИЙ И ПРОЦЕССОВ На этапе исследования и проектирования систем при построении и реализации машинных моделей (аналитических и имитационных) широко используется метод

Подробнее

О регулярных языках. Входящими непомеченными стрелками отмечены начальные вершины A и D, исходящими заключительные вершины E и C.

О регулярных языках. Входящими непомеченными стрелками отмечены начальные вершины A и D, исходящими заключительные вершины E и C. А. А. Вылиток О регулярных языках Регулярные языки играют важную роль в математических теориях и в приложениях. К наиболее известным формализмам, описывающим регулярные языки, относятся: регулярные выражения,

Подробнее

9. Принцип сжимающих отображений. Теоремы о неподвижной точке.

9. Принцип сжимающих отображений. Теоремы о неподвижной точке. Лекция 6 9 Принцип сжимающих отображений Теоремы о неподвижной точке Пусть D оператор, вообще говоря, нелинейный, действующий из банахова пространства B в себя Определение Оператор D, действующий из банахова

Подробнее

О каноническом регулярном представлении s-тонких языков

О каноническом регулярном представлении s-тонких языков О каноническом регулярном представлении s-тонких языков П.С. Дергач В работе изучаются спектры класса тонких языков. Дается классификация языков по их спектральным свойствам. Для спектра тонкого языка

Подробнее

Тема 1: Системы линейных уравнений

Тема 1: Системы линейных уравнений Тема 1: Системы линейных уравнений А. Я. Овсянников Уральский федеральный университет Институт математики и компьютерных наук кафедра алгебры и дискретной математики алгебра и геометрия для физиков-инженеров

Подробнее

Элементы высшей математики

Элементы высшей математики Кафедра математики и информатики Элементы высшей математики Учебно-методический комплекс для студентов СПО, обучающихся с применением дистанционных технологий Модуль Теория пределов Составитель: доцент

Подробнее

Теория вычислительных процессов и структур. Лекция 2. Стандартные схемы программ

Теория вычислительных процессов и структур. Лекция 2. Стандартные схемы программ Теория вычислительных процессов и структур Лекция 2. Стандартные схемы программ Содержание лекции Программа как объект исследования Стандартные схемы Класс стандартных схем Интерпретация схемы Программа

Подробнее

Линейная алгебра Лекция 2. Определители квадратных матриц

Линейная алгебра Лекция 2. Определители квадратных матриц Линейная алгебра Лекция. Определители квадратных матриц Введение Определитель или детерминант одно из основных понятий линейной алгебры. Определитель матрицы является многочленом от элементов квадратной

Подробнее

Алгоритм восстановления изображения по его коду

Алгоритм восстановления изображения по его коду Алгоритм восстановления изображения по его коду П.Г. Агниашвили В рамках дискретно-геометрического подхода к распознаванию образов представлен алгоритм, вычисляющий по коду все классы а -эквивалентных

Подробнее

Перестановки. Е. А. Максименко 23 ноября 2007 г. Содержание

Перестановки. Е. А. Максименко 23 ноября 2007 г. Содержание Перестановки Е А Максименко 23 ноября 2007 г В этом учебном тексте перечислены элементарные свойства перестановок (преобразований конечного множества) в форме простых упражнений Содержание 1 Определение

Подробнее

О СВЯЗИ МЕЖДУ КОЭФФИЦИЕНТАМИ ПРОСТОЙ И МНОЖЕСТВЕННОЙ РЕГРЕССИОННЫХ МОДЕЛЕЙ В. Г. Панов, А. Н. Вараксин

О СВЯЗИ МЕЖДУ КОЭФФИЦИЕНТАМИ ПРОСТОЙ И МНОЖЕСТВЕННОЙ РЕГРЕССИОННЫХ МОДЕЛЕЙ В. Г. Панов, А. Н. Вараксин Сибирский математический журнал Январь февраль, 2010. Том 51, 1 УДК 519.233.5+519.654 О СВЯЗИ МЕЖДУ КОЭФФИЦИЕНТАМИ ПРОСТОЙ И МНОЖЕСТВЕННОЙ РЕГРЕССИОННЫХ МОДЕЛЕЙ В. Г. Панов, А. Н. Вараксин Аннотация. Рассмотрена

Подробнее

Пределы и непрерывность

Пределы и непрерывность Пределы и непрерывность. Предел функции Пусть функция = f ) определена в некоторой окрестности точки = a. При этом в самой точке a функция не обязательно определена. Определение. Число b называется пределом

Подробнее

НИЖЕГОРОДСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ им. Н. И. ЛОБАЧЕВСКОГО

НИЖЕГОРОДСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ им. Н. И. ЛОБАЧЕВСКОГО НИЖЕГОРОДСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ им Н И ЛОБАЧЕВСКОГО Факультет вычислительной математики и кибернетики Кафедра математической логики и высшей алгебры ЭЛЕМЕНТЫ КОМБИНАТОРИКИ (Пособие для студентов

Подробнее

О конструктивной характеризации пороговых функций, инвариантных относительно групп перестановок

О конструктивной характеризации пороговых функций, инвариантных относительно групп перестановок О конструктивной характеризации пороговых функций, инвариантных относительно групп перестановок А.П. Соколов В работе рассматриваются классы пороговых функций, инвариантных относительно групп перестановок.

Подробнее

Городская олимпиада по математике г. Хабаровск, 1997 год 9 КЛАСС. (x + 2) 4 + x 4 = 82. (1) (y + 1) 4 + (y 1) 4 = 82.

Городская олимпиада по математике г. Хабаровск, 1997 год 9 КЛАСС. (x + 2) 4 + x 4 = 82. (1) (y + 1) 4 + (y 1) 4 = 82. Городская олимпиада по математике г. Хабаровск, 1997 год Задача 1. Найти решения уравнения 9 КЛАСС (x + 2) 4 + x 4 = 82. (1) Решение. После замены переменной x = y 1 уравнение (1) можно записать в виде

Подробнее

Тема 1-5: Системы линейных уравнений

Тема 1-5: Системы линейных уравнений Тема 1-5: Системы линейных уравнений А. Я. Овсянников Уральский федеральный университет Институт математики и компьютерных наук кафедра алгебры и дискретной математики алгебра и геометрия для механиков

Подробнее

Классификация грамматик и языков по Хомскому. Язык, порождаемый грамматикой типа k (k=0,1,2,3), является языком типа k.

Классификация грамматик и языков по Хомскому. Язык, порождаемый грамматикой типа k (k=0,1,2,3), является языком типа k. 22 Классификация грамматик и языков по Хомскому грамматики классифицируются по виду их правил вывода Четыре типа грамматик: тип 0, тип 1, тип 2, тип 3 Язык, порождаемый грамматикой типа k (k=0,1,2,3),

Подробнее

Нильпотентные полугруппы, основа графа Кэли которых является деревом

Нильпотентные полугруппы, основа графа Кэли которых является деревом А.Л. Макарьев Омский государственный педагогический университет Электронный научный журнал «Вестник Омского государственного педагогического университета» Выпуск 006 www.os.edu Нильпотентные полугруппы,

Подробнее

3. Определители высших порядков

3. Определители высших порядков Определители высших порядков Понятие определителя п-го порядка и его основные свойства Понятие определителя п-го порядка вводится на основе изучения структуры определителей -го и -го порядков Так например

Подробнее