ЗАДАЧА РАСПОЗНАВАНИЯ ОБРАЗОВ...

Save this PDF as:
 WORD  PNG  TXT  JPG

Размер: px
Начинать показ со страницы:

Download "ЗАДАЧА РАСПОЗНАВАНИЯ ОБРАЗОВ..."

Транскрипт

1 Математические методы распознавания образов Курс лекций МГУ ВМиК кафедра «Математические методы прогнозирования» Местецкий Леонид Моисеевич 4 ЗАДАЧА РАСПОЗНАВАНИЯ ОБРАЗОВ 4 ПРЕДМЕТ РАСПОЗНАВАНИЯ ОБРАЗОВ 4 ПРИЗНАКИ И КЛАССИФИКАТОРЫ4 3 КЛАССИФИКАЦИЯ С ОБУЧЕНИЕМ И БЕЗ ОБУЧЕНИЯ6 4 ФОРМАЛЬНАЯ ПОСТАНОВКА ЗАДАЧИ КЛАССИФИКАЦИИ7 КЛАССИФИКАЦИЯ НА ОСНОВЕ БАЙЕСОВСКОЙ ТЕОРИИ РЕШЕНИЙ 8 БАЙЕСОВСКИЙ ПОДХОД 8 ОШИБКА КЛАССИФИКАЦИИ 9 3 МИНИМИЗАЦИЯ СРЕДНЕГО РИСКА 4 ДИСКРИМИНАНТНЫЕ ФУНКЦИИ И ПОВЕРХНОСТИ РЕШЕНИЯ 3 5 БАЙЕСОВСКИЙ КЛАССИФИКАТОР ДЛЯ НОРМАЛЬНОГО РАСПРЕДЕЛЕНИЯ3 5 Квадратичная поверхность решения 4 5 Линейная поверхность решения5 53 Линейная поверхность решения с диагональной матрицей ковариации6 54 Линейная поверхность решения с недиагональной матрицей ковариации7 55 Классификаторы по минимуму расстояния7 3 ЛИНЕЙНЫЙ КЛАССИФИКАТОР АЛГОРИТМ ПЕРСЕПТРОНА 9 3 ЛИНЕЙНАЯ ДИСКРИМИНАНТНАЯ ФУНКЦИЯ 9 3 АЛГОРИТМ ПЕРСЕПТРОНА 3 Математическая модель нейрона 3 Алгоритм персептрона 33 Сходимость алгоритма персептрона 34 Оптимизационная интерпретация 35 Схема Кеслера 3 4 ОПТИМАЛЬНАЯ РАЗДЕЛЯЮЩАЯ ГИПЕРПЛОСКОСТЬ 4 4 СУЩЕСТВОВАНИЕ И ЕДИНСТВЕННОСТЬ4 4 ПОСТРОЕНИЕ ОПТИМАЛЬНОЙ РАЗДЕЛЯЮЩЕЙ ГИПЕРПЛОСКОСТИ 5 43 АЛГОРИТМ ГАУССА-ЗЕЙДЕЛЯ 7 5 НЕЛИНЕЙНЫЙ КЛАССИФИКАТОР МНОГОСЛОЙНЫЙ ПЕРСЕПТРОН 8 5 ЗАДАЧА ИСКЛЮЧАЮЩЕГО ИЛИ 8 5 КЛАССИФИКАЦИОННЫЕ СПОСОБНОСТИ ДВУХСЛОЙНОГО ПЕРСЕПТРОНА9 53 ТРЕХСЛОЙНЫЙ ПЕРСЕПТРОН3 54 ПОСТРОЕНИЕ НЕЙРОННОЙ СЕТИ3 54 Алгоритм основанные на точной классификации множества прецедентов3 54 Алгоритм ближайших соседей Алгоритм основанный на подборе весов для сети с заданной архитектурой Алгоритм обратной волны34 6 МЕТОД ПОТЕНЦИАЛЬНЫХ ФУНКЦИЙ37 6 ОБЩАЯ РЕКУРРЕНТНАЯ ПРОЦЕДУРА 38 6 ВЫБОР СИСТЕМЫ ФУНКЦИЙ 4 63 СХОДИМОСТЬ ОБЩЕЙ РЕКУРРЕНТНОЙ ПРОЦЕДУРЫ4 64 ФУНКЦИИ ЭРМИТА4 7 КОМИТЕТНЫЕ МЕТОДЫ РЕШЕНИЯ ЗАДАЧ РАСПОЗНАВАНИЯ43 7 ТЕОРЕТИКО-МНОЖЕСТВЕННАЯ ПОСТАНОВКА ЗАДАЧИ ВЫБОРА АЛГОРИТМА43 7 КОМИТЕТЫ КОМИТЕТЫ ЛИНЕЙНЫХ ФУНКЦИОНАЛОВ 45

2 74 ФУНКЦИЯ ШЕННОНА47 8 КЛАССИФИКАЦИЯ НА ОСНОВЕ СРАВНЕНИЯ С ЭТАЛОНОМ5 8 МЕРА БЛИЗОСТИ ОСНОВАННАЯ НА ПОИСКЕ ОПТИМАЛЬНОГО ПУТИ НА ГРАФЕ5 8 ЗАДАЧА СРАВНЕНИЯ КОНТУРОВ 5 83 ЗАДАЧА СРАВНЕНИЯ РЕЧЕВЫХ КОМАНД 5 84 ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ53 9 КОНТЕКСТНО-ЗАВИСИМАЯ КЛАССИФИКАКЦИЯ54 9 ПОСТАНОВКА ЗАДАЧИ 54 9 БАЙЕСОВСКИЙ КЛАССИФИКАТОР МОДЕЛЬ МАРКОВСКОЙ ЦЕПИ54 94 АЛГОРИТМ ВИТЕРБИ VITERBI55 95 СКРЫТЫЕ МАРКОВСКИЕ МОДЕЛИ56 СЕЛЕКЦИЯ ПРИЗНАКОВ58 ЗАДАЧА СЕЛЕКЦИИ ПРИЗНАКОВ 58 Постановка задачи селекции признаков58 Общность классификатора58 ПРЕДОБРАБОТКА ВЕКТОРОВ ПРИЗНАКОВ 59 3 СЕЛЕКЦИЯ НА ОСНОВЕ ПРОВЕРКИ СТАТИСТИЧЕСКИХ ГИПОТЕЗ59 3 Постановка задачи59 3 Общая теория проверки гипотез 6 33 Приложение к селекции признаков6 34 Мера различия плотностей признаков6 4 ВЕКТОРНАЯ СЕЛЕКЦИЯ ПРИЗНАКОВ МЕРА ОТДЕЛИМОСТИ КЛАССОВ63 4 Дивергенция63 4 Мера на основе матриц рассеивания Стратегия наращивания вектора признаков Стратегия сокращения вектора признаков Выбор стратегии Алгоритм плавающего поиска65 5 ОПТИМАЛЬНАЯ СЕЛЕКЦИЯ ПРИЗНАКОВ 66 6 ОПТИМАЛЬНАЯ СЕЛЕКЦИЯ ПРИЗНАКОВ С ПОМОЩЬ НЕЙРОННОЙ СЕТИ 68 МЕТОДЫ ГЕНЕРАЦИИ ПРИЗНАКОВ69 ГЕНЕРАЦИЯ ПРИЗНАКОВ НА ОСНОВЕ ЛИНЕЙНЫХ ПРЕОБРАЗОВАНИЙ 69 Базисные вектора 69 Случай двумерных образов69 ПРЕОБРАЗОВАНИЕ КАРУНЕНА-ЛОЕВА7 Свойства преобразования Карунена-Лоева 7 Применение преобразования Карунена-Лоева к задаче классификации7 3 Декомпозиция сингулярных значений7 3 ДИСКРЕТНОЕ ПРЕОБРАЗОВАНИЕ ФУРЬЕ ДПФ7 3 Одномерное дискретное преобразование Фурье7 3 Двумерные ДПФ73 33 Дискретное косинусное преобразование ДКП73 34 Дискретное синусное преобразования ДСП74 4 ПРЕОБРАЗОВАНИЯ АДАМАРА И ХААРА 74 4 Преобразование Адамара 74 4 Преобразование Хаара75 5 ГЕНЕРАЦИЯ ПРИЗНАКОВ НА ОСНОВЕ НЕЛИНЕЙНЫХ ПРЕОБРАЗОВАНИЙ ВЫДЕЛЕНИЕ ТЕКСТУРЫ ИЗОБРАЖЕНИЙ75 5 Региональные признаки Признаки для описания текстуры76 5 Признаки основанные на статистиках первого порядка76 53 Признаки основанные на статистиках второго порядка Матрицы сочетаний77 6 ПРИЗНАКИ ФОРМЫ И РАЗМЕРА 78 6 Признаки Фурье 78 6 Цепной код Геометрические свойства фигуры79

3 3 64 Скелетизация8 ОБУЧЕНИЕ ПО ПРЕЦЕДЕНТАМ ПО ВАПНИКУ ЧЕРВОНЕНКИСУ8 ЗАДАЧА ПОСТРОЕНИЯ КЛАССИФИКАТОРА 8 КАЧЕСТВО ОБУЧЕНИЯ КЛАССИФИКАТОРА 8 3 ВЕРОЯТНОСТНАЯ МОДЕЛЬ8 4 ЗАДАЧА ПОИСКА НАИЛУЧШЕГО КЛАССИФИКАТОРА8 5 СХОДИМОСТЬ ЭМПИРИЧЕСКОГО РИСКА К СРЕДНЕМУ СЛУЧАЙ КОНЕЧНОГО ЧИСЛА РЕШАЮЩИХ ПРАВИЛ83 6 СЛУЧАЙ БЕСКОНЕЧНОГО ЧИСЛА РЕШАЮЩИХ ПРАВИЛ83 6 Критерий равномерной сходимости υ α к вероятностям P α 84 6 Достаточное условие равномерной сходимости84 63 Скорость сходимости85 64 Случай класса линейных решающих функций85

4 4 Задача распознавания образов Предмет распознавания образов Распознавание образов это научная дисциплина целью которой является классификация объектов по нескольким категориям или классам Объекты называются образами Классификация основывается на прецедентах Прецедент это образ правильная классификация которого известна Прецедент ранее классифицированный объект принимаемый как образец при решении задач классификации Идея принятия решений на основе прецедентности основополагающая в естественно-научном мировоззрении Будем считать что все объекты или явления разбиты на конечное число классов Для каждого класса известно и изучено конечное число объектов прецедентов Задача распознавания образов состоит в том чтобы отнести новый распознаваемый объект к какому-либо классу Задача распознавания образов является основной в большинстве интеллектуальных систем Рассмотрим примеры интеллектуальных компьютерных систем Машинное зрение Это системы назначение которых состоит в получении изображения через камеру и составление его описания в символьном виде какие объекты присутствуют в каком взаимном отношении находятся и тд Символьное распознавание это распознавание букв или цифр a Optca Chaacte Recognton OCR; b Ввод и хранение документов; c Pen Compute; d Обработка чеков в банках; e Обработка почты 3 Диагностика в медицине a Маммография рентгенография; b Постановка диагноза по истории болезни; c Электрокардиограмма 4 Геология 5 Распознавание речи 6 Распознавание в дактилоскопии отпечатки пальцев распознавание лица подписи жестов Признаки и классификаторы Измерения используемые для классификации образов называются признаками Признак это некоторое количественное измерение объекта произвольной природы Совокупность признаков относящихся к одному образу называется вектором признаков Вектора признаков принимают значения в пространстве признаков В рамках задачи распознавания считается что каждому образу ставится в соответствие единственное значение вектора признаков и наоборот: каждому значению вектора признаков соответствует единственный образ Классификатором или решающим правилом называется правило отнесения образа к одному из классов на основании его вектора признаков

5 5 m * s Рис Распределение векторов признаков прецедентах класса A кружки и класса B крестики Признаки - средние значения и средние отклонения яркости в образах Прямая линия разделяет вектора из разных классов Пример Иллюстрация понятий признаков и классификатора и идеи распознавания классификации Рассмотрим задачу диагностики печени по результатам инструментального исследования Доброкачественные левый рисунок класс A и злокачественные правый рисунок класс B изменения дают разную картину Предположим что имеется несколько препаратов в базе данных про которые известна их принадлежность к классам A и B правильная классификация Очевидно что образцы отличаются интенсивностью точек изображения В качестве вектора признаков выберем пару: среднее значение m и среднеквадратичное отклонение s интенсивности в изображении На рис представлены изображения этих образов в пространстве признаков Точки соответствующие прецедентам разных классов разделяются прямой линией Классификация неизвестного образа соответствующая точка изображена звездочкой состоит в проверке положения точки относительно этой разделяющей прямой Образы Сенсор измеритель Генерация признаков Селекция признаков Построение классификатора Оценка системы Рис Основные элементы построения системы распознавания образов классификации Практическая разработка системы классификации осуществляется по следующей схеме рис В процессе разработки необходимо решить следующие вопросы Как выбрать вектора признаков? Задача генерации признаков это выбор тех признаков которые с достаточной полнотой в разумных пределах описывают образ

6 6 Какие признаки наиболее существенны для разделения объектов разных классов? Задача селекции признаков отбор наиболее информативных признаков для классификации 3 Как построить классификатор? Задача построения классификатора выбор решающего правила по которому на основании вектора признаков осуществляется отнесение объекта к тому или иному классу 4 Как оценить качество построенной системы классификации? Задача количественной оценки системы выбранные признаки + классификатор с точки зрения правильности или ошибочности классификации 3 Классификация с обучением и без обучения В зависимости от наличия или отсутствия прецедентной информации различают задачи распознавания с обучением и без обучения Задача распознавания на основе имеющегося множества прецедентов называется классификацией с обучением или с учителем В том случае если имеется множество векторов признаков полученных для некоторого набора образов но правильная классификация этих образов неизвестна возникает задача разделения этих образов на классы по сходству соответствующих векторов признаков Эта задача называется кластеризацией или распознаванием без обучения Пример Рассмотрим съемку со спутника и классификацию поверхности по отраженной энергии рис3 На рисунке изображены снимок из космоса слева и результат кластеризации векторов признаков рассчитанных для различных элементов изображения справа Распределение образов изображенных точками по классам осуществляется на основе анализа «скоплений» этих точек в пространстве признаков Пример 3 Рассмотрим другой пример распознавания образов в общественных социальных науках Целью задачи является построение системы классификации государств для определения необходимости гуманитарной поддержки со стороны международных организаций Необходимо выявить закономерности связей между различными объективно измеряемыми параметрами например связь между ВНП уровнем грамотности и уровнем детской смертности В данном случае страны можно представить трехмерными векторами а задача заключается в построении меры сходства этих векторов и дальнейшем построении схемы кластеризации выбора групп по этой мере Рис3 Изображение различных типов поверхности и кластеризация соответствующих векторов признаков

7 7 4 Формальная постановка задачи классификации Будем использовать следующую модель задачи классификации множество объектов распознавания пространство образов ω : ϖ объект распознавания образ g ω : Μ Μ m индикаторная функция разбивающая пространство { } m образов на на m непересекающихся классов Индикаторная функция неизвестна наблюдателю Χ пространство наблюдений воспринимаемых наблюдателем пространство признаков ω : Χ функция ставящая в соответствие каждому объекту ω точку ω в пространстве признаков Вектор ω - это образ объекта воспринимаемый наблюдателем В пространстве признаков определены непересекающиеся множества точек K X m соответствующих образам одного класса g ˆ : Χ Μ решающее правило оценка для g ω на основании ω те g ˆ gˆ ω Пусть ω доступная наблюдателю информация о функциях g ω и ω но сами эти функции наблюдателю неизвестны Тогда g есть множество прецедентов Задача заключается в построении такого решающего правила g ˆ чтобы распознавание проводилось с минимальным числом ошибок Обычный случай считать пространство признаков евклидовым те Χ R Качество решающего правила измеряют частотой появления правильных решений Обычно его оценивают наделяя множество объектов некоторой вероятностной мерой Тогда задача mn P g ω g ω записывается в виде { }

8 8 Классификация на основе байесовской теории решений Байесовский подход Байесовский подход исходит из статистической природы наблюдений За основу берется предположение о существовании вероятностной меры на пространстве образов которая либо известна либо может быть оценена Цель состоит в разработке такого классификатора который будет правильно определять наиболее вероятный класс для пробного образа Тогда задача состоит в определении наиболее вероятного класса Задано M классов M а также P M вероятность того что неизвестный образ представляемый вектором признаков принадлежит классу P называется апостериорной вероятностью поскольку задает распределение индекса класса после эксперимента a posteo те после того как значение вектора признаков было получено Рассмотрим случай двух классов и Естественно выбрать решающее правило таким образом: объект относим к тому классу для которого апостериорная вероятность выше Такое правило классификации по максимуму апостериорной вероятности называется Байесовским: если P > P то классифицируется в иначе в Таким образом для Байесовского решающего правила необходимо получить апостериорные вероятности P Это можно сделать с помощью формулы Байеса Формула Байеса полученная Т Байесом в 763 году позволяет вычислить апостериорные вероятности событий через априорные вероятности и функции правдоподобия Пусть A An полная группа несовместных событий U n A A Тогда апостериорная вероятность имеет вид: P A B P A P B A n P A P B A A A при где P A априорная вероятность события A P B A условная вероятность события B при условии что произошло событие A Рассмотрим получение апостериорной вероятности P зная P и P P AB P A B P B P AB P B A P A P A B P B P B A P A P A B P B P B A P A Если P A и P A B описываются плотностями p и p B то p B P B P B p p P P p При проверке классификации сравнение P и P эквивалентно сравнению p P и p P В случае когда P P считается что мера множества равна нулю

9 9 Таким образом задача сравнения по апостериорной вероятности сводится к вычислению величин P P p p Будем считать что у нас достаточно данных для определения вероятности принадлежности объекта каждому из классов P Такие вероятности называются априорными вероятностями классов А также будем считать что известны функции распределения вектора признаков для каждого класса P Они называются функциями правдоподобия по отношению к Если априорные вероятности и функции правдоподобия неизвестны то их можно оценить методами математической статистики на множестве прецедентов Например P где число прецедентов из общее число прецедентов P может быть приближено гистограммой распределения вектора признаков для прецедентов из класса Итак Байесовский подход к статистическим задачам основывается на предположении о существовании некоторого распределения вероятностей для каждого параметра Недостатком этого метода является необходимость постулирования как существования априорного распределения для неизвестного параметра так и знание его формы Ошибка классификации Определение Вероятность P e P R + P R называется ошибкой : P p > P p классификации { } R { P p < P p } области решения : R Теорема Байесовский классификатор является оптимальным по отношению к минимизации вероятности ошибки классификации Доказательство Рассмотрим ошибку классификации: Учитывая формулу Байеса: P e P R + P R P p d + P p d R P + p d P p d R R P P p d + P p d R P p p получим: P P p P p P P d + P d P P R R P P p d + P R R R R P P P p R p d Таким образом минимум достигается когда R { P > P } остальных точек d : R выбирается из чтд

10 Данная теорема была доказана для двух классов и Обобщим ее на M классов Пусть вектор признаков относится к классу если P > P при M M Соответственно необходимо доказать что данное правило минимизирует вероятность ошибки классификации Для доказательства следует воспользоваться формулой правильной классификации P P Доказательство Воспользуемся формулой правильной классификации P R P R + P R + + P P R P P R p d P + p d P p d R R P P p d P p d R R P p Учитывая формулу Байеса: p получим: P P p P p P P d P d P P R R P P p d P p d R R P [ P P ] p R e d P P Таким образом максимум достигается когда P ω < P ω Аналогично для всех максимум достигается когда R { : P ω < P ω } e чтд 3 Минимизация среднего риска Вероятность ошибки классификации не всегда лучший критерий проверки классификатора В том случае когда цена ошибок различного типа существенно различается лучше использовать другой критерий качества классификации минимум среднего риска Рассмотрим задачу классификации по M классам R M области предпочтения классов ϖ Предположим что вектор из класса лежит в R те классификация происходит с ошибкой Свяжем с этой ошибкой штраф λ называемый потерями в результате того что объект из класса был принят за объект из класса Обозначим через L λ матрицу потерь

11 Определение Выражение P{ R } λ классификации объекта класса Определение Выражение M M M λ p d называется риском при P называется общим средним риском Теперь мы можем поставить задачу о выборе классификатора минимизирующего этот риск Преобразуем выражение общего среднего риска: M P P λ M M R R p d M M P λ p d R M M λ p P d R Из этого выражения видно что риск минимален когда каждый из интегралов в данной сумме минимален те M λ p P R если < при где λ p P Пример Рассмотрим ситуацию радиолокационной разведки На экране радара отражаются не только цели но и помехи Такой помехой может служить стая птиц которую можно принять за небольшой самолет В данном случае это двухклассовая задача Рассмотрим матрицу штрафов: L λ объекта из класса за объект класса Тогда λ p P + λ p P M λ это штраф за принятие λ p P + λ p P Пусть относится у классу если < те λ p P + λ p P < λ p P + λ p P λ λ p P < λ λ p P Тк λ > λ и λ > λ то p λ λ P > p λ λ P Стоящее в левой части неравенства отношение p называется отношением p правдоподобия Неравенство описывает условие предпочтения класса классу Пример Рассмотрим двухклассовую задачу в которой для единственного признака известна плотность распределения: p ep π p ep π

12 Пусть также априорные вероятности P P Задача вычислить пороги для a минимальной вероятности ошибки b минимального риска при матрице риска 5 L Решение задачи a: P p P p ep ep ˆ Решение задачи b: P P p p λ λ λ λ 5 ep ep ep ep n n ~ Пример Рассмотрим двухклассовую задачу с Гауссовскими плотностями распределения σ p и σ p и матрицей потерь λ λ L Задача вычислить порог для проверки отношения правдоподобия Решение С учетом матрицы потерь отношение правдоподобия P P p p λ λ λ λ запишется в виде P P p p λ λ Запишем плотности распределения ep σ πσ p ; ep σ πσ p ep σ σ λ λ P P p p n P P λ λ σ

13 3 λ P σ n λ P Пример Рассмотрим двух классовую задачу с матрицей потерь L λ Пусть ε вероятность ошибки соответствующая вектору из класса и ε вероятность ошибки соответствующая вектору из класса Задача найти средний риск Решение M P M M P λ p d R λ ε P + λεp + λε P + λ ε P λ P + λ λ εp + λ λ ε P + λp Пример Доказать что в задаче классификации по M классам вероятность ошибки M классификации ограничена: P e M Указание: показать что ma P ϖ M M 4 Дискриминантные функции и поверхности решения Минимизация риска и вероятности ошибки эквивалентны разделению пространства признаков на M областей Если области R и R смежные то они разделены поверхностью решения в многомерном пространстве Для случая минимизации вероятности ошибки поверхность решения задается уравнением: P P В данном уравнении приходится оперировать с вероятностями Иногда вместо вероятностей удобнее работать с функцией от вероятности: g f P где функция f монотонно возрастает Определение Функция g f P называется дискриминантной функцией Таким образом поверхность решения будет задаваться уравнением: g g M M Для задачи классификации по вероятности ошибки или риску не всегда удается вычислить вероятности В этом случае бывает более предпочтительно вычислить разделяющую поверхность на основе другой функции стоимости Такие подходы дают решения субоптимальные по отношению к Байесовской классификации 5 Байесовский классификатор для нормального распределения Распределение Гаусса очень широко используется по причине вычислительного удобства и адекватности во многих случаях Рассмотрим многомерную плотность нормального распределения µ Σ :

14 4 Σ Σ Τ ep p µ µ π M где ] Ε[X µ математическое ожидание случайной величины в классе Σ матрица ковариации размерности для класса [ ] Τ Ε Σ µ µ Σ определитель матрицы ковариации Здесь µ это вектора столбцы а T µ T - вектора-строки 5 Квадратичная поверхность решения На основе этих данных необходимо построить байесовский классификатор Рассмотрим логарифмическую дискриминантную функцию: n P g n P p + n n P p Σ + + Σ Τ n n P π µ µ Σ + Σ Τ P n n n π µ µ C P + + Σ Τ n µ µ где C Σ n n π Эта функция представляет собой квадратичную форму Следовательно разделяющая поверхность g g является гиперповерхностью второго порядка Поэтому Байесовский классификатор является квадратичным классификатором Пример Пусть Σ σ σ Тогда Σ σ σ C P g n µ µ σ µ µ σ σ Разделяющей поверхностью является коническое сечение Пример Пусть P P µ µ Σ 5 Σ 5 Тогда Σ 3 Σ 4 5 Найдем поверхность решения n n n 3 π P g 3 n n n π P + + n n n 4 5 π P g

15 n P n n π + g g n n n 3 3 Тк g g то n n n n эллипс центром в точке Пример Пусть P P µ µ 5 Σ 5 Σ Тогда 3 Σ Найдем поверхность решения 3 Σ Из предыдущего примера: g n P nπ + n 3 g + n + n P 3 g g Тк g g то гипербола с центром в точке 5 Линейная поверхность решения µ Условие остается тем же: p ep µ π Σ Σ В предыдущем пункте мы получили квадратичную форму: h n p P n p + n P Τ M

16 6 C P + + Σ Τ n µ µ где n C Σ π Пусть Σ Σ тогда + + Σ + Σ Σ Σ Τ Τ Τ Τ C P h n µ µ µ µ + + Σ + Σ Σ Τ Τ Τ C P n µ µ µ [ ] Τ Τ C P W W K n µ C L K + + где W W L + Τ ; W Σ µ ; Τ W P W µ n При Σ Σ можно сравнивать только L и L Таким образом при Σ Σ мы получили линейную поверхность решения 53 Линейная поверхность решения с диагональной матрицей ковариации Рассмотрим случай когда матрица Σ диагональная с одинаковыми элементами: Σ σ σ Тогда L имеет вид: W L + Τ µ σ ; Τ W L L L где W µ µ n P P + µ µ µ µ σ µ µ В данном случае под нормой понимается евклидова норма Поверхностью решения является гиперплоскость проходящая через точку Если P P то это середина вектора µ µ Тк L то Τ Τ W µ µ Следовательно поверхность решения ортогональна µ µ Пример Рассмотрим пример разделяющей поверхности решения для двухклассовой задачи с нормальным распределением Поверхность решения лежит ближе к µ если

17 7 P < P Соответственно поверхность решения лежит ближе к µ если P > P Также если σ мало по отношению к µ µ то положение поверхности решения не очень чувствительно к изменению P и P Последнее справедливо тк вектора лежат в малых окрестностях µ и µ поэтому изменение гиперплоскости их затрагивает не сильно В центре изображен случай малого а справа случай большого 54 Линейная поверхность решения с недиагональной матрицей ковариации В этом случае уравнение: Τ L L L W будет иметь несколько иные параметры: µ µ W Σ µ и µ + µ В данном случае под нормой понимается так называемая Σ Τ Σ µ µ µ σ Σ Σ норма которая имеет вид: Для такой нормы поверхность решения не ортогональна вектору µ µ Но Σ µ она ортогональна его образу при преобразовании µ 55 Классификаторы по минимуму расстояния Будем рассматривать равновероятные классы с одинаковой матрицей ковариации Тогда Σ Σ Σ n Σ и выражение Τ L µ Σ µ + n P + C примет вид Τ L µ Σ µ тк логарифм и константа сократятся Классификатор по минимуму расстояния с диагональной матрицей ковариации Рассмотрим случай когда матрица Σ диагональная с одинаковыми элементами: σ Σ Тогда максимизация L влечет минимизацию евклидового расстояния σ определяемое выражением d µ В данном случае будет считаться что объект E относится к данному классу если он близок в смысле евклидового расстояния Классификатор по минимуму расстояния с недиагональной матрицей ковариации В этом случае максимизация L влечет минимизацию расстояния Махалонобиса Τ определяемого выражением d M µ Σ µ Тк матрица ковариации является симметрической ее можно представить в виде: Τ Σ Φ Λ Φ Τ где Φ Φ а Λ диагональная матрица с собственными значениями матрицы Σ на диагонали Матрица Φ имеет столбцы соответствующие собственным векторам матрицы Σ : Φ ν ν ν Таким образом получаем линию равноудаленных точек :

18 8 Τ Τ µ Φ Λ Φ µ C Τ Τ Пусть Φ Тогда координатами являются ν те проекции на собственные вектора Другими словами мы получили координаты в новой системе у которой оси определяются собственными векторами ν Тогда последнее уравнение преобразуется в уравнение эллипсоида в новой системе координат: / / / / / / µ µ µ C λ λ При центр эллипса находится в точке µ µ а главные оси лежат по λ µ собственным векторам и имеют длины λ C и λ C соответственно Пример Рассмотрим двумерный двухклассовый случай классификации двух нормально 3 распределенных векторов с ковариационной матрицей Σ и средними 3 9 Τ Τ значениями µ и µ 33 Найдем Σ : Σ Σ Классифицируем вектор Для этого посчитаем расстояние Махалонобиса: Τ d m µ µ Σ µ Τ µ µ Σ µ d m Таким образом хотя сама точка по евклидову расстоянию ближе к точке чем к точке 33 но по расстоянию Махалонобиса она ближе к 33 Теперь вычислим главные оси эллипса с центром в точке Для этого найдем собственные значения: λ 3 9 3λ + λ 9 λ 3λ λ λ λ Тогда собственные вектора и направление главных осей эллипса будут иметь вид: Τ 3 3 V V

19 9 3 Линейный классификатор Алгоритм персептрона 3 Линейная дискриминантная функция Рассмотрим задачу построения линейной разделяющей гиперповерхности Главным достоинством линейного классификатора является его простота и вычислительная эффективность Τ Рассмотрим линейную дискриминантную функцию: g W + W где W Τ W Τ W W весовой вектор W порог Поведение решения задается уравнением g Пусть X и X два конечных множества векторов признаков в евклидовом пространстве относящихся к классу и соответственно те X принадлежит классу при g > а X принадлежит классу при g < Задача состоит в том чтобы: установить разделимость этих множеств; найти разделяющую гиперплоскость Рассмотрим сначала в качестве примера двумерную задачу когда образы представляются точками на плоскости Определение Множество содержащее отрезок соединяющий две произвольные внутренние точки называется выпуклым Определение Выпуклая оболочка это минимальное выпуклое множество содержащее данное Утверждение 3 Два множества на плоскости линейно разделимы тогда и только тогда когда их выпуклые оболочки не пересекаются Из этого утверждения получаем следующее правило проверки разделимости множеств на плоскости: Построить выпуклые оболочки Проверить пересечение выпуклых оболочек Если они не пересекаются то множества разделимы Очевидно и правило по которому можно найти разделяющую прямую: Найти ближайшую пару точек в выпуклых оболочках обоих множеств Построить срединный перпендикуляр к отрезку соединяющему эти точки Этот перпендикуляр и будет разделяющей прямой Пусть размерность вектора признаков X и вектора коэффициентов W равна Рассмотрим «пополненные» вектора X W следующего вида: W Τ Τ W W пополненный весовой вектор Τ X Τ X пополненный вектор признаков Рассмотрим также в + -мерном пространстве однородную линейную функцию Τ Τ W X g W Очевидно следующее Утверждение 3 Множества X и X линейно разделимы в пространстве R Τ дискриминантной функцией g W + W тогда и только тогда когда они разделимы в

20 пополненном пространстве R + однородной дискриминантной функцией Τ Τ W X g W Далее будем рассматривать дискриминантные функции и вектора в пополненном пространстве Определение Множество X X называется симметричным множеством к множеству X Утверждение 33 Два замкнутых множества X и X разделимы тогда и только тогда когда выпуклая оболочка множества X U X не содержит начала координат Доказательство Пусть множества X и X разделимы Тогда существует линейная функция g такая что g > при X и g < при X Рассмотрим множество X X U X тогда g > при X Следовательно g > для выпуклой линейной комбинации из X а это означает что O convx тк X замкнутое Здесь O обозначает начало координат Пусть O convx и пусть ~ ближайшая к началу координат O точка из convx Плоскость W с направляющим вектором W ~ не пересекает convx а значит W > на X Следовательно W < на X ч т д 3 Алгоритм персептрона 3 Математическая модель нейрона В алгоритме персептрона в основу положен принцип действия нейрона Обобщенная схема нейрона представлена на рисунке Здесь компоненты вектора признаков ; Σ сумматор; W W W синоптические веса; f функция активации; W порог Выходом сумматора является величина знака суммы W + W : W которая является входом аргументом функции активации Значение функции активации вычисляется на основе определения при v < f v при v > Таким образом нейрон представляет собой линейный классификатор с дискриминантная функцией g W + W Тогда задача построения линейного классификатора для заданного множества прецедентов сводится к задаче обучения нейрона те подбора соответствующих весов W W W и порога W Обучение состоит в коррекции синоптических весов и порога

21 3 Алгоритм персептрона Алгоритм персептрона представляет собой последовательную итерационную процедуру Каждый шаг состоит в предъявлении нейрону очередного вектора-прецедента и коррекции весов W по результатам классификации При этом прецеденты предъявляются циклически те после предъявления последнего снова предъявляется первый Процесс обучения заканчивается когда нейрон правильно классифицирует все прецеденты Обозначим W t весовой вектор после t-й итерации а t прецедент предъявляемый на t-й итерации Основной шаг алгоритма состоит в предъявлении прецедента очередного прецедента t+ : Если t+ и W > t t + то W t + Wt ; Если t+ и W t t+ то W t+ Wt + t + ; Если t + и W < t t+ то W t + Wt ; Если t + и W t t+ то W t+ Wt + t + На данном рисунке g t дискриминантная функция после t-го шага алгоритма; вектор после t-го шага алгоритма W t весовой 33 Сходимость алгоритма персептрона Основной вопрос связанный с алгоритмом персептрона связан с его сходимостью Конечен ли построенный итерационный процесс обучения? Теорема Новикова Пусть { } бесконечная последовательность векторов из двух непересекающихся замкнутых множеств X и X ; и пусть существует гиперплоскость проходящая через начало координат и разделяющая X и X не имеет с ними общих точек Тогда при использовании алгоритма персептрона число коррекций весового вектора конечно * Доказательство Пусть W - направляющий вектор разделяющей гиперплоскости которая существует по условию Не нарушая общности будем считать что он является единичным Пусть X conv X X X в симметричное к U X множество; ρ ρ X где ρ евклидово расстояние Согласно утверждению 33 * W X ρ > X * Оценим W W t * Пусть W еденичный вектор нормали разделяющий X и X W * X ρ при X W * X ρ при X Пусть W весовой вектор после предъявления вектора t ; W начальная итерация весового t вектора * W Тогда если W > t t + W t t+ то коррекция: W t+ Wt + t + то коррекции не происходит Иначе если

22 W + Wt + t + Wt + t+ Wt D тк W t + Таким образом к моменту t происходит коррекций то то W t D тк * В начальный момент времени W Если коррекция не происходит то W t+ t и t + sup D X W Если в момент + произошла коррекция * * * * Wt + W W W + t + W Wt W + ρ * * W W W W t + t Если к моменту t произошло коррекций то * W t W ρ С другой стороны * * W W W W W Поэтому Из неравенств и следует: t t t W t ρ ρ W D t ρ D D Таким образом число коррекций не превосходит ρ 34 Оптимизационная интерпретация Рассмотрим непрерывную кусочно-линейную функцию J W : D ρ ч т д X J W δ W где δ ; Y X Y множество векторов неправильно классифицированных гиперплоскостью W Тогда J W и J W Y Задача состоит в минимизации этой функции: J W δ W mn Y Построим минимизацию по схеме градиентного спуска: dj W Wt + Wt ρt dw dj W Тк δ то Wt + Wt ρt δ dw Y Y Таким образом алгоритм персептрона представляет собой вариант алгоритма градиентного спуска Выбор последовательности величин ρ для обычно осуществляется так чтобы: t t ρ > и ρ < t t t

23 3 35 Схема Кеслера Идея построения линейного классификатора естественно обобщается на случай классификации с числом классов больше двух Рассмотрим задачу классификации по M классам Для каждого класса необходимо определить линейную дискримринантную функцию W M Пусть + -мерный вектор в расширенном пространстве Вектор относится к классу если W > W Схема Кеслера позволяет применить алгоритм персептрона для решения этой задачи Для каждого вектора-прецедента из строим M векторов размерности + M : 3 3 M M Τ и вектор W W W WM где W весовой вектор -ой дискриминантной функции Пусть тогда вектор можно записать в виде: M + + M Если относится к классу то W > M тк W > W и W W W > Таким образом задача заключается в построении линейного классификатора в + M - мерном пространстве так чтобы каждый из M векторов-прецедентов лежал в положительном полупространстве Если вектора в исходной задаче разделимы то это можно сделать с помощью алгоритма персептрона M Τ

24 4 4 Оптимальная разделяющая гиперплоскость 4 Существование и единственность Пусть X и X - конечные множества точек в евклидовом пространстве R Определение X и X разделимы гиперплоскостью если существует единичный ϕ > при X ϕ < c при X с ϕ mn ϕ с ϕ ma ϕ вектор ϕ и число с что c Обозначим X X Тогда ϕ > c ϕ при X ϕ < c ϕ при X Если c ϕ c ϕ то гиперплоскость c ϕ + c ϕ ϕ 4 разделяет X и X В силу непрерывности c ϕ и ϕ c существует множество разделяющих гиперплоскостей если существует 4 Определение Оптимальной называется разделяющая гиперплоскость 4 соответствующая вектору ϕ при котором достигается максимум ϕ Π Теорема Если два множества X и X разделимы гиперплоскостью то оптимальная разделяющая гиперплоскость существует и единственна Π ϕ непрерывна на сфере ϕ Значит ma Π ϕ Доказательство Функция ϕ существует и достигается при некотором значении ϕ достигается внутри сферы те ϕ < Тогда для ϕ получаем ϕ Π ϕ c ϕ c ϕ ϕ ma ϕ mn X X ϕ > Π Π ϕ ϕ что противоречит предположению о том что максимум достигается на границе сферы те ϕ Докажем единственность максимума Предположим что это не так и существуют различные ϕ и ϕ такие что Π ϕ Π ϕ Π ma ϕ αϕ + βϕ + β α > β > значение совпадающее ни с ϕ ни с ϕ ϕ - точка максимума Π ϕ Рассмотрим α не mn + βϕ X [ α ϕ + β ϕ ] ϕ + β mn ϕ с ϕ αϕ mn X α mn X X ϕ Предположим что он Следовательно

25 α ϕ + β с Аналогично с α с ϕ + β с ϕ Тогда ϕ с ϕ c ϕ ϕ Π ϕ c α с ϕ + β с ϕ α с ϕ + β с ϕ α Π ϕ + β Π ϕ α Π ma + β Π ma Π и ϕ - тоже значение на котором достигается максимум ma ϕ ϕ + β ϕ < ϕ αϕ + βϕ α ϕ + αβ тк ϕ ϕ и ϕ < ϕ при α + β α > β > Но ϕ лежит внутри сферы ϕ и поэтому не может быть точкой максимума Следовательно предположение о существовании двух максимумов неверно и максимум единственный чтд Таким образом если максимум функции ϕ c ϕ + c ϕ гиперплоскость ϕ опт 5 Π достигается при значении ϕ ϕопт то опт опт максимально удалена от X и X и разделяет их 4 Построение оптимальной разделяющей гиперплоскости Теорема Если два множества X и X разделимы гиперплоскостью ConvX и Conv X выпуклые оболочки этих множеств а ConvX и ConvX ближайших точек в выпуклых оболочках то ma Π ϕ где ϕ обозначает евклидово расстояние между точками Доказательство Положим ma следует что ϕ ϕ с ϕ ϕ Π X и пара ϕ Из условий с ϕ mn ϕ с ϕ ϕ с и следовательно ϕ c ϕ c ϕ ϕ ϕ ϕ 4 ma Π ϕ и для доказательства теоремы нужно показать что Следовательно ϕ справедливо неравенство Тогда Пусть точки Π y X и X ϕ 43 y такие что с ϕ ϕ и ϕ ϕ y Π ϕ c ϕ c ϕ y y ϕ + y y ϕ ϕ + y ϕ y ϕ + y ϕ y ϕ Теперь покажем что y ϕ а y ϕ с y или что то же самое: X

26 6 y Пусть z λ y + λ < λ < точка в оболочке X те z ConvX Тогда имеем Поскольку точки получаем что z y 44 R Очевидно что она лежит в выпуклой λ y + λ λ y + y + λ y + λ 45 и z Тогда из 45 следует что ближайшие в выпуклых оболочках X λ y + λ y Conv и Conv X или + y λ y λ > что возможно лишь при y Таким образом первое из неравенств 44 доказано Второе неравенство 44 доказывается аналогично Тем самым доказано неравенство 43 а из него 4 и утверждение теоремы чтд Оптимальная разделяющая гиперплоскость ортогональна отрезку соединяющему ближайшие точки выпуклых оболочек множеств X и X и проходит через середину этого отрезка Задача поиска пары ближайших точек сводится к задаче квадратичного программирования следующим образом X Каждая точка y лежащая в выпуклой оболочке Conv X представима в виде y α α α Аналогично точка y Conv X представима в виде X X y β β β Нужно найти пару точек y и y обеспечивающих минимум выражения: при условиях: X y y α β α β X X X X X X α α 47 β β 48 Задача математического программирования имеет два ограничения и квадратичную целевую функцию 46

27 7 43 Алгоритм Гаусса-Зейделя Задача состоит в нахождении наименьшего расстояния между множествами X и X В качестве начальных значений берем произвольную пару и Другими словами в начальный момент t z t X и X Необходимо найти точку z t+ ближайшую к t z z на отрезке [ t t ] Напишем условие ортогональности векторов t+ z t и zt : z t+ zt zt Тк zt+ λzt + λ + λ zt то z t + zt zt + λ zt zt zt λ z z + z z zt zt Следовательно λ z z t t t t t Если λ то z t+ Если λ то z t zt Если < z λz + λ < λ то t + t t + 3 Далее необходимо найти точку z t+ ближайшую к z Обозначаем z на отрезке [ ] t t t z t z + Данную процедуру необходимо повторять пока не найдутся две ближайшие точки множеств X и X z Обозначаем z t zt +

28 8 5 Нелинейный классификатор Многослойный персептрон 5 Задача исключающего ИЛИ Рассмотрим булеву функцию o как некий классификатор Вектор признаков имеет вид В данном случае имеется четыре прецедента и два класса Напомним таблицу значений функции Класс прецедента 3 4 Как видно из рисунка тут нельзя построить разделяющую прямую поскольку выпуклые оболочки точек относящихся к первому классу и ко второму классу пересекаются Следовательно и линейный классификатор построить нельзя Попытаемся построить необходимый нелинейный классификатор как суперпозицию несколько линейных Рассмотрим две вспомогательные булевы функции таблицы значений этих функций: прецедента 3 4 Построение линейного классификатора функции o Очевидно что разделяющей прямой является линия: + Соответствующий персептрон имеет вид: Построение линейного классификатора функции and Здесь также можно построить разделяющую прямую: 3 + Соответствующий персептрон имеет вид:

29 9 Построение нелинейного классификатора функции o Пусть на выходе персептрона для функции y а на выходе персептрона для функции y Посмотрим какие значения принимает вектор Исходные вектора OR AD XOR y y Класс Обозначив классы как показано в таблице получаем разделяющую прямую изображенную на рисунке и соответствующий линейный классификатор: y y Учитывая вышеизложенное получаем нелинейный классификатор который задается через два линейных классификатора как показано на рисунке слева: 3 + и + Соответствующий двухслойный персептрон изображен на рисунке справа 5 Классификационные способности двухслойного персептрона Рассмотрим общий случай двухслойного персептрона Пусть R и в скрытом слое p нейронов Скрытый слой нейронов отображает H p R в p H p R где p { y y y R y [] p} p гиперкуб Другими словами каждый нейрон задает гиперплоскость которая разделяет пространство пополам те скрытый слой нейронов делит пространство R на полиэдры Все вектора из каждого полиэдра отображаются в вершину p -мерного

30 3 единичного куба Выходной нейрон разделяет вектора в классах описанных полиэдрами те производит сечение гиперкуба полученного в скрытом слое Пример Рассмотрим нейронную сеть с двумя входами и тремя нейронами 3 Тогда пространство R R Пусть первый слой нейронов задает разбиение признакового пространства плоскости как показано на рисунке В каждом многоугольнике возможно бесконечном все точки соответствуют одному классу A или B При этом в каждом многоугольнике знаки линейных функционалов g g g 3 остаются постоянными Следовательно с каждым многоугольником связано определенное значение вектора выходов нейронов первого слоя причем для разных многоугольников эти значения различны Поскольку значениями компонент этого вектора являются либо получаем что каждому 3 3 многоугольнику соответствует некоторая вершина единичного куба H в пространстве R При этом каждой вершине куба сопоставлен один класс A или B На рисунке изображен 3 единичный куб H у которого закрашенные вершины относятся к классу A а не закрашенные к классу B Задача нейрона второго слоя состоит в разделении вершин этого куба Нетрудно видеть что в нашем примере плоскость y + y y3 является 3 разделяющей для куба H Она и задает параметры нейрона второго слоя Заметим что вершина в кубе не загружена те в нее не отображается ни один многоугольник 53 Трехслойный персептрон Внешний выходной нейрон реализует лишь одну гиперплоскость Очевидно что одна разделяющая гиперплоскость не всегда может обеспечить желаемое разделение вершин гиперкуба Например если два конца одной его главной диагонали относятся к классу A а два конца другой диагонали к классу B С аналогичной ситуацией мы уже сталкивались в задаче исключающего или Попробуем ввести еще один слой нейронов

31 3 Утверждение Трехслойная нейронная сеть позволяет описать любые разделения объединений полиэдров Доказательство Рассмотрим первый слой из p нейронов На первом формируются гиперплоскости тк строится полиэдральное разбиение пространства гиперплоскостями Очевидно что для заданного конечного множества прецедентов всегда можно построить разбиение пространства признаков на полиэдры такое что ни в каком полиэдре не окажется пары точек из разных классов Как было показано выше первый слой отображает полиэдры в вершины p-мерного единичного гиперкуба Поскольку с каждым полиэдром связаны образы одного класса то и с каждой вершиной гиперкуба связан лишь один класс Каждый нейрон второго слоя описывает сечение полученного гиперкуба Выберем в качестве таких сечений гиперплоскости отсекающие ровно одну вершину гиперкуба Поскольку число вершин в гиперкубе равно p число нейронов второго слоя также равно p Таким образом выход нейронов второго слоя имеет следующий вид Это вектор размерности p у которого всегда лишь одно значение равно а остальные равны нулю Назовем нейроны второго слоя нейронами класса A или B в соответствии с классом вершины гиперкуба которую отсекает этот нейрон Теперь становится понятно каким образом строить третий слой нейронной сети Нужно в выходном нейроне третьего слоя реализовать оператор логического сложения выходов нейронов второго слоя относящихся к классу A Таким образом разделяющая гиперплоскость выходного нейрона задается уравнением: с z + с z + + с z л л где если нейрон относится к классу A p а с в противном случае Таким образом можно построить трехслойный персептрон следующим образом Нейроны первого слоя разделяют пространство признаков на полиэдры одного класса и отображают их в вершины гиперкуба Нейроны второго слоя отсекают вершины гиперкуба Нейрон третьего слоя собственно осуществляет классификацию через оператор логического сложения Тем самым утверждение доказано чтд Рассмотрим как строится уравнение гиперплоскости отсекающей вершину p -мерного единичного гиперкуба Диагональ куба имеет длину p Длины диагоналей p -мерных единичных гиперкубов являющихся боковыми гранями p -мерного куба равны p Центр куба находится в точке Расстояние от центра куба до любой вершины p равно Плоскость проводим перпендикулярно главной диагонали куба инцидентной вершине которую надо отсечь так чтобы расстояние от этой вершины до секущей

32 3 p p плоскости было равно причем данная точка должна находиться на диагонали куба проведенной к отсекаемой вершине Пусть V отделяемая вершина V диагонально противоположная вершина V E V где E обозначает p -мерный вектор состоящий из единиц Следовательно W V V направляющий вектор разделяющей гиперплоскости Тогда гиперплоскость проходит через точку: Обозначим: Тогда γ U V + V V p + p p + p + p p V γ U V + V z U W > и уравнение гиперплоскости запишется в виде: 54 Построение нейронной сети Существует два подхода к задаче построения нейронной сети-классификатора Первый подход заключается в построении сети варьируя архитектуру Данный метод основан на точной классификации прецедентов Второй подход состоит в подборке параметров весов и порогов для сети с заданной архитектурой 54 Алгоритм основанные на точной классификации множества прецедентов Опишем общую идею метода За основу берется один нейрон Далее наращиваем нейрон пока не получим правильную классификацию всех прецедентов p Рассмотрим более подробно алгоритм Начинаем с одного нейрона n X + называемого мастером После его тренировки получаем разделение множества X на X и + + X Если X содержит вектора из двух классов то вводим новый узел n X называемый последователем Таким образом на первом слое нейронов находится один мастер и несколько последователей Никакие вектора из разных классов не имеют одинакового выхода из первого слоя X y : y f X { }

33 33 где f отображение задаваемое первым слоем Аналогичным образом строим второй слой третий слой и тд Утверждение При правильном выборе весов каждый очередной слой правильно классифицирует все вектора которые правильно классифицировал мастер и еще хотя бы один вектор Таким образом получаем архитектуру имеющую конечное число слоев правильно классифицирующие все прецеденты 54 Алгоритм ближайших соседей Нейроны первого слоя это биссекторы разделяющие пары Второй слой нейроны and определяющие полиэдры Третий слой нейроны o определяющие классы Основным недостатком данного метода является слишком большое количество нейронов Уменьшить количество нейронов можно путем удаления внутренних ячеек: R : d < d { } 543 Алгоритм основанный на подборе весов для сети с заданной архитектурой Идея данного метода состоит в том чтобы ввести критерий в виде функции стоимости которую необходимо минимизировать Пусть L число слоев в сети; число нейронов в слое где L ; L число выходных нейронов; размер входа; входной вектор признаков; y y y y L а выходной вектор который должен быть правильно классифицирован Текущем состоянии сеть при обучении дает результат y ˆ не совпадающий с y Обозначим: где число прецедентов; J ε ε ошибка на -ом прецеденте; L L ε em ym yˆ m m m где J функция всех синоптических весов и порогов Таким образом целью обучения является решение оптимизационной задачи: J W mn где W множество синоптических весов

34 34 Пусть y выход -ого нейрона -ого слоя; ого нейрона в -ом слое те W W W W весовой вектор включая порог - W где а число нейронов в -ом слое Таким образом J разрывная функция M переменных где M L J разрывна тк разрывна функция активации f : > f < 544 Алгоритм обратной волны Суть аппроксимация J непрерывной дифференцируемой функцией за счет замены функции активации сигмовидной функцией: f a + e Вычислим производную функции: a f ae a af f a a a + e + e + e При данном чисто формальном приеме вектора признаков уже могут отображаться не только в вершины но и внутрь гиперкуба Необходимо решить задачу минимизации: J W mn Метод градиентного спуска решения задачи минимизации Пусть W { W ; ; L} Тогда метод градиентного спуска выглядит так: dj W µ dw где µ а шаг градиентного спуска Очевидно для его реализации необходимо уметь dj градиент dw Вычисление градиента Аргумент функции активации -ого нейрона -ого слоя V W y + W принимает различные значения в зависимости от индекса прецедента В данном случае y Во входном слое при y y ˆ y L Рассмотрим выходной слой L W y В выходном слое при L

35 35 W V V y V f e L m L m L m m m L m m m L L ε ε ε L L L L W V V W ε ε y W V L L не зависит от -ого номера нейрона в слое те имеем одинаковый вектор производных для всех нейронов -ого слоя V f e V f y V f V L L L L ε Следовательно для последнего слоя V f e y W L L ε Рассмотрим скрытый слой L < Имеется зависимость: V V V V V V V ε ε m m m y W V V V но V f y m m следовательно: V f W V y W V V V f W V V ε ε Сумма заключенная в квадратных скобках известна из предыдущего шага Описание алгоритма Начальное приближение Случайно выбираются веса небольших значений: W L Прямой проход Для каждого вектора прецедента вычисляются все V V f y L Вычисляется текущее значение ценовой функции W J : Цикл по по прецедентам: Вычислить: y y Цикл по L по слоям: Цикл по по нейронам в слое: y W V V f y

36 36 Конец цикла по Конец цикла по Конец цикла по L J W y y Обратный проход Для каждого значения и L вычисляется Затем последовательно необходимо вычислить ε V Цикл по по нейронам в слое: Вычислить: L e y y δ L e f V Цикл по L L по слоям: Цикл по по нейронам в слое: e δ δ e f Конец цикла по Конец цикла по Конец цикла по W V 3 Пересчет весов Для всех L и W ε µ y V ε L V для всех L и : W new W od + W где Останов алгоритма может происходить по двум критериям: либо J W стала меньше порога либо градиент стал очень мал От выбора µ зависит скорость сходимости Если µ мало то скорость сходимости также мала Если µ велико то и скорость сходимости высока но при такой скорости можно пропустить mn В силу много экстремальности существует возможность спустить в локальный минимум Если данный минимум по каким-то причинам не подходит надо начинать алгоритм с другой случайной точки Данный алгоритм быстрее чем алгоритм с обучением

37 37 6 Метод потенциальных функций Рассмотрим множество прецедентов Пусть каждый из них имеет поле притяжения Берем новый объект и смотрим каким классом притягивается Пусть L число классов Обозначим эти классы через K и K соответственно Рассмотрим обучающую последовательность + Без ограничения общности будем считать что K и + K Каждая точка образует в пространстве признаков X некоторое поле притяжения Например можно рассматривать каждую точку как единичный заряд Поле описывается потенциалом создаваемым системой зарядов во всем пространстве В пространстве задана потенциальная метрика: K y потенциальная функция y X такая что K y > при y ~ K y K + µ y K µ ~ ~ где K µ монотонно убывающая функция и K ее максимальное значение Пример Пусть d y расстояние в R Рассмотрим функцию K y K d y Пусть α параметр функции Рассмотрим два примера функций K y : α d y K y e рис слева K y рис справа + α d y Пусть X и X прецеденты первого и второго класса соответственно y пробный образ Тогда потенциалы создаваемые в пространстве точками из классов X и X будут иметь вид: K X y K y K y X K y X X соответственно Тогда правило классификации можно записать следующим образом: Если K X y > K y то пробный образ y относится к классу X иначе к классу X при X равенстве выдавать ответ «не знаю» отказ от распознавания Если рассмотреть дискриминантную функцию Φ K X K то задача сводится X к поиску этой функции по обучающей последовательности Рассмотрим вариант метода потенциальных функций называется «наивным» Он имеет следующие недостатки Если например в первом классе точек много больше чем в остальных то голоса первого класса подавят голоса других классов то есть потенциал o больше потенциала рис слева Но даже если множества соизмеримы могут возникнуть проблемы другого характера например погружение одних точек в другие рис справа Поэтому наивный метод подлежит усовершенствованию

Спектральные характеристики линейных функционалов и их приложения к анализу и синтезу стохастических систем управления

Спектральные характеристики линейных функционалов и их приложения к анализу и синтезу стохастических систем управления УДК 6-5 Спектральные характеристики линейных функционалов и их приложения к анализу и синтезу стохастических систем управления К.А. Рыбаков В статье вводится понятие спектральных характеристик линейных

Подробнее

Рис Вид функции Гаусса.

Рис Вид функции Гаусса. Лекция Радиальные нейронные сети Особое семейство составляют нейронные сети с радиальной активационной функцией Radal Base Futo, радиально меняющиеся вокруг некоторого центра, и принимающие отличные от

Подробнее

Лекция 4. Статистические методы распознавания, Распознавание при заданной точности для некоторых классов, ROC-анализ. Лектор Сенько Олег Валентинович

Лекция 4. Статистические методы распознавания, Распознавание при заданной точности для некоторых классов, ROC-анализ. Лектор Сенько Олег Валентинович Лекция 4 Статистические методы распознавания, Распознавание при заданной точности для некоторых классов, ROC-анализ Лектор Сенько Олег Валентинович Курс «Математические основы теории прогнозирования» 4-й

Подробнее

Лекция 10 ЧИСЛОВЫЕ ХАРАКТЕРИСТИКИ СИСТЕМЫ ДВУХ СЛУЧАЙНЫХ ВЕЛИЧИН.

Лекция 10 ЧИСЛОВЫЕ ХАРАКТЕРИСТИКИ СИСТЕМЫ ДВУХ СЛУЧАЙНЫХ ВЕЛИЧИН. Лекция ЧИСЛОВЫЕ ХАРАКТЕРИСТИКИ СИСТЕМЫ ДВУХ СЛУЧАЙНЫХ ВЕЛИЧИН -МЕРНЫЙ СЛУЧАЙНЫЙ ВЕКТОР ЦЕЛЬ ЛЕКЦИИ: определить числовые характеристики системы двух случайных величин: начальные и центральные моменты ковариацию

Подробнее

Лекция 9. Структура ошибки выпуклых комбинаций, комитетные методы, логическая коррекция. Лектор Сенько Олег Валентинович

Лекция 9. Структура ошибки выпуклых комбинаций, комитетные методы, логическая коррекция. Лектор Сенько Олег Валентинович Лекция 9 Структура ошибки выпуклых комбинаций, комитетные методы, логическая коррекция Лектор Сенько Олег Валентинович Курс «Математические основы теории прогнозирования» 4-й курс, III поток Сенько Олег

Подробнее

Конспект лекции «Уменьшение размерности описания данных: метод главных компонент» по курсу «Математические основы теории прогнозирования» 2011

Конспект лекции «Уменьшение размерности описания данных: метод главных компонент» по курсу «Математические основы теории прогнозирования» 2011 Конспект лекции «Уменьшение размерности описания данных: метод главных компонент» по курсу «Математические основы теории прогнозирования» 2 Проблема анализа многомерных данных При решении различных задач

Подробнее

Лекция 12 Задачи нелинейного и квадратичного программирования

Лекция 12 Задачи нелинейного и квадратичного программирования Лекция Задачи нелинейного и квадратичного программирования Нелинейное программирование (НЛП). НЛП это такая задача математического программирования, F когда-либо целевая функция, либо ограничения, либо

Подробнее

1. Найти прямую l, с наименьшей суммой расстояний до этих точек, т.е. такую, что

1. Найти прямую l, с наименьшей суммой расстояний до этих точек, т.е. такую, что Математика. О некоторых экстремальных прямых Ипатова Виктория физико-математический класс ГБОУ «Химический лицей» город Москва Научный руководитель: Привалов Александр Андреевич МПГУ доцент к.ф.-м.н. Пусть

Подробнее

Нейронные сети. Краткий курс.

Нейронные сети. Краткий курс. Нейронные сети. Краткий курс. Лекция 4 Сети на основе радиальных базисных функций Многослойный персептрон, рассмотренный в предыдущих лекциях выполняет аппроксимацию стохастической функции нескольких переменных

Подробнее

Б а й е с о в с к а я к л а с с и ф и к а ц и я

Б а й е с о в с к а я к л а с с и ф и к а ц и я МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РФ ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ «САМАРСКИЙ ГОСУДАРСТВЕННЫЙ АЭРОКОСМИЧЕСКИЙ УНИВЕРСИТЕТ имени академика С.П.КОРОЛЕВА

Подробнее

Нейронные сети. Краткий курс

Нейронные сети. Краткий курс Нейронные сети. Краткий курс Лекция 2 Алгоритм обратного распространения ошибок Многослойные персептроны применяются для решения разнообразного круга задач. Обучение такой нейронной сети часто выполняется

Подробнее

К. В. Григорьева. Методические указания Тема 3. Методы решения задачи минимизации квадратичной функции. Факультет ПМ-ПУ СПбГУ 2007 г.

К. В. Григорьева. Методические указания Тема 3. Методы решения задачи минимизации квадратичной функции. Факультет ПМ-ПУ СПбГУ 2007 г. К. В. Григорьева Методические указания Тема. Методы решения задачи минимизации квадратичной функции Факультет ПМ-ПУ СПбГУ 7 г. ОГЛАВЛЕНИЕ. ПОСТАНОВКА ЗАДАЧИ. ВСПОМОГАТЕЛЬНЫЕ СВЕДЕНИЯ.... МЕТОДЫ СПУСКА

Подробнее

Постановка и возможные пути решения задачи обучения нейронных сетей

Постановка и возможные пути решения задачи обучения нейронных сетей Лекция 5 Постановка и возможные пути решения задачи обучения нейронных сетей Частичная задача обучения Пусть у нас есть некоторая нейросеть N. В процессе функционирования эта нейронная сеть формирует выходной

Подробнее

Матричные вычисления и нормальное распределение

Матричные вычисления и нормальное распределение Курс: Байесовские методы машинного обучения, Дата: 9 октября Матричные вычисления и нормальное распределение Дивергенция Кульбака-Лейблера 5 p(x) (x) 5 p(x) (x) 5 5 5 5 5 5-5 5 KL( p) min -5 5 KL(p ) min

Подробнее

Семинары по EM-алгоритму

Семинары по EM-алгоритму Семинары по EM-алгоритму Евгений Соколов sokolov.evg@gmail.com 21 февраля 2014 г. 1 EM-алгоритм 1.1 Смеси распределений Говорят, что распределение p(x) является смесью распределений, если его плотность

Подробнее

Лекция 3. Производная по направлению

Лекция 3. Производная по направлению Лекция 3. Производная по направлению Производная по направлению имеет большое значение в теории математического программирования. Напомним, что производная по направлению согласно определению равна: f

Подробнее

ВЫБОР МИНИМАЛЬНОЙ КОНФИГУРАЦИИ НЕЙРОННЫХ СЕТЕЙ

ВЫБОР МИНИМАЛЬНОЙ КОНФИГУРАЦИИ НЕЙРОННЫХ СЕТЕЙ Вычислительные технологии Том 6, 1, 2001 ВЫБОР МИНИМАЛЬНОЙ КОНФИГУРАЦИИ НЕЙРОННЫХ СЕТЕЙ Н.А. Игнатьев Национальный университет Узбекистана, Ташкент e-mail: tin000@tashsu.silk.org A method for the selection

Подробнее

2. Решение нелинейных уравнений.

2. Решение нелинейных уравнений. Решение нелинейных уравнений Не всегда алгебраические или трансцендентные уравнения могут быть решены точно Понятие точности решения подразумевает: ) возможность написания «точной формулы», а точнее говоря

Подробнее

ОСНОВЫ СТАТИСТИЧЕСКОЙ ТЕОРИИ РАСПОЗНАВАНИЯ ОБРАЗОВ. ЛАБОРАТОРНЫЙ ПРАКТИКУМ

ОСНОВЫ СТАТИСТИЧЕСКОЙ ТЕОРИИ РАСПОЗНАВАНИЯ ОБРАЗОВ. ЛАБОРАТОРНЫЙ ПРАКТИКУМ ВВ МЯСНИКОВ ОСНОВЫ СТАТИСТИЧЕСКОЙ ТЕОРИИ РАСПОЗНАВАНИЯ ОБРАЗОВ ЛАБОРАТОРНЫЙ ПРАКТИКУМ 7 САМАРА ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО

Подробнее

Метод потенциальных функций в задаче обучения распознающей системы с предъявлением объектов одного класса

Метод потенциальных функций в задаче обучения распознающей системы с предъявлением объектов одного класса Метод потенциальных функций в задаче обучения распознающей системы с предъявлением объектов одного класса Б. М. Соколов Санкт-Петербургский государственный университет 1 В работе [1] была рассмотрена поставленная

Подробнее

МАТЕМАТИЧЕСКИЕ ОСНОВЫ ТЕОРИИ ПРОГНОЗИРОВАНИЯ. Лектор Сенько Олег Валентинович Лекция I

МАТЕМАТИЧЕСКИЕ ОСНОВЫ ТЕОРИИ ПРОГНОЗИРОВАНИЯ. Лектор Сенько Олег Валентинович Лекция I МАТЕМАТИЧЕСКИЕ ОСНОВЫ ТЕОРИИ ПРОГНОЗИРОВАНИЯ Лектор Сенько Олег Валентинович Лекция I Задачи диагностики и прогнозирования некоторой величины по доступным значениям переменных X,, 1 Xn часто возникают

Подробнее

4. ЧИСЛЕННЫЕ МЕТОДЫ ПОИСКА БЕЗУСЛОВНОГО ЭКСТРЕМУМА

4. ЧИСЛЕННЫЕ МЕТОДЫ ПОИСКА БЕЗУСЛОВНОГО ЭКСТРЕМУМА Лекция 3 4. ЧИСЛЕННЫЕ МЕТОДЫ ПОИСКА БЕЗУСЛОВНОГО ЭКСТРЕМУМА Принципы построения численных методов. Применение необходимых и достаточных условий безусловного экстремума эффективно для решения ограниченного

Подробнее

ЛЕКЦИЯ 11 МНОГОМЕРНАЯ ИНТЕРПОЛЯЦИЯ. ЗАДАЧА ОПТИМИЗАЦИИ

ЛЕКЦИЯ 11 МНОГОМЕРНАЯ ИНТЕРПОЛЯЦИЯ. ЗАДАЧА ОПТИМИЗАЦИИ ЛЕКЦИЯ 11 МНОГОМЕРНАЯ ИНТЕРПОЛЯЦИЯ ЗАДАЧА ОПТИМИЗАЦИИ На прошлой лекции были рассмотрены методы решения нелинейных уравнений Были рассмотрены двухточечные методы, которые используют локализацию корня,

Подробнее

А.П.Попов. Методы оптимальных решений. Пособие для студентов экономических специальностей вузов

А.П.Попов. Методы оптимальных решений. Пособие для студентов экономических специальностей вузов А.П.Попов Методы оптимальных решений Пособие для студентов экономических специальностей вузов Ростов-на-Дону 01 1 Введение В прикладной математике имеется несколько направления, нацеленных в первую очередь

Подробнее

1. Векторы Даны координаты векторов a, b, c, x в правом ортонормированном k. Показать, что векторы a, b,

1. Векторы Даны координаты векторов a, b, c, x в правом ортонормированном k. Показать, что векторы a, b, Векторы Даны координаты векторов a b c в правом ортонормированном базисе i j k Показать что векторы a b c тоже образуют базис и найти координаты вектора в базисе a b c ) ( ) a ( ) b ( ) c ( ) ) ( ) a (

Подробнее

Задачи по машинному обучению. составитель: Н. Ю. Золотых

Задачи по машинному обучению. составитель: Н. Ю. Золотых Задачи по машинному обучению составитель: Н Ю Золотых Нижний Новгород 03, 07 Содержание Метод наименьших квадратов Дискриминантный анализ 4 3 Машина опорных векторов 6 4 Наивный байесовский классификатор

Подробнее

Лекция3. 3. Метод Ньютона (касательных).

Лекция3. 3. Метод Ньютона (касательных). Лекция3. 3. Метод Ньютона (касательных. Зададим некоторое начальное приближение [,b] и линеаризуем функцию f( в окрестности с помощью отрезка ряда Тейлора f( = f( + f '( ( -. (5 Вместо уравнения ( решим

Подробнее

Оценивание сходства пользователей и ресурсов путем выявления скрытых тематических профилей.

Оценивание сходства пользователей и ресурсов путем выявления скрытых тематических профилей. Анализ Клиентских Сред Оценивание сходства пользователей и ресурсов путем выявления скрытых тематических профилей Постановка задачи Исходными данными являются протоколы действий пользователей Каждая запись

Подробнее

Л и н е й н ы е к л а с с и ф и к а т о р ы

Л и н е й н ы е к л а с с и ф и к а т о р ы МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РФ ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ «САМАРСКИЙ ГОСУДАРСТВЕННЫЙ АЭРОКОСМИЧЕСКИЙ УНИВЕРСИТЕТ имени академика С.П.КОРОЛЕВА

Подробнее

I курс, задача 1. Докажите, что функция Римана. 1, если x 0, 1 R( x), если x, m, n, m 0, и дробь несократима, 0, если x иррационально,

I курс, задача 1. Докажите, что функция Римана. 1, если x 0, 1 R( x), если x, m, n, m 0, и дробь несократима, 0, если x иррационально, I курс, задача. Докажите, что функция Римана, если 0, m m R( ), если, m,, m 0, и дробь несократима, 0, если иррационально, разрывна в каждой рациональной точке и непрерывна в каждой иррациональной. Решение.

Подробнее

Кластеризация и алгоритм EM

Кластеризация и алгоритм EM Академический Университет, 2012 Outline Иерархическая кластеризация методами теории графов 1 Иерархическая кластеризация методами теории графов 2 Суть лекции Иерархическая кластеризация методами теории

Подробнее

Учреждение образования МАТЕМАТИЧЕСКИЕ МЕТОДЫ ДИАГНОСТИКИ В МЕДИЦИНСКИХ ИНТЕЛЛЕКТУАЛЬНЫХ СИСТЕМАХ

Учреждение образования МАТЕМАТИЧЕСКИЕ МЕТОДЫ ДИАГНОСТИКИ В МЕДИЦИНСКИХ ИНТЕЛЛЕКТУАЛЬНЫХ СИСТЕМАХ Министерство образования Республики Беларусь Учреждение образования БЕЛОРУССКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ИНФОРМАТИКИ И РАДИОЭЛЕКТРОНИКИ Кафедра интеллектуальных информационных технологий М. Д. СТЕПАНОВА,

Подробнее

ЛАБОРАТОРНАЯ РАБОТА 2 МНОГОСЛОЙНЫЕ СИГМОИДАЛЬНЫЕ СЕТИ

ЛАБОРАТОРНАЯ РАБОТА 2 МНОГОСЛОЙНЫЕ СИГМОИДАЛЬНЫЕ СЕТИ ЛАБОРАТОРНАЯ РАБОТА МНОГОСЛОЙНЫЕ СИГМОИДАЛЬНЫЕ СЕТИ Многослойный персептрон В многослойном персептроне нейроны расположены в несколько слоев Нейроны первого слоя получают входные сигналы преобразуют их

Подробнее

ТЕМА 2. ДИФФЕРЕНЦИАЛЬНОЕ ИСЧИСЛЕНИЕ ФУНКЦИЙ ДВУХ И ТРЕХ ПЕРЕМЕННЫХ

ТЕМА 2. ДИФФЕРЕНЦИАЛЬНОЕ ИСЧИСЛЕНИЕ ФУНКЦИЙ ДВУХ И ТРЕХ ПЕРЕМЕННЫХ МЕТОДИЧЕСКИЕ УКАЗАНИЯ К РАСЧЕТНЫМ ЗАДАНИЯМ ПОКУРСУ ВЫСШЕЙ МАТЕМАТИКИ «ИНТЕГРАЛЬНОЕ ИСЧИСЛЕНИЕ ФУНКЦИИ ОДНОГО ПЕРЕМЕННОГО ДИФФЕРЕНЦИАЛЬНОЕ ИСЧИСЛЕНИЕ ФУНКЦИЙ ДВУХ И ТРЕХ ПЕРЕМЕННЫХ» ЧАСТЬ II ТЕМА ДИФФЕРЕНЦИАЛЬНОЕ

Подробнее

Вергазова Ольга Бухтияровна

Вергазова Ольга Бухтияровна УДК по дисциплине «Методы оптимизации» (160403) (519.677 Решения задач математического анализа и прикладных задач) для специальности 1604030065. Рецензенты: Фурсов Андрей Серафимович - кандидат физикоматематических

Подробнее

Тема 4. ЧИСЛЕННОЕ РЕШЕНИЕ НЕЛИНЕЙНЫХ УРАВНЕНИЙ

Тема 4. ЧИСЛЕННОЕ РЕШЕНИЕ НЕЛИНЕЙНЫХ УРАВНЕНИЙ Тема 4. ЧИСЛЕННОЕ РЕШЕНИЕ НЕЛИНЕЙНЫХ УРАВНЕНИЙ -1- Тема 4. ЧИСЛЕННОЕ РЕШЕНИЕ НЕЛИНЕЙНЫХ УРАВНЕНИЙ 4.0. Постановка задачи Задача нахождения корней нелинейного уравнения вида y=f() часто встречается в научных

Подробнее

Линейная регрессия: метод наименьших квадратов

Линейная регрессия: метод наименьших квадратов Линейная регрессия: метод наименьших квадратов Академический Университет, 2012 Outline Наименьшие квадраты и ближайшие соседи Метод наименьших квадратов Метод ближайших соседей 1 Наименьшие квадраты и

Подробнее

Д. П. Ветров 1. Курс «Графические модели» ЕМ-алгоритм. Обучение скрытых. марковских моделей без учителя. Ветров. ЕМ-алгоритм в общем виде

Д. П. Ветров 1. Курс «Графические модели» ЕМ-алгоритм. Обучение скрытых. марковских моделей без учителя. Ветров. ЕМ-алгоритм в общем виде Д. П. 1 1 МГУ, ВМиК, каф. ММП Курс «Графические модели» План лекции 1 2 3 4 5 6 EM-алгоритм. Разложение логарифма Требуется найти максимум в вероятностной модели со скрытыми переменными: p(x Θ) = p(x,

Подробнее

ТЕОРИЯ ВЕРОЯТНОСТЕЙ: СИСТЕМЫ СЛУЧАЙНЫХ ВЕЛИЧИН И ФУНКЦИИ СЛУЧАЙНЫХ ВЕЛИЧИН

ТЕОРИЯ ВЕРОЯТНОСТЕЙ: СИСТЕМЫ СЛУЧАЙНЫХ ВЕЛИЧИН И ФУНКЦИИ СЛУЧАЙНЫХ ВЕЛИЧИН Т А Матвеева В Б Светличная С А Зотова ТЕОРИЯ ВЕРОЯТНОСТЕЙ: СИСТЕМЫ СЛУЧАЙНЫХ ВЕЛИЧИН И ФУНКЦИИ СЛУЧАЙНЫХ ВЕЛИЧИН ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ ВОЛГОГРАДСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ

Подробнее

Лекция 11. Оптимальное управление

Лекция 11. Оптимальное управление Лекция 11. Оптимальное управление 11.1 Постановка задачи Задана динамическая система с управлением, описываемая системой дифференциальных уравнений в форме Коши { ẋi = f i (x, u(t)), (11.1) (i = 1,...,

Подробнее

Алгоритмы обучения нейронных сетей [M.165]

Алгоритмы обучения нейронных сетей [M.165] Алгоритмы обучения нейронных сетей [M.165] Обучение нейронных сетей как задача оптимизации Процесс обучения нейронной сети заключается в подстройке весов ее нейронов. Целью обучения является поиск состояния

Подробнее

ОГЛАВЛЕНИЕ 3 А. ОСНОВЫ АЛГЕБРЫ ВЕКТОРОВ И МАТРИЦ...5

ОГЛАВЛЕНИЕ 3 А. ОСНОВЫ АЛГЕБРЫ ВЕКТОРОВ И МАТРИЦ...5 ОГЛАВЛЕНИЕ Предисловие...3 А. ОСНОВЫ АЛГЕБРЫ ВЕКТОРОВ И МАТРИЦ...5 1. Решение систем линейных уравнений...5 1.1. Линейные уравнения...5 1.2. Системы линейных уравнений...7 1.3. Разрешенные системы линейных

Подробнее

Методы Монте Карло по схеме марковской цепи (Markov Chain Monte Carlo, MCMC)

Методы Монте Карло по схеме марковской цепи (Markov Chain Monte Carlo, MCMC) Методы Монте Карло по схеме марковской цепи (Markov Chain Monte Carlo, MCMC) Идея MCMC Рассмотрим вероятностное распределение p(t ). Методы Монте Карло (методы статистических испытаний) предполагают генерацию

Подробнее

ОСНОВЫ ТЕОРИИ ОЦЕНИВАНИЯ И ФИЛЬТРАЦИИ ПАРАМЕТРОВ СИГНАЛОВ

ОСНОВЫ ТЕОРИИ ОЦЕНИВАНИЯ И ФИЛЬТРАЦИИ ПАРАМЕТРОВ СИГНАЛОВ ЛЕКЦИЯ 1. Постановка задачи оценивания параметров сигналов. Байесовские оценки случайных параметров сигналов при различных функциях потерь. ОСНОВЫ ТЕОРИИ ОЦЕНИВАНИЯ И ФИЛЬТРАЦИИ ПАРАМЕТРОВ СИГНАЛОВ 3.1.

Подробнее

Дискриминантные функции Перцептрон. Классификаторы. Сергей Николенко. Академический Университет, 2012

Дискриминантные функции Перцептрон. Классификаторы. Сергей Николенко. Академический Университет, 2012 Академический Университет, 2012 Outline Дискриминантные функции 1 Дискриминантные функции 2 Доказательство сходимости Задача классификации Теперь классификация: определить вектор x в один из K классов

Подробнее

Учебная дисциплина Б Математика Профиль подготовки: Производственный менеджмент

Учебная дисциплина Б Математика Профиль подготовки: Производственный менеджмент ОЦЕНОЧНЫЕ СРЕДСТВА ДЛЯ ТЕКУЩЕГО КОНТРОЛЯ УСПЕВАЕМОСТИ, ПРОМЕЖУТОЧНОЙ АТТЕСТАЦИИ ПО ИТОГАМ ОСВОЕНИЯ ДИСЦИПЛИНЫ Учебная дисциплина Б.2.1 - Математика Профиль подготовки: Производственный менеджмент Тематика

Подробнее

СИСТЕМЫ ЛИНЕЙНЫХ УРАВНЕНИЙ

СИСТЕМЫ ЛИНЕЙНЫХ УРАВНЕНИЙ СИСТЕМЫ ЛИНЕЙНЫХ УРАВНЕНИЙ После изучения данной темы вы сможете: проводить численное решение задач линейной алгебры. К решению систем линейных уравнений сводятся многочисленные практические задачи, решение

Подробнее

ЛИНЕЙНАЯ АЛГЕБРА ВМЕСТЕ С MAPLE

ЛИНЕЙНАЯ АЛГЕБРА ВМЕСТЕ С MAPLE ЛИНЕЙНАЯ АЛГЕБРА ВМЕСТЕ С MAPLE Усов В.В. 1 Скалярное произведение в арифметическом пространстве 1.1 Определение. Основные свойства Скалярное произведение (X, Y ) векторов X = (x 1, x 2,..., x n ), Y =

Подробнее

10 Экономическая кибернетика Коэффициент корреляции. , xy y i x i выборочные средние,

10 Экономическая кибернетика Коэффициент корреляции. , xy y i x i выборочные средние, Лекция 0.3. Коэффициент корреляции В эконометрическом исследовании вопрос о наличии или отсутствии зависимости между анализируемыми переменными решается с помощью методов корреляционного анализа. Только

Подробнее

ИСПОЛЬЗОВАНИЕ КОМИТЕТОВ В ЗАДАЧАХ РАСПОЗНАВАНИЯ ОБРАЗОВ С НЕТОЧНЫМИ ЭКСПЕРТНЫМИ ОЦЕНКАМИ

ИСПОЛЬЗОВАНИЕ КОМИТЕТОВ В ЗАДАЧАХ РАСПОЗНАВАНИЯ ОБРАЗОВ С НЕТОЧНЫМИ ЭКСПЕРТНЫМИ ОЦЕНКАМИ Известия Челябинского научного центра вып. 2 () 200 ИНФОРМАТИКА И ИНФОРМАЦИОННЫЕ СИСТЕМЫ УДК 59.7 ИСПОЛЬЗОВАНИЕ КОМИТЕТОВ В ЗАДАЧАХ РАСПОЗНАВАНИЯ ОБРАЗОВ С НЕТОЧНЫМИ ЭКСПЕРТНЫМИ ОЦЕНКАМИ Б.М. Кувшинов

Подробнее

Д. П. Ветров 1. Курс «Графические модели», 2012г. Лекция 3. Скрытые марковские модели. Ветров. Ликбез. Основы применения СММ.

Д. П. Ветров 1. Курс «Графические модели», 2012г. Лекция 3. Скрытые марковские модели. Ветров. Ликбез. Основы применения СММ. Д. П. 1 1 МГУ, ВМиК, каф. ММП Курс «Графические модели», 2012г. План 1 Метод динамического программирования 2 Определение Обучение с учителем Алгоритм Витерби 3 Графические модели с неполными данными Разделение

Подробнее

ЧАСТЬ І ОСНОВЫ ТЕОРИИ

ЧАСТЬ І ОСНОВЫ ТЕОРИИ .. Скалярные гиперслучайные величины 4 ЧАСТЬ І ОСНОВЫ ТЕОРИИ ГЛАВА ГИПЕРСЛУЧАЙНЫЕ СОБЫТИЯ И ВЕЛИЧИНЫ Введены понятия гиперслучайного события и гиперслучайной величины. Предложен ряд характеристик и параметров

Подробнее

Если существует предел y этой последовательности, она и будет решением исходной задачи, так как будет законен предельный переход.

Если существует предел y этой последовательности, она и будет решением исходной задачи, так как будет законен предельный переход. Метод Ритца Выделяют два основных типа методов решения вариационных задач. К первому типу относятся методы, сводящие исходную задачу к решению дифференциальных уравнений. Эти методы очень хорошо развиты

Подробнее

Лабораторная работа 2. Методы минимизации функций одной переменной, использующие информацию о производных целевой функции

Лабораторная работа 2. Методы минимизации функций одной переменной, использующие информацию о производных целевой функции Лабораторная работа Методы минимизации функций одной переменной, использующие информацию о производных целевой функции Постановка задачи: Требуется найти безусловный минимум функции одной переменной (

Подробнее

Лекция 9 3. ЧИСЛЕННЫЕ МЕТОДЫ РЕШЕНИЯ НЕЛИНЕЙНЫХ УРАВНЕНИЙ

Лекция 9 3. ЧИСЛЕННЫЕ МЕТОДЫ РЕШЕНИЯ НЕЛИНЕЙНЫХ УРАВНЕНИЙ Лекция 9 3. ЧИСЛЕННЫЕ МЕТОДЫ РЕШЕНИЯ НЕЛИНЕЙНЫХ УРАВНЕНИЙ ПОСТАНОВКА ЗАДАЧИ Пусть дано нелинейное уравнение ( 0, (3.1 где ( функция, определенная и непрерывная на некотором промежутке. В некоторых случаях

Подробнее

ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ

ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ Исследование операций Определение Операция - мероприятие, направленное на достижение некоторой цели, допускающее несколько возможностей и их управление Определение Исследование операций совокупность математических

Подробнее

SVM и kernel methods

SVM и kernel methods Академический Университет, 2012 Outline 1 SVM и задача линейной классификации 2 Схема работы SVM Функциональный анализ. Ядра Резюме Постановка задачи Метод опорных векторов решает задачу классификации.

Подробнее

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ НОВОСИБИРСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ СПЕЦИАЛИЗИРОВАННЫЙ УЧЕБНО-НАУЧНЫЙ ЦЕНТР

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ НОВОСИБИРСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ СПЕЦИАЛИЗИРОВАННЫЙ УЧЕБНО-НАУЧНЫЙ ЦЕНТР МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ НОВОСИБИРСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ СПЕЦИАЛИЗИРОВАННЫЙ УЧЕБНО-НАУЧНЫЙ ЦЕНТР Математика 0 класс МЕТОД МАТЕМАТИЧЕСКОЙ ИНДУКЦИИ И БЕСКОНЕЧНЫЕ ЧИСЛОВЫЕ

Подробнее

ЗАНЯТИЕ 1 ПРИБЛИЖЕННОЕ РЕШЕНИЕ НЕЛИНЕЙНЫХ УРАВНЕНИЙ. Отделение корней

ЗАНЯТИЕ 1 ПРИБЛИЖЕННОЕ РЕШЕНИЕ НЕЛИНЕЙНЫХ УРАВНЕНИЙ. Отделение корней ЗАНЯТИЕ ПРИБЛИЖЕННОЕ РЕШЕНИЕ НЕЛИНЕЙНЫХ УРАВНЕНИЙ Отделение корней Пусть дано уравнение f () 0, () где функция f ( ) C[ a; Определение Число называется корнем уравнения () или нулем функции f (), если

Подробнее

Метод опорных векторов Лекция 7 курса «Алгоритмы для Интернета»

Метод опорных векторов Лекция 7 курса «Алгоритмы для Интернета» Метод опорных векторов Лекция 7 курса «Алгоритмы для Интернета» Юрий Лифшиц 9 ноября 2006 г. Содержание 1. Постановка задачи классификации 1 2. Оптимальная разделяющая гиперплоскость 2 2.1. Разделение

Подробнее

Лекция 11. Методы кластерного анализа проектирование данных на плоскость, метод главных компонент. Лектор Сенько Олег Валентинович

Лекция 11. Методы кластерного анализа проектирование данных на плоскость, метод главных компонент. Лектор Сенько Олег Валентинович Лекция 11 Методы кластерного анализа проектирование данных на плоскость, метод главных компонент Лектор Сенько Олег Валентинович Курс «Математические основы теории прогнозирования» 4-й курс, III поток

Подробнее

2. РЕШЕНИЕ НЕЛИНЕЙНЫХ УРАВНЕНИЙ И СИСТЕМ НЕЛИНЕЙНЫХ УРАВНЕНИЙ 2.1. РЕШЕНИЕ НЕЛИНЕЙНЫХ УРАВНЕНИЙ

2. РЕШЕНИЕ НЕЛИНЕЙНЫХ УРАВНЕНИЙ И СИСТЕМ НЕЛИНЕЙНЫХ УРАВНЕНИЙ 2.1. РЕШЕНИЕ НЕЛИНЕЙНЫХ УРАВНЕНИЙ . РЕШЕНИЕ НЕЛИНЕЙНЫХ УРАВНЕНИЙ И СИСТЕМ НЕЛИНЕЙНЫХ УРАВНЕНИЙ.. РЕШЕНИЕ НЕЛИНЕЙНЫХ УРАВНЕНИЙ вида Численное решение нелинейных алгебраических или трансцендентных уравнений. заключается в нахождении значений

Подробнее

ДИФФЕРЕНЦИАЛЬНЫЕ УРАВНЕНИЯ

ДИФФЕРЕНЦИАЛЬНЫЕ УРАВНЕНИЯ ДИФФЕРЕНЦИАЛЬНЫЕ УРАВНЕНИЯ Общие понятия Дифференциальные уравнения имеют многочисленные и самые разнообразные приложения в механике физике астрономии технике и в других разделах высшей математики (например

Подробнее

F x, F. Пример. Записать уравнение касательной к кривой x y 2xy 17 точке М(1, 2).

F x, F. Пример. Записать уравнение касательной к кривой x y 2xy 17 точке М(1, 2). Дифференцирование неявно заданной функции Рассмотрим функцию (, ) = C (C = const) Это уравнение задает неявную функцию () Предположим, мы решили это уравнение и нашли явное выражение = () Теперь можно

Подробнее

Пример решения: данному уравнению. Здесь

Пример решения: данному уравнению. Здесь Задание : Постройте таблицу истинности логической функции F A B C F Вычислите десятичный номер функции по формуле: Значения функции удовлетворяют системе линейных уравнений в поле, эквивалентной уравнению

Подробнее

Вопросы для подготовки к экзамену Тема. Линейная алгебра 1. Что такое определитель? При каких преобразованиях величина определителя не меняется? 2.

Вопросы для подготовки к экзамену Тема. Линейная алгебра 1. Что такое определитель? При каких преобразованиях величина определителя не меняется? 2. Вопросы для подготовки к экзамену Тема. Линейная алгебра 1. Что такое определитель? При каких преобразованиях величина определителя не меняется? 2. В каких случаях определитель равен нулю? Что следует

Подробнее

Линейные методы классификации II

Линейные методы классификации II 1/40 Виктор Китов v.v.kitov@yandex.ru МГУ им.ломоносова, ф-т ВМиК, кафедра ММП. I семестр 2015 г. 2/40 Линейный дискриминант Фишера Содержание 1 Линейный дискриминант Фишера 2 Логистическая регрессия 3

Подробнее

Дельта-функция. Определение дельта-функции

Дельта-функция. Определение дельта-функции Дельта-функция Определение дельта-функции Пусть финитная бесконечно дифференцируемая функция (т. е. основная функция),. Будем писать:. О. Дельта-функцией Дирака называется линейный непрерывный функционал

Подробнее

1. Численные методы решения уравнений

1. Численные методы решения уравнений 1. Численные методы решения уравнений 1. Системы линейных уравнений. 1.1. Прямые методы. 1.2. Итерационные методы. 2. Нелинейные уравнения. 2.1. Уравнения с одним неизвестным. 2.2. Системы уравнений. 1.

Подробнее

3. Используемые методы обучения

3. Используемые методы обучения 3.2 МЕТОДИЧЕСКИЕ УКАЗАНИЯ ПРЕПОДАВАТЕЛЯМ К ПРАКТИЧЕСКИМ ЗАНЯТИЯМ Семестр I Раздел 1. Векторная и линейная алгебра. Практическое занятие 1 1. Цель: Рассмотреть задачи на вычисление определителей второго

Подробнее

ЗАДАЧА МИНИМИЗАЦИИ ВЫПУКЛОГО ФУНКЦИОНАЛА ДЛЯ ЛИНЕЙНОЙ СИСТЕМЫ ДИФФЕРЕНЦИАЛЬНЫХ УРАВНЕНИЙ С ЗАПАЗДЫВАНИЕМ И ЗАКРЕПЛЕННЫМИ КОНЦАМИ 1)

ЗАДАЧА МИНИМИЗАЦИИ ВЫПУКЛОГО ФУНКЦИОНАЛА ДЛЯ ЛИНЕЙНОЙ СИСТЕМЫ ДИФФЕРЕНЦИАЛЬНЫХ УРАВНЕНИЙ С ЗАПАЗДЫВАНИЕМ И ЗАКРЕПЛЕННЫМИ КОНЦАМИ 1) ЖУРНАЛ ВЫЧИСЛИТЕЛЬНОЙ МАТЕМАТИКИ И МАТЕМАТИЧЕСКОЙ ФИЗИКИ, 3, том 53, 6, с. 867 877 УДК 59.658 ЗАДАЧА МИНИМИЗАЦИИ ВЫПУКЛОГО ФУНКЦИОНАЛА ДЛЯ ЛИНЕЙНОЙ СИСТЕМЫ ДИФФЕРЕНЦИАЛЬНЫХ УРАВНЕНИЙ С ЗАПАЗДЫВАНИЕМ И

Подробнее

, которые реализует по фиксированным ценам p. y, которые связаны между собой так, что каждому набору числовых значений переменных x

, которые реализует по фиксированным ценам p. y, которые связаны между собой так, что каждому набору числовых значений переменных x Лекции Глава Функции нескольких переменных Основные понятия Некоторые функции многих переменных хорошо знакомы Приведем несколько примеров Для вычисления площади треугольника известна формула Герона S

Подробнее

1 Элеметарная теория погрешностей. 2

1 Элеметарная теория погрешностей. 2 Содержание Элеметарная теория погрешностей. Решение СЛАУ. 4. Нормы в конечномерных пространствах... 4. Обусловленность СЛАУ............ 5.3 Итерационные методы решения линейных систем......................

Подробнее

1. Геометрия комплексных чисел

1. Геометрия комплексных чисел . Геометрия комплексных чисел В первой главе комплексные числа изучались с алгебраической точки зрения. Мы рассмотрели основные алгебраические операции и свойства комплексных чисел. Но комплексные числа

Подробнее

Math-Net.Ru Общероссийский математический портал

Math-Net.Ru Общероссийский математический портал Math-Net.Ru Общероссийский математический портал Л. Н. Полякова, Некоторые методы минимизации максимума квадратичных функций, Владикавк. матем. журн., 2006, том 8, номер 4, 46 57 Использование Общероссийского

Подробнее

A, называется рангом матрицы и обозначается rg A.

A, называется рангом матрицы и обозначается rg A. Тема 7 Ранг матрицы Базисный минор Теорема о ранге матрицы и ее следствия Системы m линейных уравнений с неизвестными Теорема Кронекера- Капелли Фундаментальная система решений однородной системы линейных

Подробнее

Семинары по байесовским методам

Семинары по байесовским методам Семинары по байесовским методам Евгений Соколов sokolov.evg@gmail.com 5 декабря 2014 г. 2 Нормальный дискриминантный анализ Нормальный дискриминантный анализ это частный случай байесовской классификации,

Подробнее

ФУНКЦИИ СЛУЧАЙНЫХ ВЕЛИЧИН. Лекция 11

ФУНКЦИИ СЛУЧАЙНЫХ ВЕЛИЧИН. Лекция 11 ЧАСТЬ 6 ФУНКЦИИ СЛУЧАЙНЫХ ВЕЛИЧИН Лекция ЗАКОН РАСПРЕДЕЛЕНИЯ И ЧИСЛОВЫЕ ХАРАКТЕРИСТИКИ ФУНКЦИЙ СЛУЧАЙНЫХ ВЕЛИЧИН ЦЕЛЬ ЛЕКЦИИ: ввести понятие функции случайной величины и провести классификацию возникающих

Подробнее

Нейронные сети. Краткий курс

Нейронные сети. Краткий курс Нейронные сети Краткий курс Лекция 7 Модели на основе теории информации Рассмотрим информационно теоретические модели, которые приводят к самоорганизации В этих моделях синаптические связи многослойной

Подробнее

называется функцией n аргументов x1, x2, xn В дальнейшем будем рассматривать функции 2-х или 3-х переменных, т.е

называется функцией n аргументов x1, x2, xn В дальнейшем будем рассматривать функции 2-х или 3-х переменных, т.е Составитель ВПБелкин 1 Лекция 1 Функция нескольких переменных 1 Основные понятия Зависимость = f ( 1,, n ) переменной от переменных 1,, n называется функцией n аргументов 1,, n В дальнейшем будем рассматривать

Подробнее

В. Ф. Апельцин МЕТОДИЧЕСКОЕ ПОСОБИЕ ПО КУРСОВОЙ РАБОТЕ ОБЫКНОВЕННЫЕ ДИФФЕРЕНЦИАЛЬНЫЕ УРАВНЕНИЯ AKF3.RU г.

В. Ф. Апельцин МЕТОДИЧЕСКОЕ ПОСОБИЕ ПО КУРСОВОЙ РАБОТЕ ОБЫКНОВЕННЫЕ ДИФФЕРЕНЦИАЛЬНЫЕ УРАВНЕНИЯ AKF3.RU г. В. Ф. Апельцин МЕТОДИЧЕСКОЕ ПОСОБИЕ ПО КУРСОВОЙ РАБОТЕ ОБЫКНОВЕННЫЕ ДИФФЕРЕНЦИАЛЬНЫЕ УРАВНЕНИЯ AKF3.RU г. В курсовой работе предполагается построить приближенное решение краевой задачи для обыкновенного

Подробнее

ЧИСЛЕННОЕ РЕШЕНИЕ ЗАДАЧИ ОПТИМАЛЬНОГО БЫСТРОДЕЙСТВИЯ ДЛЯ ЛИНЕЙНЫХ СИСТЕМ С ЗАПАЗДЫВАНИЕМ В СОСТОЯНИИ И УПРАВЛЕНИИ

ЧИСЛЕННОЕ РЕШЕНИЕ ЗАДАЧИ ОПТИМАЛЬНОГО БЫСТРОДЕЙСТВИЯ ДЛЯ ЛИНЕЙНЫХ СИСТЕМ С ЗАПАЗДЫВАНИЕМ В СОСТОЯНИИ И УПРАВЛЕНИИ 2393 УДК 517.97 ЧИСЛЕННОЕ РЕШЕНИЕ ЗАДАЧИ ОПТИМАЛЬНОГО БЫСТРОДЕЙСТВИЯ ДЛЯ ЛИНЕЙНЫХ СИСТЕМ С ЗАПАЗДЫВАНИЕМ В СОСТОЯНИИ И УПРАВЛЕНИИ Г.В. Шевченко Институт математики им. С.Л. Соболева СО РАН Россия, 630090,

Подробнее

Искусственные нейронные сети

Искусственные нейронные сети Искусственные нейронные сети К. В. Воронцов vokov@forecsys.ru Этот курс доступен на странице вики-ресурса http://www.machinelearning.ru/wiki «Машинное обучение (курс лекций, К.В.Воронцов)» 6 мая 2010 Содержание

Подробнее

ВАРИАЦИОННОЕ ИСЧИСЛЕНИЕ

ВАРИАЦИОННОЕ ИСЧИСЛЕНИЕ Глава ВАРИАЦИОННОЕ ИСЧИСЛЕНИЕ Лекция 9 Введение В этой главе мы будем рассматривать задачи отыскания экстремумов (максимумов или минимумов) функционалов Сразу отметим, что такие задачи относятся к числу

Подробнее

Московский физико-технический институт. РЕКОМЕНДУЕМЫЕ ВОПРОСЫ по курсу МАТЕМАТИЧЕСКОГО АНАЛИЗА (II курс, I семестр)

Московский физико-технический институт. РЕКОМЕНДУЕМЫЕ ВОПРОСЫ по курсу МАТЕМАТИЧЕСКОГО АНАЛИЗА (II курс, I семестр) Московский физико-технический институт РЕКОМЕНДУЕМЫЕ ВОПРОСЫ по курсу МАТЕМАТИЧЕСКОГО АНАЛИЗА (II курс, I семестр) Москва 2002 Составитель Л.Д. Кудрявцев УДК 517 Рекомендуемые вопросы по курсу математического

Подробнее

1. СТАТИСТИЧЕСКИЕ МОДЕЛИ СЛУЧАЙНЫХ ЯВЛЕНИЙ Функции распределения вероятностей случайных величин

1. СТАТИСТИЧЕСКИЕ МОДЕЛИ СЛУЧАЙНЫХ ЯВЛЕНИЙ Функции распределения вероятностей случайных величин СТАТИСТИЧЕСКИЕ МОДЕЛИ СЛУЧАЙНЫХ ЯВЛЕНИЙ Случайные величины Функции распределения вероятностей случайных величин Простейшая модель физического эксперимента последовательность независимых опытов (испытаний

Подробнее

МЕТОД СЕТЕВОГО ОПЕРАТОРА В ЗАДАЧАХ УПРАВЛЕНИЯ

МЕТОД СЕТЕВОГО ОПЕРАТОРА В ЗАДАЧАХ УПРАВЛЕНИЯ Вестник РУДН, сер. Инженерные исследования, 7, 4 с. 6-7 6 УДК 59.74 МЕТОД СЕТЕВОГО ОПЕРАТОРА В ЗАДАЧАХ УПРАВЛЕНИЯ А.И. Дивеев, Е.А. Софронова Вычислительный центр им. А.А. Дородницына РАН 9333, Москва,

Подробнее

4.5. СИГМОИДНАЯ АКТИВАЦИОННАЯ ФУНКЦИЯ И ОБОБЩЕННОЕ ДЕЛЬТА-ПРАВИЛО

4.5. СИГМОИДНАЯ АКТИВАЦИОННАЯ ФУНКЦИЯ И ОБОБЩЕННОЕ ДЕЛЬТА-ПРАВИЛО 56 Глава 4. Понятие о классической нейронной сети ем образов, которые «видел» впервые. Выяснилось, что персептрон оказался способным распознавать буквы, отпечатанные с небольшими искажениями и даже другим

Подробнее

Лекция 9. Множественная линейная регрессия

Лекция 9. Множественная линейная регрессия Лекция 9. Множественная линейная регрессия Буре В.М., Грауэр Л.В. ШАД Санкт-Петербург, 2013 Буре В.М., Грауэр Л.В. (ШАД) Множественная регрессия... Санкт-Петербург, 2013 1 / 39 Cодержание Содержание 1

Подробнее

Московский государственный технический университет имени Н.Э. Баумана. Факультет «Фундаментальные науки» Кафедра «Математическое моделирование»

Московский государственный технический университет имени Н.Э. Баумана. Факультет «Фундаментальные науки» Кафедра «Математическое моделирование» ÌÃÒÓ ÌÃÒÓ ÌÃÒÓ ÌÃÒÓ ÌÃÒÓ ÌÃÒÓ Московский государственный технический университет имени Н.Э. Баумана Факультет «Фундаментальные науки» Кафедра «Математическое моделирование» À.Í. Êàíàòíèêîâ, À.Ï. Êðèùåíêî

Подробнее

ТЕОРИЯ ВЕРОЯТНОСТЕЙ И МАТЕМАТИЧЕСКАЯ СТАТИСТИКА

ТЕОРИЯ ВЕРОЯТНОСТЕЙ И МАТЕМАТИЧЕСКАЯ СТАТИСТИКА Кафедра математики и информатики ТЕОРИЯ ВЕРОЯТНОСТЕЙ И МАТЕМАТИЧЕСКАЯ СТАТИСТИКА Учебно-методический комплекс для студентов ВПО, обучающихся с применением дистанционных технологий Модуль 3 МАТЕМАТИЧЕСКАЯ

Подробнее

Московский государственный технический университет имени Н.Э. Баумана. Факультет «Фундаментальные науки» Кафедра «Математическое моделирование»

Московский государственный технический университет имени Н.Э. Баумана. Факультет «Фундаментальные науки» Кафедра «Математическое моделирование» ÌÃÒÓ ÌÃÒÓ ÌÃÒÓ ÌÃÒÓ ÌÃÒÓ ÌÃÒÓ Московский государственный технический университет имени Н.Э. Баумана Факультет «Фундаментальные науки» Кафедра «Математическое моделирование» À.Í. Êàíàòíèêîâ, À.Ï. Êðèùåíêî

Подробнее

Лекция 8: Базис векторного пространства

Лекция 8: Базис векторного пространства Уральский федеральный университет, Институт математики и компьютерных наук, кафедра алгебры и дискретной математики Вступительные замечания В курсе аналитической геометрии важную роль играли понятия базиса

Подробнее

, (1.2) где π ij некоторые числа, i, j = 1,..., s; здесь значения x i1,..., x in выбраны произвольным

, (1.2) где π ij некоторые числа, i, j = 1,..., s; здесь значения x i1,..., x in выбраны произвольным 1. КОНЕЧНЫЕ ОДНОРОДНЫЕ ЦЕПИ МАРКОВА Рассмотрим последовательность случайных величин ξ n, n 0, 1,..., каждая из коорых распределена дискретно и принимает значения из одного и того же множества {x 1,...,

Подробнее

значений x и y, при которых определена функция z = f ( x,

значений x и y, при которых определена функция z = f ( x, I Определение функции нескольких переменных Область определения При изучении многих явлений приходится иметь дело с функциями двух и более независимых переменных Например температура тела в данный момент

Подробнее

М И Р Э А. Программа вступительного испытания по математике для поступающих в магистратуру

М И Р Э А. Программа вступительного испытания по математике для поступающих в магистратуру МИНОБРНАУКИ РОССИИ Государственное образовательное учреждение высшего профессионального образования «МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ ИНСТИТУТ РАДИОТЕХНИКИ, ЭЛЕКТРОНИКИ И АВТОМАТИКИ (ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ)»

Подробнее

ГЛАВА 1. Проективная геометрия

ГЛАВА 1. Проективная геометрия ГЛАВА 1. Проективная геометрия 1.1. Проективное пространство Пусть дано (n + 1)-мерное векторное пространство V ( 6.1, часть I) и непустое множество P произвольной природы. Говорят, что множество P наделено

Подробнее

А. П. ИВАНОВ ПРАКТИКУМ ПО ЧИСЛЕННЫМ МЕТОДАМ РЕШЕНИЕ СИСТЕМ ЛИНЕЙНЫХ АЛГЕБРАИЧЕСКИХ УРАВНЕНИЙ

А. П. ИВАНОВ ПРАКТИКУМ ПО ЧИСЛЕННЫМ МЕТОДАМ РЕШЕНИЕ СИСТЕМ ЛИНЕЙНЫХ АЛГЕБРАИЧЕСКИХ УРАВНЕНИЙ САНКТ-ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ Факультет прикладной математики процессов управления А. П. ИВАНОВ ПРАКТИКУМ ПО ЧИСЛЕННЫМ МЕТОДАМ РЕШЕНИЕ СИСТЕМ ЛИНЕЙНЫХ АЛГЕБРАИЧЕСКИХ УРАВНЕНИЙ Методические

Подробнее

Глава 4. Системы линейных уравнений

Глава 4. Системы линейных уравнений Глава 4 Системы линейных уравнений Лекция 7 Общие свойства Определение Нормальной системой (НС) линейных дифференциальных уравнений называется система вида x A () x + F () () где A( ) квадратная матрица

Подробнее

Найти х из уравнений:

Найти х из уравнений: Методические указания для обучающихся по освоению дисциплины (модуля) Планы практических занятий Матрицы и определители, системы линейных уравнений Матрицы Операции над матрицами Обратная матрица Элементарные

Подробнее