Д. П. Ветров 1. Спецкурс «Графические модели» Лекция 5. Обучение без учителя. скрытых марковских моделей и. линейных динамических систем.

Save this PDF as:
 WORD  PNG  TXT  JPG

Размер: px
Начинать показ со страницы:

Download "Д. П. Ветров 1. Спецкурс «Графические модели» Лекция 5. Обучение без учителя. скрытых марковских моделей и. линейных динамических систем."

Транскрипт

1 для Д. П. 1 1 МГУ, ВМиК, каф. ММП Спецкурс «Графические модели»

2 Скрытая Марковская модель () для Скрытая Марковская модель [первого порядка] это вероятностная модель последовательности, которая Состоит из набора наблюдаемых переменных X = {x 1,...,x N } и латентных () переменных T = {t 1,...,t N }. Латентные переменные T являются дискретными, поэтому их иногда называют переменными состояния. Значение наблюдаемого вектора в момент времени n x n зависит только от скрытого состояния t n, которое в свою очередь зависит только от скрытого состояния в предыдущий момент времени t n 1.

3 Спецификация вероятностной модели I для Пусть имеется K возможных состояний. Закодируем состояние в каждый момент времени n бинарным вектором t n = (t n1,...,t nk ), где { 1, если в момент n модель находится в состоянии j t nj = 0, иначе Тогда распределение p(t n t n 1 ) можно задать матрицей перехода A размера K K, где A ij = p(t nj = 1 t n 1,i = 1), j A ij = 1, т.е. p(t n t n 1 ) = K K i=1 j=1 A tn 1,itnj ij Пусть в первый момент времени p(t 1j = 1) = π j. Тогда p(t 1 ) = K j=1 π t1j j

4 Спецификация вероятностной модели II для Пусть для каждого состояния k {1,...,K} в момент времени n известна модель генерации наблюдаемых данных x n p(x n φ k ), задаваемая с помощью набора параметров φ k. Тогда K p(x n t n ) = (p(x n φ k )) tnk j=1 Обозначим полный набор параметров через Θ = {π, A, φ}. Тогда правдоподобие в вычисляется как N N p(x, T Θ) = p(t 1, π ) p(t n t n 1, A ) p(x n t n, φ ) = = K j=1 π t1j j n=2 N K K n=2 i=1 j=1 A tn 1,itnj ij n=1 ( N ) K (p(x n φ k )) tnk n=1 k=1

5 Задачи в для Распознавание (предыдущая лекция). Известна некоторая последовательность X и набор параметров Θ. Задача состоит в получении наиболее правдоподобной последовательности состояний T как arg max T p(t X,Θ) (алгоритм Витерби). Обучение с учителем (предыдущая лекция). Известна некоторая последовательность X, для которой заданы T. Задача состоит в оценке по обучающей выборке набора параметров Θ.. Известна некоторая последовательность X и число состояний K. Задача состоит в оценке параметров Θ (ЕМ-алгоритм). Нахождение маргинального распределения p(t n X,Θ) компоненты t n по заданым X и Θ Прогнозирование. Известна некоторая последовательность X. Задача состоит в оценке наблюдаемого вектора в следующий момент времени N + 1 p(x N+1 X).

6 План лекции для 1 для Вывод в ЛДС 8 Расширенный фильтр Калмана 9 Обучение в ЛДС

7 План лекции для 1 для Вывод в ЛДС 8 Расширенный фильтр Калмана 9 Обучение в ЛДС

8 для Для оценки параметров Θ воспользуемся методом : Θ = arg max p(x Θ) = arg max p(x, T Θ) Θ Θ Прямая максимизация затруднительна, т.к. оптимизируемая функция не является выпуклой и, кроме того, для вычисления функции требуется суммирование N K слагаемых. Можно воспользоваться итерационным ЕМ-алгоритмом. T

9 EM-алгоритм в общем виде для Требуется найти максимум в вероятностной модели со скрытыми переменными: p(x Θ) = ( ) p(x, T Θ) max log p(x, T Θ) max Θ Θ T E-шаг. Фиксируется значение параметров Θ old. Оценивается апостериорное распределение на скрытые переменные p(t X,Θ old ), и полное правдоподобие усредняется по полученному распределению: E T X,Θold log p(x, T Θ) = T T log p(x, T Θ)p(T X,Θ old ) М-шаг. Фиксируется апостериорное распределение p(t X,Θ old ), и производится поиск новых значений параметров Θ new : Θ new = arg max Θ E T X,Θ old log p(x, T Θ) Шаги E и M повторяются до сходимости.

10 E-шаг для Обозначим γ(t nj ) = E T X,Θ t nj = p(t nj = 1 X,Θ old ), ξ(t n 1,i, t nj ) = E T X,Θ (t n 1,i t nj ) = p(t n 1,i = 1, t nj = 1 X,Θ old ). Тогда K log p(x, T Θ) = t 1j logπ j + j=1 N K K N K t n 1,i t nj log A ij + t nj log p(x n φ k ) n=2 i=1 j=1 n=1 j=1 K E T X,Θold log p(x, T Θ) = γ(t 1j ) logπ j + j=1 N K K N K ξ(t n 1,i, t nj ) log A ij + γ(t nj ) log p(x n φ k ) n=2 i=1 j=1 n=1 j=1

11 M-шаг для π : K K γ(t 1j ) logπ j +λ π j 1 extr j=1 j=1 γ(t 1j ) +λ = 0 π j = γ(t 1j) π j λ K K π j = 1 λ = γ(t 1i ) j=1 π new j = i=1 γ(t 1j ) K i=1 γ(t 1i) Действуя аналогично для A, принимая во внимание, что K j=1 A ij = 1 i, получаем: A new ij = N n=2 ξ(t n 1,it nj ) K N k=1 n=2 ξ(t n 1,it nk ) π,λ

12 M-шаг для компонент φ для М-шаг для компонент генерации данных p(x n φ k ) абсолютно аналогичен М-шагу для оценки параметров при восстановлении смесей распределений. В частности, если в качестве компонент выступают многомерные нормальные распределения p(x n φ k ) = N(x n µ k,σ k ), то задача оптимизации для параметров µ k,σ k может быть решена в явном виде: Σ k = N n=1 µ k = γ(t nk)x n N n=1 γ(t nk) N n=1 γ(t nk)(x n µ k )(x n µ k ) T N n=1 γ(t nk)

13 Инициализация параметров Θ для Для начала работы ЕМ- необходимо задать начальные значения параметров Θ = (π, A, φ). Заметим, что если какой-нибудь параметр инициализирован нулем, то в процессе итераций ЕМ его значение не изменится. Значения параметров π и A обычно выбираются случайными при соблюдении ограничений j π j = 1 и j A ij = 1 i. Инициализация φ зависит от формы распределений p(x φ). В случае нормальных распределений можно провести кластеризацию данных на K кластеров и выбрать в качестве µ k и Σ k центр и разброс соответствующего кластера.

14 План лекции для 1 для Вывод в ЛДС 8 Расширенный фильтр Калмана 9 Обучение в ЛДС

15 Вычисление апостериорных распределений на скрытые компоненты для На Е-шаге обучения требуется вычисление апостериорных распределений на скрытые компоненты γ(t nj ) = p(t nj = 1 X,Θ), ξ(t n 1,i, t nj ) = p(t n 1,i = 1, t nj = 1 X,Θ) (Баума-Уэлша) позволяет эффективно вычислять эти величины для всех n, i, j за линейное по N время. В дальнейшем для удобства будем опускать Θ во всех формулах, считая набор параметров фиксированным.

16 Свойства условной независимости для для p(x t n ) =p(x 1,...,x n t n )p(x n+1,...,x N t n ) p(x 1,...,x n 1 x n, t n ) =p(x 1,...,x n 1 t n ) p(x 1,...,x n 1 t n 1, t n ) =p(x 1,...,x n 1 t n 1 ) p(x n+1,...,x N t n, t n+1 ) =p(x n+1,...,x N t n+1 ) p(x n+2,...,x N t n+1, x n+1 ) =p(x n+2,...,x N t n+1 ) p(x t n 1, t n ) =p(x 1,...,x n 1 t n 1 )p(x n t n ) p(x n+1,...,x N t n ) p(x N+1 X, t N+1 ) =p(x N+1 t N+1 ) p(t N+1 t N, X) =p(t N+1 t N )

17 Вычисление γ(t nj ) для По формуле Байеса γ(t n ) = p(t n X) = p(x t n)p(t n ) p(x) Пользуясь свойствами условной независимости для, получаем Здесь γ(t n ) = p(x 1,...,x n, t n )p(x n+1,...,x N t n ) p(x) α(t n ) = p(x 1,...,x n, t n ) β(t n ) = p(x n+1,...,x N t n ) = α(t n)β(t n ) p(x) позволяет быстро рекуррентно вычислять значение α(t n ) через α(t n 1 ) (проход вперед) и β(t n ) через β(t n+1 ) (проход назад).

18 Рекуррентная формула для α(t n ) для α(t n ) =p(x 1,...,x n, t n ) = =p(x 1,...,x n t n )p(t n ) = =p(x n t n )p(x 1,...,x n 1 t n )p(t n ) = =p(x n t n )p(x 1,...,x n 1, t n ) = =p(x n t n ) p(x 1,...,x n 1, t n 1, t n ) = t n 1 =p(x n t n ) p(x 1,...,x n 1, t n t n 1 )p(t n 1 ) = t n 1 p(x 1,...,x n 1 t n 1 )p(t n t n 1 )p(t n 1 ) = =p(x n t n ) t n 1 =p(x n t n ) p(x 1,...,x n 1, t n 1 )p(t n t n 1 ) = t n 1 =p(x n t n ) t n 1 α(t n 1 )p(t n t n 1 )

19 Вычисление α(t n ) для Для запуска рекуррентного процесса необходимо вычислить α(t 1 ) = p(x 1, t 1 ) = p(t 1 )p(x 1 t 1 ) = K (π j p(x 1 φ k )) t1j На каждом шаге рекурсии вектор α(t n ) длины K умножается на матрицу p(t n t n 1 ) размера K K. Поэтому сложность всего рекуррентного процесса составляет O(NK 2 ). j=1

20 Рекуррентная формула для β(t n ) β(t n ) =p(x n+1,...,x N t n ) = = t n+1 p(x n+1,...,x N, t n+1 t n ) = для p(x n+1,...,x N t n+1 )p(t n+1 t n ) = = t n+1 = p(x n+2,...,x N t n+1 )p(x n+1 t n+1 )p(t n+1 t n ) = t n+1 = t n+1 β(t n+1 )p(x n+1 t n+1 )p(t n+1 t n )

21 Инициализация рекуррентного процесса для β(t n ) для Вспомним формулу, связывающую значение γ(t n ) с α(t n ) и β(t n ): γ(t n ) = p(x 1,...,x n, t n )p(x n+1,...,x N t n ) p(x) = α(t n)β(t n ) p(x) Подставляя в формулу значение n = N, получаем Таким образом, β(t N ) = 1. γ(t N ) = p(t N X) = p(x, t N)β(t N ) p(x)

22 Нормировочная константа p(x) для Значение γ(t n ) определено с точностью до нормировочной константы p(x). Однако, на М-шаге значение γ(t n ), как правило, входит в числитель и в знаменатель. Таким образом, нормировочная константа сокращается. На, при вычислении центра нормального распределения: N n=1 µ k = γ(t N nk)x n n=1 N n=1 γ(t = α(t nk)β(t nk )x k N nk) n=1 α(t nk)β(t nk ) Тем не менее, сама нормировочная константа p(x) это значение, которое может представлять отдельный интерес (на, можно отслеживать возрастание при итерациях ЕМ-). Зная α(t n ) и β(t n ), правдоподобие может быть легко вычислено как p(x) = t n α(t n )β(t n ), n p(x) = t N α(t N )

23 Формула для ξ(t n 1, t n ) для ξ(t n 1, t n ) = p(t n 1, t n X) = = p(x t n 1, t n )p(t n 1, t n ) p(x) = p(x 1,...,x n 1 t n 1 )p(x n t n )p(x n+1,...,x N t n )p(t n t n 1 )p(t n 1 ) p(x) = α(t n 1)p(x n t n )p(t n t n 1 )β(t n ) p(x) = =

24 Итоговый ЕМ-алгоритм для случая, когда p(x n t n ) нормальные распределения для Начальная инициализация параметров Θ = (π, A, φ). Параметры π и A можно инициализировать случайно, а φ с помощью кластеризации данных. Е-шаг. Вычисление α(t n ) и β(t n ) с помощью рекуррентного. Вычисление величин γ(t nj ) и ξ(t n 1,i, t nj ) и, возможно, p(x). М-шаг. Вычисление новых значений параметров: π new j = γ(t 1j) K i=1 γ(t 1i), Anew ij = N n=2 ξ(t n 1,it nj ) K N k=1 n=2 ξ(t n 1,it nk ) N µ new n=1 k = γ(t N nk)x n N n=1 γ(t nk), Σnew n=1 k = γ(t nk)(x n µ k )(x n µ k ) T N n=1 γ(t nk) Повторять шаги Е и М до сходимости (пока значение p(x) или Θ не стабилизируется).

25 Задача прогнозирования для p(x N+1 X) = p(x N+1, t N+1 X) = p(x N+1 t N+1 )p(t N+1 X) = t N+1 t N+1 = ( ) p(x N+1 t N+1 ) p(t N+1, t N X) = t N+1 t N = ( ) p(x N+1 t N+1 ) p(t N X)p(t N+1 t N ) = t N+1 t N = ( ) p(x N+1 t N+1 ) p(t N+1 t N ) p(t N, X) = p(x) t N+1 t N ( ) = 1 p(x N+1 t N+1 ) p(t N+1 t N )α(t N ) p(x) t N+1 t N Это фактически смесь распределений с компонентами p(x N+1 t N+1) и весами w k = 1 p(x) t N p(t N+1 t N)α(t N). Для получения точечного прогноза x N+1 можно воспользоваться MCMC.

26 План лекции для 1 для Вывод в ЛДС 8 Расширенный фильтр Калмана 9 Обучение в ЛДС

27 Необходимость устойчивых вычислений для α(t n ) и β(t n ) Формулы пересчета для α(t n ) и β(t n ): α(t n ) =p(x n t n ) t n 1 α(t n 1 )p(t n t n 1 ) для β(t n ) = t n+1 β(t n+1 )p(t n+1 t n )p(x n+1 t n+1 ) На практике значения вероятностей p(t n t n 1 ) и p(x n t n ) могут быть существенно меньше единицы. В процессе пересчета эти вероятности умножаются друг на друга, и получающиеся значения перестают укладываться в машинную точность.

28 α(t n ) I для Предлагается вместо α(t n ) рассмотреть следующую величину: ˆα(t n ) = p(t n x 1,...,x n ) = α(t n ) p(x 1,...,x n ) Можно надеяться, что значения ˆα(t n ) будут существенно отличны от нуля, т.к. t n ˆα(t n ) = 1. Рассмотрим также величины c n = p(x n x n 1,...,x 1 ). Вычисление этих величин также будет устойчивым, т.к. они имеют смысл одномерных вероятностных распределений.

29 α(t n ) II для Очевидно, что p(x 1,...,x n ) = n i=1 ( n ) α(t n ) = p(t n x 1,...,x n )p(x 1,...,x n ) = ˆα(t n ) c i Подставляя это выражение в формулу пересчета для α(t n ) α(t n ) = p(x n t n ) α(t n 1 )p(t n t n 1 ), t n 1 получаем c nˆα(t n ) = p(x n t n ) ˆα(t n 1 )p(t n t n 1 ) t n 1 Значение c n определяется из условия нормировки для ˆα(t n ). c i i=1

30 β(t n ) для Рассмотрим следующую величину ˆβ(t n ) = p(x n+1,...,x N t n ) p(x n+1,...,x N x 1,...,x n ) = β(t n) N i=n+1 c i Вычисление данной величины будет устойчивым, т.к. ˆβ(t n ) является отношением двух распределений на (x n+1,...,x N ). Подставляя выражение для ˆβ(t n ) в формулу пересчета получаем β(t n ) = t n+1 β(t n+1 )p(t n+1 t n )p(x n+1 t n+1 ), c n+1ˆβ(tn ) = t n+1 ˆβ(t n+1 )p(t n+1 t n )p(x n+1 t n+1 ) Значения c n определяются из формул пересчета для ˆα(t n ).

31 Окончательные выражения для Е-шага для Правдоподобие p(x) вычисляется как p(x) = N n=1 Другие необходимые величины вычисляются как γ(t n ) =ˆα(t n )ˆβ(t n ) ξ(t n 1, t n ) = 1 ˆα(t n 1 )p(x n t n )p(t n t n 1 )ˆβ(t n ) c n c n

32 План лекции для 1 для Вывод в ЛДС 8 Расширенный фильтр Калмана 9 Обучение в ЛДС

33 I для В качестве иллюстрации работы ЕМ- обучения рассмотрим простой модельный. X R, K = 3, данные сгенерированы из нормальных распределений со следующими параметрами: µ 1 = 0, µ 2 = 0, µ 3 = 1 σ 2 1 = 0.1, σ2 2 = 0.5, σ2 3 = 0.1 Априорные вероятности и матрица перехода выбраны следующим образом: π = [0.3, 0.2, 0.5], A =

34 II для Ит. 1: Ит. 5: Ит. 20: Ит. 54:

35 III для После 54-ой итерации ЕМ- значения параметров были следующие: π = [10 190, , 1], A = µ 1 = 0.01, σ1 2 = 0.11 µ 2 = 0.1, σ2 2 = 0.51 µ 3 = 1, σ3 2 = 0.11

36 План лекции для 1 для Вывод в ЛДС 8 Расширенный фильтр Калмана 9 Обучение в ЛДС

37 для TODO: Использование смесей распределений в качестве p(x n t n ) невозможно ввиду вычислительной сложности Априорные вероятности на длину сегмента Авторегрессионная Input-output CMM Factorial Заключение

38 для Д. П. 1 1 МГУ, ВМиК, каф. ММП Спецкурс «Графические модели»

39 План лекции для 1 для Вывод в ЛДС 8 Расширенный фильтр Калмана 9 Обучение в ЛДС

40 Пример - задача трекинга Пусть имеется траектория движения объекта во времени 10 0 для

41 Пример - задача трекинга Координаты объекты измерены с некоторой погрешностью 10 0 для

42 Пример - задача трекинга Задача - оценить истинные координаты объекта с использованием координат объекта в различные моменты времени 10 для

43 Вероятностная модель для x 1,...,x N наблюдаемая последовательность t 1,...,t N истинные параметры объекта p(t n t n 1 ) модель движения объекта p(x n t n ) модель шума

44 Пример спецификации модели для t n = {ξ 1 (n),ξ 2 (n), ξ 1 (n), ξ 2 (n), ξ 1 (n), ξ 2 (n)} - истинные координаты, скорости и ускорения объекта в момент времени n Модель движения объекта ξ i (n) = ξ i (n 1)+ ξ i (n 1) t+ 1 2 ξ i (n 1)( t) 2 +ε 1, i = 1, 2 ξ i (n) = ξ i (n 1)+ ξ i (n 1) t+ε 2, i = 1, 2 ξ i (n) = ξ i (n 1)+ε 3, i = 1, 2 ε i N(0,σ i ), i = 1, 2, 3 Модель сенсора (шума) x i (n) = ξ i (n)+ν i, i = 1, 2 ν i N(0, s i ), i = 1, 2

45 Скрытая марковская модель для Переменные x n произвольные Переменные t n дискретные, принимают значения из {1,...,K} Распределения p(x n t n ) и p(t n t n 1 ) произвольные. Наша вероятностная модель имеют такую же структуру. Основное отличие - переменные t n непрерывные.

46 Обучение и вывод в скрытой марковской модели для p(t n X) = p(t n, X) p(x) Формулы пересчета = p(t n, x 1,...,x n ) p(x 1,...,x n ) p(x n+1,...,x N t n ) p(x n+1,...,x N x 1,...,x n ) = c nˆα(t n ) = p(x n t n ) t n 1 c n+1ˆβ(tn ) = t n+1 ˆα(t n 1 )p(t n t n 1 ) ˆβ(t n+1 )p(x n+1 t n+1 )p(t n+1 t n ) ˆα(t n )ˆβ(t n ) В случае непрерывных t n сумма заменяется на интеграл.

47 Ограничения на вероятностную модель для вывода должен иметь линейную по N сложность. Формулы пересчета c nˆα(t n ) = p(x n t n ) ˆα(t n 1 )p(t n t n 1 )dt n 1 c n+1ˆβ(tn ) = ˆβ(t n+1 )p(x n+1 t n+1 )p(t n+1 t n )dt n+1 Эти интегралы должны вычисляться аналитически и модель не должна усложняться при переходе от ˆα(t n 1 ) к ˆα(t n ). Пример усложнения модели. Пусть p(x n t n ) - смесь K гауссиан. Тогда если ˆα(t 1 ) гауссиана, то ˆα(t 2 ) - смесь из K гауссиан, ˆα(t 3 ) - смесь из K 2 гауссиан и т.д. Для решения задачи сегментации функция Беллмана должна вычисляться аналитически.

48 Линейная динамическая а (ЛДС) p(t n t n 1 ) = N(t n At n 1,Γ) p(x n t n ) = N(x n Ct n,σ) p(t 1 ) = N(t 1 µ 0, V 0 ) для Эквивалентная формулировка t n = At n 1 + w n x n = Ct n + v n t 1 = µ 0 + u w N(w 0,Γ) v N(v 0,Σ) u N(u 0, V 0 ) Параметры модели {A,Γ, C,Σ,µ 0, V 0 }

49 Свойство ЛДС для N N p(x, T Θ) = p(t 1 ) p(t n t n 1 ) p(x n t n ) n=2 Все атомарные распределения представляют собой линейную гауссовскую модель. Поэтому совместное распределение p(x, T Θ), а также все его маргинальные и условные распределения будут также гауссовскими. Наиболее вероятная последовательность T определяется по индивидуально наиболее вероятным значениям t n : t n n=1 = arg max p(t n X,Θ) t n Вывод: если известны p(t n X,Θ), то аналог Витерби для сегментации не требуется!

50 Многомерное нормальное распределение для x N(x µ,σ) = ( 1 (2π) d detσ exp 1 ) 2 (x µ)t Σ 1 (x µ) Пусть x состоит из двух групп переменных x a и x b, т.е. ( ) ( ) ( ) ( ) xa µa Σaa Σ x =, µ =, Σ = ab, Λ = Σ x b µ b Σ ba Σ 1 Λaa Λ = ab bb Λ ba Λ bb Тогда p(x a ) = N(x a µ a,σ aa ) p(x a x b ) = N(x a µ a Λ 1 aa Λ ab (x b µ b ),Λ 1 aa )

51 План лекции для 1 для Вывод в ЛДС 8 Расширенный фильтр Калмана 9 Обучение в ЛДС

52 Вывод в ЛДС для Для решения задачи сегментации, а также для ЕМ- обучения ЛДС важно уметь вычислять характеристики: ˆα(t n ) = p(t n x 1,...,x n ) = N(t n µ n, V n ) ˆβ(t n ) = p(x n+1,...,x N t n ) p(x n+1,...,x N x 1,...,x n ) Для их вычисления можно применять алгоритм. Проход вперед для ЛДС получил название фильтра Калмана, а проход назад - РТС уравнения (Rauch-Tung-Striebel).

53 Проход вперед (фильтр Калмана) для Формула пересчета c nˆα(t n ) = p(x n t n ) Подставляем ˆα(t n 1 )p(t n t n 1 )dt n 1 c n N(t n µ n, V n ) = N(x n Ct n,σ) N(t n At n 1,Γ)N(t n 1 µ n 1, V n 1 )dt n 1 Результат µ n = Aµ n 1 + K n (x n CAµ n 1 ) V n = (I K n C)P n 1 c n = N(x n CAµ n 1, CP n 1 C T +Σ) P n 1 = AV n 1 A T +Γ K n = P n 1 C T (CP n 1 C T +Σ) 1

54 Фильтр Калмана Традиционно в фильтре Калмана рассматривают два этапа: Прогноз. Оценивается распределение p(t n x 1,...,x n 1 ) N(t n µ n, Ṽ n ) для Коррекция. µ n = Aµ n 1 Ṽ n = P n 1 x n = C µ n µ n = µ n + K n (x n x n ) V n = (I K n C)Ṽ n c n = N(x n x n, CṼ n C T +Σ)

55 Иллюстрация фильтра Калмана для (a) (b) (c) p(t n 1 x 1,...,x n 1 ) p(t n x 1,...,x n 1 ) p(t n x 1,...,x n )

56 Фильтр Калмана. Начальное приближение. для Значение ˆα(t 1 ) в начальный момент времени вычисляется из условия: c 1ˆα(t 1 ) = p(t 1 )p(x 1 t 1 ) Производя свертку двух гауссиан, получаем: µ 1 = µ 0 + K 1 (x 1 Cµ 0 ) V 1 = (I K 1 C)V 0 c 1 = N(x 1 Cµ 0, CV 0 C T +Σ) K 1 = V 0 C T (CV 0 C T +Σ) 1

57 Проход назад для γ(t n ) = p(t n X,Θ) = ˆα(t n )ˆβ(t n ) = N(t n ˆµ n, ˆV n ) В отличие от γ(t n ) ˆβ(t n ) не является маргинальным распределением: ˆβ(t n ) = p(x n+1,...,x N t n ) p(x n+1,...,x N x 1,...,x n ) Поэтому обратного прохода удобнее записывать в терминах γ(t n )

58 Формулы для обратного прохода Формула пересчета c n+1ˆβ(tn ) = ˆβ(t n+1 )p(x n+1 t n+1 )p(t n+1 t n )dt n+1 для ˆµ n = µ n + J n (ˆµ n+1 Aµ n ) ˆV n = V n + J n (ˆV n+1 P n )J T n J n = V n A T (P n ) 1

59 Распределение для пары переменных для Для EM- обучения понадобятся также величины ξ(t n 1, t n ) = p(t n 1, t n X,Θ) = = (c n ) 1ˆα(t n 1 )p(x n t n )p(t n t n 1 )ˆβ(t n ) = N(t n 1 µ n 1, V n 1 )N(t n At n 1,Γ)N(x n Ct n,σ)n(t n ˆµ n, ˆV n ) c n N(t n µ n, V n ) = N(t n 1, t n [γ(t n 1 ),γ(t n )] T, J n 1ˆV n ) =

60 План лекции для 1 для Вывод в ЛДС 8 Расширенный фильтр Калмана 9 Обучение в ЛДС

61 Нелинейная фильтрация для Рассмотрим более сложную задачу фильтрации сигналов Пусть зависимости между соседними переменными нелинейные, но шум по-прежнему гауссовский t n = f(t n 1 )+w n, w n N(w 0,Γ) x n = h(t n )+v n, v N(v 0,Σ) Требуется по выборке X n = (x 1,...,x n ) оценить распределение на текущую скрытую компоненту t n

62 Линеаризация не зависимостей для Приблизим нелинейные зависимости линейными t n = A n 1 t n 1 + w n, A n 1 = A(µ n 1 ) = f t x n = C n t n + v n, C n = C( µ n ) = h t t= µn t=µn 1 Обратите внимание, что производная функции f(t) берется в точке t = µ n 1, а производная функции h(t) в точке t = µ n. Вопрос аудитории: почему? Линеаризация зависимостей позволяет использовать обычный фильтр Калмана, но с учетом того, что теперь матрицы A и C стали зависеть от времени

63 Расширенный фильтр Калмана После того как мы линеаризовали задачу применяем фильтр Калмана Прогноз. Оценивается распределение p(t n x 1,...,x n 1 ) N(t n µ n, Ṽ n ) для Коррекция. µ n = f(µ n 1 ) Ṽ n = A n 1 V n 1 A T n 1 +Γ x n = h( µ n ) K n = Ṽ n C T n (C nṽnc T n +Σ) 1 µ n = µ n + K n (x n x n ) V n = (I K n C T n )Ṽ n

64 Обычный фильтр Калмана Сравним формулы с обычным фильтром Калмана, описанным в предыдущем разделе Прогноз. Оценивается распределение p(t n x 1,...,x n 1 ) N(t n µ n, Ṽ n ) для Коррекция. µ n = Aµ n 1 Ṽ n = AV n 1 A T +Γ x n = C µ n K n = Ṽ n C T (CṼ n C T +Σ) 1 µ n = µ n + K n (x n x n ) V n = (I K n C T )Ṽ n

65 Заключительные замечания для Если дисперсии шумов не слишком велики (т.е. мы не слишком сильно отклоняемся от точки, в которой выполнили линеаризацию) можно расчитывать на адекватное приближение и успешное решение задачи фильтрации Если шумы негауссовы, расширенный фильтр Калмана не подходит и нужно использовать другие методы, на, фильтр частиц (см. следующую лекцию)

66 План лекции для 1 для Вывод в ЛДС 8 Расширенный фильтр Калмана 9 Обучение в ЛДС

67 EM-алгоритм. Разложение логарифма для Требуется найти максимум в вероятностной модели со скрытыми переменными: p(x Θ) = p(x, T Θ)dT max log p(x Θ) max Θ Θ p(x, T Θ) = p(t X,Θ)p(X Θ) log p(x, T Θ) = log p(t X,Θ)+log p(x Θ) q(t) произвольное распределение. log p(x Θ) = log p(x Θ)q(T)dT = [log p(x, T Θ) log p(t X,Θ)] q(t)dt = log p(x, T Θ)q(T)dT log p(t X, Θ)q(T)dT = p(x, T Θ) log q(t)dt log p(t X,Θ) q(t)dt q(t) q(t)

68 Нижняя оценка для логарифма для p(x, T Θ) log p(x Θ) = log q(t)dt q(t) } {{ } l(q,θ) log p(t X,Θ) q(t)dt q(t) } {{ } KL(q p) 0 Дивергенция Кульбака-Лейблера KL(q p) определяет расстояние между вероятностными распределениями KL(q p) = q(x) log(p(x)/q(x))dx KL(q p) 0 и KL(q p) = 0 q p. KL(q p) KL(p q) Тогда l(q,θ) является нижней оценкой log p(x Θ): log p(x Θ) l(q,θ) и равенство q(t) = p(t X,Θ)

69 Идея EM- для log p(x Θ) = l(q,θ)+kl(q p) Итерационная схема. Фиксируем некоторое значение Θ old. Приблизим в точке Θ old правдоподобие с помощью его нижней оценки: q(t) = p(t X,Θ old ) log p(x Θ) l(q,θ) = log p(x, T Θ)p(T X,Θ old )dt log p(t X,Θ old )p(t X,Θ old )dt Найдем новое значение Θ с помощью максимизации нижней оценки: l(q,θ) max E T X,Θ old log p(x, T Θ) max Θ Θ

70 Иллюстрация EM- для

71 Схема ЕМ- для E-шаг. Фиксируется значение параметров Θ old. Оценивается апостериорное распределение на скрытые переменные p(t X,Θ old ), и полное правдоподобие усредняется по полученному распределению: E T X,Θold log p(x, T Θ) = log p(x, T Θ)p(T X,Θ old )dt М-шаг. Фиксируется апостериорное распределение p(t X,Θ old ), и производится поиск новых значений параметров Θ new : Θ new = arg max Θ E T X,Θ old log p(x, T Θ) Шаги E и M повторяются до сходимости.

72 Максимизация апостериорного распределения для Задача p(θ X) max Θ Справедливо разложение F = log p(x Θ)+ log p(θ) max Θ F = L(q,θ)+log p(θ)+kl(q p) L(q,Θ)+log p(θ) Е-шаг остается без изменений. Модификация М-шага: E T X,Θold log p(x, T Θ)+log p(θ) max Θ

73 EM-алгоритм для ЛДС для Задача - поиск значений параметров {A,Γ, C,Σ,µ 0, V 0 } по методу Логарифм полного log p(x, T Θ) = log p(t 1 µ 0, V 0 )+ Для вычисления нижней оценки N log p(t n t n 1, A,Γ)+ n=2 N log p(x n t n, C,Σ) n=1 Q(Θ,Θ old ) = E T X,Θold log p(x, T Θ) достаточно знать следующие величины: Et n = ˆµ n Et n t T n 1 = J n 1ˆV n + ˆµ nˆµ T n 1 Et n t T n = ˆV n + ˆµ nˆµ T n

74 М-шаг. Формулы для µ 0 и V 0 для Q(Θ,Θ old ) = 1 2 log det V 0 [ ] 1 E T X,Θold 2 (t 1 µ 0 ) T V 1 0 (t 1 µ 0 ) + const Здесь const не зависит от µ 0 и V 0. Приравнивая производные по µ 0 и V 0 к нулю, получаем: µ new 0 = Et 1 V new 0 = Et 1 t T 1 Et 1 Et T 1

75 М-шаг. Формулы для A и Γ для Q(Θ,Θ old ) = N 1 log detγ [ 2 ] 1 N E T X,Θold (t n At n 1 ) T Γ 1 (t n At n 1 ) + const 2 n=2 Здесь const не зависит от A и Γ. Приравнивая производные по A и Γ к нулю, получаем: ( N )( N ) 1 A new = Et n t T n 1 Et n 1 t T n 1 Γ new = 1 N 1 n=2 n=2 N { Et n t T n Anew Et n 1 t T n n=2 Et n t T n 1(A new ) T + A new Et n 1 t T n 1(A new ) T }

76 М-шаг. Формулы для C и Σ для Q(Θ,Θ old ) = N log detσ 2 [ ] 1 N E T X,Θold (x n Ct n ) T Σ 1 (x n Ct n ) + const 2 n=1 Здесь const не зависит от C и Σ. Приравнивая производные по C и Σ к нулю, получаем: ( N )( N ) 1 C new = x n Et T n Et n t T n Σ new = 1 N n=1 N { x n x T n Cnew Et n x T n n=1 n=1 x n Et T n(c new ) T + C new Et n t T n(c new ) T }

Д. П. Ветров 1. Курс «Графические модели» ЕМ-алгоритм. Обучение скрытых. марковских моделей без учителя. Ветров. ЕМ-алгоритм в общем виде

Д. П. Ветров 1. Курс «Графические модели» ЕМ-алгоритм. Обучение скрытых. марковских моделей без учителя. Ветров. ЕМ-алгоритм в общем виде Д. П. 1 1 МГУ, ВМиК, каф. ММП Курс «Графические модели» План лекции 1 2 3 4 5 6 EM-алгоритм. Разложение логарифма Требуется найти максимум в вероятностной модели со скрытыми переменными: p(x Θ) = p(x,

Подробнее

Лекция 8. Скрытые марковские модели. Часть 2.

Лекция 8. Скрытые марковские модели. Часть 2. для модели. Часть 2. А. С. Конушин 1 Д. П. Ветров 2 3 В. С. Конушин 1 О. В. Баринова 1 1 МГУ, ВМиК, лаб. КГ 2 МГУ, ВМиК, каф. ММП 3 ВЦ РАН Спецкурс «Структурные методы анализа изображений и сигналов» Скрытая

Подробнее

Линейные динамические системы. Фильтр Калмана.

Линейные динамические системы. Фильтр Калмана. Линейные динамические системы. Фильтр Калмана. Ликбез: некоторые свойства нормального распределения Плотность распределения.4.3.. -4 x b.5 x b =.7 5 p(x a x b =.7) - x p(x a,x b) p(x a) 4 3 - - -3 x.5

Подробнее

Методы Монте Карло по схеме марковской цепи (Markov Chain Monte Carlo, MCMC)

Методы Монте Карло по схеме марковской цепи (Markov Chain Monte Carlo, MCMC) Методы Монте Карло по схеме марковской цепи (Markov Chain Monte Carlo, MCMC) Идея MCMC Рассмотрим вероятностное распределение p(t ). Методы Монте Карло (методы статистических испытаний) предполагают генерацию

Подробнее

Фильтр частиц. Д. П. Ветров 1. Спецкурс «Структурные методы анализа изображений и сигналов» Лекция 11. Методы Монте-Карло. Фильтр частиц.

Фильтр частиц. Д. П. Ветров 1. Спецкурс «Структурные методы анализа изображений и сигналов» Лекция 11. Методы Монте-Карло. Фильтр частиц. .. Д. П. 1 1 МГУ, ВМиК, каф. ММП Спецкурс «Структурные ы анализа изображений и сигналов» План. 1 ы 2 План. ы 1 ы 2 Идея а. ы Метод применяется для решения задач численного моделирования, в частности взятия

Подробнее

Лекция 9. Приближенные способы вывода. Вариационный подход.

Лекция 9. Приближенные способы вывода. Вариационный подход. способы вывода. Д. П. Ветров 1 Д. А. 2 1 МГУ, ВМиК, каф. ММП 2 ВЦ РАН Спецкурс «Байесовские ы машинного обучения», 2009 План лекции 1 2 Вариационная линейная регрессия 3 Пример использования Дивергенция

Подробнее

ЕМ-алгоритм и метод релевантных векторов для классификации

ЕМ-алгоритм и метод релевантных векторов для классификации Курс: Байесовские методы машинного обучения, ЕМ-алгоритм и метод релевантных векторов для классификации Дата: ноября Метод оптимизации Ньютона g(x) f(x) x x Рис. : Иллюстрация одной итерации метода Ньютона

Подробнее

Матричные вычисления и нормальное распределение

Матричные вычисления и нормальное распределение Курс: Байесовские методы машинного обучения, Дата: 9 октября Матричные вычисления и нормальное распределение Дивергенция Кульбака-Лейблера 5 p(x) (x) 5 p(x) (x) 5 5 5 5 5 5-5 5 KL( p) min -5 5 KL(p ) min

Подробнее

EM-алгоритм. Д. П. Ветров 1 Д. А. Кропотов 2 А. А. Осокин 1. Спецкурс «Байесовские методы машинного обучения» EM-алгоритм. Ветров, Кропотов, Осокин

EM-алгоритм. Д. П. Ветров 1 Д. А. Кропотов 2 А. А. Осокин 1. Спецкурс «Байесовские методы машинного обучения» EM-алгоритм. Ветров, Кропотов, Осокин Д. П. Ветров 1 Д. А. Кропотов 2 А. А. 1 1 МГУ, ВМиК, каф. ММП 2 ВЦ РАН Спецкурс «Байесовские методы машинного обучения» План лекции 1 Дифференцирование матриц 2 Нормальное распределение Постановка задачи

Подробнее

ОСНОВЫ ТЕОРИИ ОЦЕНИВАНИЯ И ФИЛЬТРАЦИИ ПАРАМЕТРОВ СИГНАЛОВ

ОСНОВЫ ТЕОРИИ ОЦЕНИВАНИЯ И ФИЛЬТРАЦИИ ПАРАМЕТРОВ СИГНАЛОВ ЛЕКЦИЯ 1. Постановка задачи оценивания параметров сигналов. Байесовские оценки случайных параметров сигналов при различных функциях потерь. ОСНОВЫ ТЕОРИИ ОЦЕНИВАНИЯ И ФИЛЬТРАЦИИ ПАРАМЕТРОВ СИГНАЛОВ 3.1.

Подробнее

А. С. Конушин 1 Д. П. Ветров 2 Д. А. Кропотов 3 В. С. Конушин 1 О. В. Баринова 1. Спецкурс «Структурные методы анализа изображений и сигналов»

А. С. Конушин 1 Д. П. Ветров 2 Д. А. Кропотов 3 В. С. Конушин 1 О. В. Баринова 1. Спецкурс «Структурные методы анализа изображений и сигналов» . Метод (PCA) метод. А. С. Конушин 1 Д. П. Ветров 2 Д. А. 3 В. С. Конушин 1 О. В. Баринова 1 1 МГУ, ВМиК, лаб. КГ 2 МГУ, ВМиК, каф. ММП 3 ВЦ РАН Спецкурс «Структурные методы анализа изображений и сигналов»

Подробнее

Байесовский метод главных компонент

Байесовский метод главных компонент Курс: Байесовские методы машинного обучения, 211 Дата: 23 ноября 211 Байесовский метод главных компонент Задача уменьшения размерности в данных Рассмотрим задачу классификации изображений рукописных цифр

Подробнее

А. С. Конушин 1 Д. П. Ветров 2 Д. А. Кропотов 3 В. С. Конушин 1 О. В. Баринова 1. Спецкурс «Структурные методы анализа изображений и сигналов»

А. С. Конушин 1 Д. П. Ветров 2 Д. А. Кропотов 3 В. С. Конушин 1 О. В. Баринова 1. Спецкурс «Структурные методы анализа изображений и сигналов» А. С. Конушин 1 Д. П. 2 Д. А. Кропотов 3 В. С. Конушин 1 О. В. Баринова 1 1 МГУ, ВМиК, лаб. КГ 2 МГУ, ВМиК, каф. ММП 3 ВЦ РАН Спецкурс «Структурные методы анализа изображений и сигналов» План 1 2 3 Задачи

Подробнее

Скрытые марковские модели

Скрытые марковские модели : основное Академический Университет, весенний семестр 2011 Outline : основное 1 : основное 2 Смеси выпуклых распределений Продолжительность состояния : основное Марковская цепь задаётся начальным распределением

Подробнее

Оценивание сходства пользователей и ресурсов путем выявления скрытых тематических профилей.

Оценивание сходства пользователей и ресурсов путем выявления скрытых тематических профилей. Анализ Клиентских Сред Оценивание сходства пользователей и ресурсов путем выявления скрытых тематических профилей Постановка задачи Исходными данными являются протоколы действий пользователей Каждая запись

Подробнее

Обучение и вывод в модели Ограниченной Машины Больцмана

Обучение и вывод в модели Ограниченной Машины Больцмана Обучение и вывод в модели Ограниченной Научная группа Байесовских методов ВМК МГУ им. М.В. Ломоносова 13 мая 2014 г. 1 / 37 Обзор 1 2 3 4 2 / 37 Ограниченная машина Restricted Boltzmann Machine марковское

Подробнее

1. Численные методы решения уравнений

1. Численные методы решения уравнений 1. Численные методы решения уравнений 1. Системы линейных уравнений. 1.1. Прямые методы. 1.2. Итерационные методы. 2. Нелинейные уравнения. 2.1. Уравнения с одним неизвестным. 2.2. Системы уравнений. 1.

Подробнее

Семинары по байесовским методам

Семинары по байесовским методам Семинары по байесовским методам Евгений Соколов sokolov.evg@gmail.com 5 декабря 2014 г. 2 Нормальный дискриминантный анализ Нормальный дискриминантный анализ это частный случай байесовской классификации,

Подробнее

Линейная регрессия: метод наименьших квадратов

Линейная регрессия: метод наименьших квадратов Линейная регрессия: метод наименьших квадратов Центр Речевых Технологий, 2012 Outline Метод наименьших квадратов Метод ближайших соседей 1 Наименьшие квадраты и ближайшие соседи Метод наименьших квадратов

Подробнее

Тема 4. ЧИСЛЕННОЕ РЕШЕНИЕ НЕЛИНЕЙНЫХ УРАВНЕНИЙ

Тема 4. ЧИСЛЕННОЕ РЕШЕНИЕ НЕЛИНЕЙНЫХ УРАВНЕНИЙ Тема 4. ЧИСЛЕННОЕ РЕШЕНИЕ НЕЛИНЕЙНЫХ УРАВНЕНИЙ -1- Тема 4. ЧИСЛЕННОЕ РЕШЕНИЕ НЕЛИНЕЙНЫХ УРАВНЕНИЙ 4.0. Постановка задачи Задача нахождения корней нелинейного уравнения вида y=f() часто встречается в научных

Подробнее

ЛЕКЦИЯ 11 МНОГОМЕРНАЯ ИНТЕРПОЛЯЦИЯ. ЗАДАЧА ОПТИМИЗАЦИИ

ЛЕКЦИЯ 11 МНОГОМЕРНАЯ ИНТЕРПОЛЯЦИЯ. ЗАДАЧА ОПТИМИЗАЦИИ ЛЕКЦИЯ 11 МНОГОМЕРНАЯ ИНТЕРПОЛЯЦИЯ ЗАДАЧА ОПТИМИЗАЦИИ На прошлой лекции были рассмотрены методы решения нелинейных уравнений Были рассмотрены двухточечные методы, которые используют локализацию корня,

Подробнее

1 Элеметарная теория погрешностей. 2

1 Элеметарная теория погрешностей. 2 Содержание Элеметарная теория погрешностей. Решение СЛАУ. 4. Нормы в конечномерных пространствах... 4. Обусловленность СЛАУ............ 5.3 Итерационные методы решения линейных систем......................

Подробнее

Линейная регрессия. Линейные модели. Сергей Николенко. Казанский Федеральный Университет, 2014

Линейная регрессия. Линейные модели. Сергей Николенко. Казанский Федеральный Университет, 2014 Казанский Федеральный Университет, 2014 Outline 1 В предыдущей серии... Теорема Байеса: p(θ D) = p(θ)p(d θ). p(d) Две основные задачи байесовского вывода: 1 найти апостериорное распределение на гипотезах/параметрах:

Подробнее

Лекция 2. Вероятностная постановка задач классификации и регрессии.

Лекция 2. Вероятностная постановка задач классификации и регрессии. задач задач Д. П. Ветров 1 Д. А. 2 1 МГУ, ВМиК, каф. ММП 2 ВЦ РАН Спецкурс «методы» План лекции задач 1 Нормальное распределение Решение несовместных СЛАУ 2 Вероятностное описание правила 3 Классическая

Подробнее

Численные методы Тема 2. Интерполяция

Численные методы Тема 2. Интерполяция Численные методы Тема 2 Интерполяция В И Великодный 2011 2012 уч год 1 Понятие интерполяции Интерполяция это способ приближенного или точного нахождения какой-либо величины по известным отдельным значениям

Подробнее

Линейная регрессия Линейная классификация. Линейные модели. Сергей Николенко. Computer Science Club, Казань, 2014

Линейная регрессия Линейная классификация. Линейные модели. Сергей Николенко. Computer Science Club, Казань, 2014 Computer Science Club, Казань, 2014 Outline 1 2 Классификация по-байесовски Логистическая регрессия В предыдущей серии... Теорема Байеса: p(θ D) = p(θ)p(d θ). p(d) Две основные задачи байесовского вывода:

Подробнее

Лабораторная работа 2. Методы минимизации функций одной переменной, использующие информацию о производных целевой функции

Лабораторная работа 2. Методы минимизации функций одной переменной, использующие информацию о производных целевой функции Лабораторная работа Методы минимизации функций одной переменной, использующие информацию о производных целевой функции Постановка задачи: Требуется найти безусловный минимум функции одной переменной (

Подробнее

Лекция 12 ХАРАКТЕРИСТИЧЕСКАЯ ФУНКЦИЯ. Метод линеаризации функций случайных величин

Лекция 12 ХАРАКТЕРИСТИЧЕСКАЯ ФУНКЦИЯ. Метод линеаризации функций случайных величин Лекция ХАРАКТЕРИСТИЧЕСКАЯ ФУНКЦИЯ ЦЕЛЬ ЛЕКЦИИ: построить метод линеаризации функций случайных величин; ввести понятие комплексной случайной величины и получить ее числовые характеристики; определить характеристическую

Подробнее

О формулах суммирования и интерполяции

О формулах суммирования и интерполяции О формулах суммирования и интерполяции А В Устинов УДК 51117 1 Введение Известно, что числа Бернулли B n и полиномы Бернулли B n x) возникают в самых разных вопросах теории чисел и приближенного анализа

Подробнее

2 Статистические оценки неизвестных параметров распределения

2 Статистические оценки неизвестных параметров распределения Статистические оценки неизвестных параметров распределения Статистическая оценка неизвестного параметра теоретического распределения Виды статистических оценок 3 Нахождение оценок неизвестных параметров

Подробнее

ЛЕКЦИЯ 1 ТЕОРИЯ ВОЗМУЩЕНИЙ

ЛЕКЦИЯ 1 ТЕОРИЯ ВОЗМУЩЕНИЙ ЛЕКЦИЯ 1 ТЕОРИЯ ВОЗМУЩЕНИЙ В квантовой механике существует небольшое число задач, которые имеют физический смысл и могут быть решены точно. Физический смысл имеют следующие основные задачи: Задача о движении

Подробнее

Семинары по линейным классификаторам

Семинары по линейным классификаторам Семинары по линейным классификаторам Евгений Соколов 27 октября 2013 г. Пусть X R d пространство объектов, Y = { 1,+1} множество допустимых ответов, X l = (x i,y i ) l i=1 обучающая выборка. Каждый объект

Подробнее

Лекция 1. Выборочное пространство

Лекция 1. Выборочное пространство Лекция 1. Выборочное пространство Буре В.М., Грауэр Л.В. ШАД Санкт-Петербург, 2013 Буре В.М., Грауэр Л.В. (ШАД) Лекция 1. Выборочное пространство Санкт-Петербург, 2013 1 / 35 Cодержание Содержание 1 Выборка.

Подробнее

представление А. С. Конушин 1 Д. П. Ветров 2 Д. А. Кропотов 3 В. С. Конушин 1 О. В. Баринова 1

представление А. С. Конушин 1 Д. П. Ветров 2 Д. А. Кропотов 3 В. С. Конушин 1 О. В. Баринова 1 . Общее. Общее А. С. Конушин 1 Д. П. 2 Д. А. Кропотов 3 В. С. Конушин 1 О. В. Баринова 1 1 МГУ, ВМиК, лаб. КГ 2 МГУ, ВМиК, каф. ММП 2 ВЦ РАН Спецкурс «Структурные методы анализа изображений и сигналов»

Подробнее

Модель алгоритмов классификации. информационный подход

Модель алгоритмов классификации. информационный подход : информационный подход МГУ имени М.В. Ломоносова, Москва, Россия e-mail: sgur@cs.msu.ru XXII Международная конференция «Математика. Экономика. Образование» 27 мая 3 июня 2014 г. / Краснодарский край,

Подробнее

Основные понятия теории разностных схем. Примеры построения разностных схем для начально-краевых задач.

Основные понятия теории разностных схем. Примеры построения разностных схем для начально-краевых задач. Основные понятия теории разностных схем. Примеры построения разностных схем для начально-краевых задач. Большое количество задач физики и техники приводит к краевым либо начальнокраевым задачам для линейных

Подробнее

x 2 dx 2 d ˆF =, ψ =sin2x 2 dx 2 d 2 d sinαx 2 dx x dx x d dx d dx В) i d a a a f f f f ) ( )

x 2 dx 2 d ˆF =, ψ =sin2x 2 dx 2 d 2 d sinαx 2 dx x dx x d dx d dx В) i d a a a f f f f ) ( ) 4 3 Задачи на собственные значения, собственные функции Вопрос 1 Что такое задача на собственные значения, спектр, дискретный и непрерывный спектр, простое и вырожденное собственное значение, кратность

Подробнее

Лабораторная работа по теме «Тема 1.2. Методы решения нелинейных уравнений»

Лабораторная работа по теме «Тема 1.2. Методы решения нелинейных уравнений» Лабораторная работа по теме «Тема.. Методы решения нелинейных уравнений» Перейти к Теме. Теме. Огл.... Вопросы, подлежащие изучению. Постановка задачи численного решения нелинейных уравнений.. Этапы численного

Подробнее

Лекция 2. Статистики первого типа. Точеченые оценки и их свойства

Лекция 2. Статистики первого типа. Точеченые оценки и их свойства Лекция 2. Статистики первого типа. Точеченые оценки и их свойства Буре В.М., Грауэр Л.В. ШАД Санкт-Петербург, 2013 Буре В.М., Грауэр Л.В. (ШАД) Лекция 2. Статистики первого типа. Точеченые Санкт-Петербург,

Подробнее

СИСТЕМЫ ЛИНЕЙНЫХ УРАВНЕНИЙ

СИСТЕМЫ ЛИНЕЙНЫХ УРАВНЕНИЙ СИСТЕМЫ ЛИНЕЙНЫХ УРАВНЕНИЙ После изучения данной темы вы сможете: проводить численное решение задач линейной алгебры. К решению систем линейных уравнений сводятся многочисленные практические задачи, решение

Подробнее

Исследование областей сходимости численных методов второго порядка

Исследование областей сходимости численных методов второго порядка Электронный научный журнал «Вестник Омского государственного педагогического университета» Выпуск 6 www.oms.edu А.Т. Когут, Н.Ю. Безбородова Омский государственный университет путей сообщения Исследование

Подробнее

Графическая вероятностная модель со скрытыми состояниями на основе главных многообразий

Графическая вероятностная модель со скрытыми состояниями на основе главных многообразий Международная конференция ИОИ-10 Графическая вероятностная модель со скрытыми состояниями на основе главных многообразий Юлин Сергей Сергеевич Рыбинский государственный авиационный технический университет

Подробнее

УДК Г. А. Омарова. Построение траектории движения объекта

УДК Г. А. Омарова. Построение траектории движения объекта УДК 5979 + 5933 Г А Омарова Èíñòèòóò âû èñëèòåëüíîé ìàòåìàòèêè è ìàòåìàòè åñêîé ãåîôèçèêè ÑÎ ÐÀÍ ïð Àêàä Ëàâðåíòüåâà, 6, Íîâîñèáèðñê, 630090, Ðîññèÿ E-mail: gulzira@ravccru Статистическая модель движения

Подробнее

Вероятностные классификаторы

Вероятностные классификаторы Казанский Федеральный Университет, 2014 Outline И снова о разделяющих поверхностях LDA и QDA QDA и прочие замечания 1 И снова о разделяющих поверхностях LDA и QDA QDA и прочие замечания 2 Два класса IRLS

Подробнее

Байесовское декодирование

Байесовское декодирование Академический Университет, весенний семестр 2011 Outline Коды, исправляющие ошибки 1 Коды, исправляющие ошибки 2 Определения Декодирование алгоритмом min-sum Декодирование алгоритмом min-product Суть Коды,

Подробнее

Если существует предел y этой последовательности, она и будет решением исходной задачи, так как будет законен предельный переход.

Если существует предел y этой последовательности, она и будет решением исходной задачи, так как будет законен предельный переход. Метод Ритца Выделяют два основных типа методов решения вариационных задач. К первому типу относятся методы, сводящие исходную задачу к решению дифференциальных уравнений. Эти методы очень хорошо развиты

Подробнее

ГЛАВА 3 (продолжение). Функции случайных величин. Характеристическая функция.

ГЛАВА 3 (продолжение). Функции случайных величин. Характеристическая функция. Оглавление ГЛАВА 3 продолжение. Функции случайных величин. Характеристическая функция... Функция одного случайного аргумента.... Основные числовые характеристики функции случайного аргумента.... Плотность

Подробнее

Под численным интегрированием понимают набор численных методов для нахождения значения определенного интеграла. При решении инженернотехнических

Под численным интегрированием понимают набор численных методов для нахождения значения определенного интеграла. При решении инженернотехнических Под численным интегрированием понимают набор численных методов для нахождения значения определенного интеграла. При решении инженернотехнических задач порой бывает необходимо вычислить среднее значение

Подробнее

Метод Ньютона для систем с ограничениями вида равенства

Метод Ньютона для систем с ограничениями вида равенства Курс: Методы оптимизации в машинном обучении 202 Методы внутренней точки Рассмотрим выпуклую задачу условной оптимизации: f 0 () min f i () 0 i = m; () A = b. Здесь R n A R p n p < n матрица A имеет ранг

Подробнее

МАТЕМАТИЧЕСКИЕ ОСНОВЫ ТЕОРИИ ПРОГНОЗИРОВАНИЯ. Лектор Сенько Олег Валентинович Лекция 2

МАТЕМАТИЧЕСКИЕ ОСНОВЫ ТЕОРИИ ПРОГНОЗИРОВАНИЯ. Лектор Сенько Олег Валентинович Лекция 2 МАТЕМАТИЧЕСКИЕ ОСНОВЫ ТЕОРИИ ПРОГНОЗИРОВАНИЯ Лектор Сенько Олег Валентинович Лекция 2 Методы прогнозирования (распознавания) Множество (модель) алгоритмов M { A: X Y} внутри которого производится поиск

Подробнее

ИССЛЕДОВАНИЯ, КОНСТРУКЦИИ, ТЕХНОЛОГИИ. применение метода спектральных представлений для решения задач статистической динамики автомобиля 4 (81) 2013

ИССЛЕДОВАНИЯ, КОНСТРУКЦИИ, ТЕХНОЛОГИИ. применение метода спектральных представлений для решения задач статистической динамики автомобиля 4 (81) 2013 28 ИССЛЕДОВАНИЯ, КОНСТРУКЦИИ, ТЕХНОЛОГИИ УДК 629.113 применение метода спектральных представлений для решения задач статистической динамики автомобиля И.С. Чабунин, к.т.н. / В.И. Щербаков, к.т.н. Московский

Подробнее

Дорогие студенты, данная презентация служит лишь наглядной иллюстрацией к одной из лекций по теории вероятностей для II курса факультета биоинженерии

Дорогие студенты, данная презентация служит лишь наглядной иллюстрацией к одной из лекций по теории вероятностей для II курса факультета биоинженерии Дорогие студенты, данная презентация служит лишь наглядной иллюстрацией к одной из лекций по теории вероятностей для II курса факультета биоинженерии и биоинформатики. ЗАКОНЫ РАСПРЕДЕЛЕНИЯ ВЕРОЯТНОСТЕЙ

Подробнее

x i Определение. Задача нахождения значения интерполяционной функции F x в точке не совпадающей ни с одной абсциссой интерполяционных узлов x,

x i Определение. Задача нахождения значения интерполяционной функции F x в точке не совпадающей ни с одной абсциссой интерполяционных узлов x, ИНТЕРПОЛИРОВАНИЕ ФУНКЦИЙ ПОСТАНОВКА ЗАДАЧИ Дано: точки наблюдения y (их количество + ) a b ; ; y y y y y Найти функцию : F F : y Определение Точки y называются узлами интерполяции Графическая интерпретация

Подробнее

ЛЕКЦИЯ 21 СКОБКИ ПУАССОНА. ТЕОРЕМА ЯКОБИ-ПУАССОНА. КАНОНИЧЕСКИЕ ПРЕОБРАЗОВАНИЯ

ЛЕКЦИЯ 21 СКОБКИ ПУАССОНА. ТЕОРЕМА ЯКОБИ-ПУАССОНА. КАНОНИЧЕСКИЕ ПРЕОБРАЗОВАНИЯ ЛЕКЦИЯ 21 СКОБКИ ПУАССОНА. ТЕОРЕМА ЯКОБИ-ПУАССОНА. КАНОНИЧЕСКИЕ ПРЕОБРАЗОВАНИЯ 1. Скобки Пуассона На прошлой лекции вводилось понятие скобки Лагранжа. Это выражение было составлено из частных производных

Подробнее

Числовые характеристики непрерывных случайных величин

Числовые характеристики непрерывных случайных величин Числовые характеристики непрерывных случайных величин 1 Математическое ожидание Математическим ожиданием непрерывной случайной величины с плотностью распределения называется число M X + = px ( ) xp( x)

Подробнее

Теоретические основы синтеза радиотехнических систем

Теоретические основы синтеза радиотехнических систем Теоретические основы синтеза радиотехнических систем Лекция 7. Статистическое описание событий и процессов Практическое понятие вероятности Если имеется N результатов экспериментов, среди которых событие

Подробнее

Л Е К Ц И Я 4. и получаем ортонормированный базис из его собственных векторов χ x : причем для определенности считаем спектр чисто дискретным:

Л Е К Ц И Я 4. и получаем ортонормированный базис из его собственных векторов χ x : причем для определенности считаем спектр чисто дискретным: Л Е К Ц И Я 4 А ПРЕДСТАВЛЕНИЕ КВАНТОВОЙ МЕХАНИКИ На прошлой лекции мы построили некую конкретную схему квантовой механики, взяв в качестве основного оператор координаты $ X. Делалось это так. Ставим задачу

Подробнее

СИСТЕМЫ ЛИНЕЙНЫХ ДИФФЕРЕНЦИАЛЬНЫХ УРАВНЕНИЙ: НЕМНОГО ТЕОРИИ И РЕШЕНИЯ ЗАДАЧ. Балакина Е.Ю.

СИСТЕМЫ ЛИНЕЙНЫХ ДИФФЕРЕНЦИАЛЬНЫХ УРАВНЕНИЙ: НЕМНОГО ТЕОРИИ И РЕШЕНИЯ ЗАДАЧ. Балакина Е.Ю. Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Новосибирский национальный исследовательский государственный университет» СИСТЕМЫ ЛИНЕЙНЫХ ДИФФЕРЕНЦИАЛЬНЫХ

Подробнее

Лекция 24. Регрессионный анализ. Функциональная, статистическая и корреляционная зависимости

Лекция 24. Регрессионный анализ. Функциональная, статистическая и корреляционная зависимости МВДубатовская Теория вероятностей и математическая статистика Лекция 4 Регрессионный анализ Функциональная статистическая и корреляционная зависимости Во многих прикладных (в том числе экономических) задачах

Подробнее

ЛЕКЦИЯ 15 АТОМ ВОДОРОДА

ЛЕКЦИЯ 15 АТОМ ВОДОРОДА ЛЕКЦИЯ 15 АТОМ ВОДОРОДА В квантовой механике существуют две важные модели, с помощью которых удается решить многие практические задачи: Осциллятор; Атом водорода. Отличие в рассмотрении этих моделей состоит

Подробнее

Лекция 3. Математическое описание систем управления

Лекция 3. Математическое описание систем управления Лекция 3 Математическое описание систем управления В теории управления при анализе и синтезе систем управления имеют дело с их математической моделью Математическая модель САУ представляет собой уравнения

Подробнее

Л и н е й н ы е к л а с с и ф и к а т о р ы

Л и н е й н ы е к л а с с и ф и к а т о р ы МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РФ ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ «САМАРСКИЙ ГОСУДАРСТВЕННЫЙ АЭРОКОСМИЧЕСКИЙ УНИВЕРСИТЕТ имени академика С.П.КОРОЛЕВА

Подробнее

7. Алгоритмы Рунге-Кутты

7. Алгоритмы Рунге-Кутты 7. Алгоритмы Рунге-Кутты 1 7. Алгоритмы Рунге-Кутты Наиболее эффективным и часто использующемся методом решения ОДУ остается метод Рунге-Кутты. Большинство расчетов задач Коши для ОДУ, которые не являются

Подробнее

Параметрический анализ в задачах математического программирования

Параметрический анализ в задачах математического программирования ТРУДЫ МФТИ. 014. Том 6, 3 Е. А. Умнов, А. Е. Умнов 73 УДК 519.65 Е. А. Умнов, А. Е. Умнов Московский физико-технический институт (государственный университет) Параметрический анализ в задачах математического

Подробнее

Программа и задачи курса Случайные процессы

Программа и задачи курса Случайные процессы Программа и задачи курса Случайные процессы лектор к.ф.-м.н. Д. А. Шабанов ПРОГРАММА 1. Понятие случайного процесса (случайной функции). Примеры: случайное блуждание, процессы восстановления, эмпирические

Подробнее

Разностные схемы для нелинейных задач. Квазилинейное уравнение переноса.

Разностные схемы для нелинейных задач. Квазилинейное уравнение переноса. Разностные схемы для нелинейных задач. Квазилинейное уравнение переноса. Для численного решения нелинейных задач в различных ситуациях используют как линейные, так и нелинейные схемы. Устойчивость соответствующих

Подробнее

НАИЛУЧШЕЕ ДРОБНО-РАЦИОНАЛЬНОЕ ПРИБЛИЖЕНИЕ ФУНКЦИИ НА ОТРЕЗКЕ. М. А. Кольцов. 24 ноября 2016 г.

НАИЛУЧШЕЕ ДРОБНО-РАЦИОНАЛЬНОЕ ПРИБЛИЖЕНИЕ ФУНКЦИИ НА ОТРЕЗКЕ. М. А. Кольцов. 24 ноября 2016 г. НАИЛУЧШЕЕ ДРОБНО-РАЦИОНАЛЬНОЕ ПРИБЛИЖЕНИЕ ФУНКЦИИ НА ОТРЕЗКЕ М. А. Кольцов kolmax94@gmail.com 24 ноября 26 г.. Постановка задачи. Часто значение какой-либо функции известно лишь в заданных точках с некоторой

Подробнее

ЛАБОРАТОРНАЯ РАБОТА 2 МНОГОСЛОЙНЫЕ СИГМОИДАЛЬНЫЕ СЕТИ

ЛАБОРАТОРНАЯ РАБОТА 2 МНОГОСЛОЙНЫЕ СИГМОИДАЛЬНЫЕ СЕТИ ЛАБОРАТОРНАЯ РАБОТА МНОГОСЛОЙНЫЕ СИГМОИДАЛЬНЫЕ СЕТИ Многослойный персептрон В многослойном персептроне нейроны расположены в несколько слоев Нейроны первого слоя получают входные сигналы преобразуют их

Подробнее

НЕПАРАМЕТРИЧЕСКАЯ ИДЕНТИФИКАЦИЯ ДИНАМИЧЕСКИХ СИСТЕМ

НЕПАРАМЕТРИЧЕСКАЯ ИДЕНТИФИКАЦИЯ ДИНАМИЧЕСКИХ СИСТЕМ 3181 УДК 6-56.1 НЕПАРАМЕТРИЧЕСКАЯ ИДЕНТИФИКАЦИЯ ДИНАМИЧЕСКИХ СИСТЕМ Н.В. Коплярова Сибирский Федеральный Университет Россия 6641 Красноярск пр. Свободный 79 E-mail: koplyarovanv@mail.ru Н.А. Сергеева Сибирский

Подробнее

2.4. МЕТОД НАИМЕНЬШИХ КВАДРАТОВ К ОЦЕНКЕ КОЭФФИЦИЕНТОВ ТРЕНДОВЫХ МОДЕЛЕЙ

2.4. МЕТОД НАИМЕНЬШИХ КВАДРАТОВ К ОЦЕНКЕ КОЭФФИЦИЕНТОВ ТРЕНДОВЫХ МОДЕЛЕЙ .4. МЕТОД НАИМЕНЬШИХ КВАДРАТОВ К ОЦЕНКЕ КОЭФФИЦИЕНТОВ ТРЕНДОВЫХ МОДЕЛЕЙ Достаточно простые способы оценки коэффициентов линейного тренда, приведённые в предыдущее параграфе, обладают среди прочих одним

Подробнее

Тема: Интегрирование рациональных дробей

Тема: Интегрирование рациональных дробей Математический анализ Раздел: Неопределенный интеграл Тема: Интегрирование рациональных дробей Лектор Пахомова Е.Г. 0 г. 5. Интегрирование рациональных дробей ОПРЕДЕЛЕНИЕ. Рациональной дробью называется

Подробнее

Программа и задачи курса Случайные процессы

Программа и задачи курса Случайные процессы Программа и задачи курса Случайные процессы лектор профессор Д. А. Шабанов осень 2016 ПРОГРАММА 1. Понятие случайного процесса (случайной функции). Примеры: случайное блуждание, процессы восстановления,

Подробнее

Построение доверительного интервала для прогноза по модели. y a L y a L y... a L y b L b L... Эту формулу можно переписать в симметричном виде

Построение доверительного интервала для прогноза по модели. y a L y a L y... a L y b L b L... Эту формулу можно переписать в симметричном виде Иткина А.Я. Временные ряды Построение доверительного интервала для прогноза по модели ARMA(, ) В авторегрессионных моделях нарушается требование отсутствия корреляции ошибок и факторов, поэтому классический

Подробнее

Отчет по лабораторной работе «Использование метода имитации отжига для построения управляющих автоматов»

Отчет по лабораторной работе «Использование метода имитации отжига для построения управляющих автоматов» Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики Факультет информационных технологий и программирования Кафедра «Компьютерные технологии» Геращенко

Подробнее

ПРИКЛАДНАЯ АЛГЕБРА. Часть I: Конечные поля или поля Галуа. II 1 / 78. Часть I. Конечные поля или поля Галуа. II

ПРИКЛАДНАЯ АЛГЕБРА. Часть I: Конечные поля или поля Галуа. II 1 / 78. Часть I. Конечные поля или поля Галуа. II ПРИКЛАДНАЯ АЛГЕБРА. Часть I: Конечные поля или поля Галуа. II 1 / 78 Часть I Конечные поля или поля Галуа. II ПРИКЛАДНАЯ АЛГЕБРА. Часть I: Конечные поля или поля Галуа. II 2 / 78 Поля вычетов по модулю

Подробнее

План лекции. Статистики, свойства оценок. Методы оценки параметров. Доверительные интервалы, оценка статистических ошибок

План лекции. Статистики, свойства оценок. Методы оценки параметров. Доверительные интервалы, оценка статистических ошибок План лекции Статистики, свойства оценок. Методы оценки параметров метод моментов метод максимума правдоподобия метод наименьших квадратов Доверительные интервалы, оценка статистических ошибок Функция результатов

Подробнее

Статистическая теория принятия решений

Статистическая теория принятия решений Казанский Федеральный Университет, 2014 Outline 1 2 Метод ближайших соседей Линейная модель очень сильные предположения, много точек не нужно. Совсем другой подход давайте вообще никаких предположений

Подробнее

Материалы к экзамену. Теоретический минимум

Материалы к экзамену. Теоретический минимум ФКН ВШЭ, 3 курс, 3 модуль Материалы к экзамену Вероятностные модели и статистика случайных процессов, весна 2017 Теоретический минимум 1. Сформулируйте определение случайного процесса как случайной функции.

Подробнее

Л Е К Ц И Я 8 ГАРМОНИЧЕСКИЙ ОСЦИЛЛЯТОР

Л Е К Ц И Я 8 ГАРМОНИЧЕСКИЙ ОСЦИЛЛЯТОР Л Е К Ц И Я 8 ГАРМОНИЧЕСКИЙ ОСЦИЛЛЯТОР Классический осциллятор. Пусть частица совершает одномерное движение. Разложим ее потенциальную энергию в ряд Тейлора в окрестности x 0 до второго порядка: V(x) V(0)

Подробнее

ВАРИАЦИОННОЕ ИСЧИСЛЕНИЕ

ВАРИАЦИОННОЕ ИСЧИСЛЕНИЕ Глава ВАРИАЦИОННОЕ ИСЧИСЛЕНИЕ Лекция 9 Введение В этой главе мы будем рассматривать задачи отыскания экстремумов (максимумов или минимумов) функционалов Сразу отметим, что такие задачи относятся к числу

Подробнее

Метод Крылова и Черноусько.

Метод Крылова и Черноусько. Метод Крылова и Черноусько. Пусть управляемый процесс описывается системой обыкновенных дифференциальных уравнений ẋ = f(t, x, u), t [t 0, T ], x(t 0 ) = x 0, u(t) U, где x R n вектор фазовых координат,

Подробнее

Янгель Б.К. Спецкурс Байесовские методы машинного обучения. МГУ ВМК, Яндекс. Байесовский подход и Акинатор. Янгель Б.К. Введение.

Янгель Б.К. Спецкурс Байесовские методы машинного обучения. МГУ ВМК, Яндекс. Байесовский подход и Акинатор. Янгель Б.К. Введение. МГУ ВМК, Яндекс Спецкурс Байесовские методы машинного обучения Что такое (кто такой)? Можно найти по адресу http://akinator.com; Расширенный вариант игры 20 ; Специализируется на персонажах; Как правило,

Подробнее

4. ЧИСЛЕННЫЕ МЕТОДЫ ПОИСКА БЕЗУСЛОВНОГО ЭКСТРЕМУМА

4. ЧИСЛЕННЫЕ МЕТОДЫ ПОИСКА БЕЗУСЛОВНОГО ЭКСТРЕМУМА Лекция 3 4. ЧИСЛЕННЫЕ МЕТОДЫ ПОИСКА БЕЗУСЛОВНОГО ЭКСТРЕМУМА Принципы построения численных методов. Применение необходимых и достаточных условий безусловного экстремума эффективно для решения ограниченного

Подробнее

( x i, y i ). Предположим, что X и Y связаны линейной корреляционной. ϕ называют линией Линейная корреляционная зависимость

( x i, y i ). Предположим, что X и Y связаны линейной корреляционной. ϕ называют линией Линейная корреляционная зависимость .. Линейная корреляционная зависимость Часто на практике требуется установить вид и оценить силу зависимости изучаемой случайной величины Y от одной или нескольких других величин (случайных или неслучайных).

Подробнее

Тема 1-7: Определители

Тема 1-7: Определители Тема 1-7: Определители А. Я. Овсянников Уральский федеральный университет Институт математики и компьютерных наук кафедра алгебры и дискретной математики алгебра и геометрия для механиков (1 семестр) Перестановки

Подробнее

Графические модели и байесовский вывод на них

Графические модели и байесовский вывод на них Академический Университет, 2012 Outline Алгоритм передачи сообщений 1 Алгоритм передачи сообщений В чём же проблема В предыдущих лекциях мы рассмотрели задачу байесовского вывода, ввели понятие сопряжённого

Подробнее

Линейные методы классификации II

Линейные методы классификации II 1/40 Виктор Китов v.v.kitov@yandex.ru МГУ им.ломоносова, ф-т ВМиК, кафедра ММП. I семестр 2015 г. 2/40 Линейный дискриминант Фишера Содержание 1 Линейный дискриминант Фишера 2 Логистическая регрессия 3

Подробнее

ПРИМЕНЕНИЕ МЕТОДА НАИСКОРЕЙШЕГО СПУСКА К РЕШЕНИЮ ДИФФЕРЕНЦИАЛЬНЫХ НЕРАВЕНСТВ. А. В. Фоминых. 12 мая 2016 г.

ПРИМЕНЕНИЕ МЕТОДА НАИСКОРЕЙШЕГО СПУСКА К РЕШЕНИЮ ДИФФЕРЕНЦИАЛЬНЫХ НЕРАВЕНСТВ. А. В. Фоминых. 12 мая 2016 г. ПРИМЕНЕНИЕ МЕТОДА НАИСКОРЕЙШЕГО СПУСКА К РЕШЕНИЮ ДИФФЕРЕНЦИАЛЬНЫХ НЕРАВЕНСТВ А. В. Фоминых alexfomster@mail.ru 1 мая 16 г. Аннотация. В докладе рассматривается задача нахождения решения системы дифференциальных

Подробнее

Программа и задачи курса Случайные процессы

Программа и задачи курса Случайные процессы Программа и задачи курса Случайные процессы лектор к.ф.-м.н. Д. А. Шабанов осень 2012 ПРОГРАММА 1. Понятие случайного процесса (случайной функции). Примеры: случайное блуждание, процессы восстановления,

Подробнее

Алгоритм передачи сообщений

Алгоритм передачи сообщений Академический Университет, 2012 Outline 1 2 Сложная структура графа Сложные факторы Важная для вывода модификация фактор-граф (можно построить и по направленной модели, и по ненаправленной). Фактор-граф

Подробнее

МЕТОДЫ СТОХАСТИЧЕСКОЙ АППРОКСИМАЦИИ

МЕТОДЫ СТОХАСТИЧЕСКОЙ АППРОКСИМАЦИИ Министерство образования и науки Российского Федерации Сибирский федеральный университет МЕТОДЫ СТОХАСТИЧЕСКОЙ АППРОКСИМАЦИИ МЕТОДИЧЕСКИЕ УКАЗАНИЯ Красноярск СФУ ПРЕДИСЛОВИЕ На сегодняшний день сравнительно

Подробнее

Лекция 5. Прямая на плоскости. 1. Уравнение прямой, задаваемой точкой и вектором нормали.

Лекция 5. Прямая на плоскости. 1. Уравнение прямой, задаваемой точкой и вектором нормали. Лекция 5 на плоскости. Определение. Любая прямая на плоскости может быть задана уравнением первого порядка причем постоянные А, В не равны нулю одновременно. Это уравнение первого порядка называют общим

Подробнее

8 Методы численного интегрирования.

8 Методы численного интегрирования. интеграла. 8 Методы численного интегрирования. В данной главе будут рассмотрены методы вычисления определенного Методы численного интегрирования находят широкое применение при автоматизации решения научных

Подробнее

ГЛОБАЛЬНАЯ ОПТИМИЗАЦИЯ И МЕТОДЫ НАХОЖДЕНИЯ ВСЕХ КОРНЕЙ СИСТЕМ НЕЛИНЕЙНЫХ АЛГЕБРАИЧЕСКИХ УРАВНЕНИЙ. В. П. Булатов, Т. И. Белых

ГЛОБАЛЬНАЯ ОПТИМИЗАЦИЯ И МЕТОДЫ НАХОЖДЕНИЯ ВСЕХ КОРНЕЙ СИСТЕМ НЕЛИНЕЙНЫХ АЛГЕБРАИЧЕСКИХ УРАВНЕНИЙ. В. П. Булатов, Т. И. Белых ДИСКРЕТНЫЙ АНАЛИЗ И ИССЛЕДОВАНИЕ ОПЕРАЦИЙ Январь июнь 2006. Серия 2. Том 13, 1. 3 9 УДК 519.853.4 ГЛОБАЛЬНАЯ ОПТИМИЗАЦИЯ И МЕТОДЫ НАХОЖДЕНИЯ ВСЕХ КОРНЕЙ СИСТЕМ НЕЛИНЕЙНЫХ АЛГЕБРАИЧЕСКИХ УРАВНЕНИЙ В. П.

Подробнее

Пробеги тяжелых ионов низких и средних энергий в аморфном веществе

Пробеги тяжелых ионов низких и средних энергий в аморфном веществе 1;5;1;11 Пробеги тяжелых ионов низких и средних энергий в аморфном веществе Е.Г. Шейкин Научно-исследовательское предприятие гиперзвуковых систем, 19666 Санкт-Петербург, Россия (Поступило в Редакцию 28

Подробнее

- столбец напряжений в узлах схемы;

- столбец напряжений в узлах схемы; Лекция 5. Основные уравнения и граничные условия, описывающие электростатическое поле. Расчеты установившихся режимов необходимы при выборе конфигурации схемы электрической системы и параметров ее элементов,

Подробнее

ПРИКЛАДНАЯ АЛГЕБРА. Часть I: Конечные поля (поля Галуа). II 1 / 78. Часть I. Конечные поля (поля Галуа). II

ПРИКЛАДНАЯ АЛГЕБРА. Часть I: Конечные поля (поля Галуа). II 1 / 78. Часть I. Конечные поля (поля Галуа). II ПРИКЛАДНАЯ АЛГЕБРА. Часть I: Конечные поля (поля Галуа). II 1 / 78 Часть I Конечные поля (поля Галуа). II ПРИКЛАДНАЯ АЛГЕБРА. Часть I: Конечные поля (поля Галуа). II 2 / 78 Поля вычетов по модулю простого

Подробнее

, (1.2) где π ij некоторые числа, i, j = 1,..., s; здесь значения x i1,..., x in выбраны произвольным

, (1.2) где π ij некоторые числа, i, j = 1,..., s; здесь значения x i1,..., x in выбраны произвольным 1. КОНЕЧНЫЕ ОДНОРОДНЫЕ ЦЕПИ МАРКОВА Рассмотрим последовательность случайных величин ξ n, n 0, 1,..., каждая из коорых распределена дискретно и принимает значения из одного и того же множества {x 1,...,

Подробнее

МЕТОДЫ И МАТЕМАТИЧЕСКИЕ МОДЕЛИ ОПТИМИЗАЦИИ ПРОЕКТНЫХ РЕШЕНИЙ

МЕТОДЫ И МАТЕМАТИЧЕСКИЕ МОДЕЛИ ОПТИМИЗАЦИИ ПРОЕКТНЫХ РЕШЕНИЙ МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РФ ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ «САМАРСКИЙ ГОСУДАРСТВЕННЫЙ АЭРОКОСМИЧЕСКИЙ УНИВЕРСИТЕТ имени академика СП КОРОЛЕВА»

Подробнее

О КОМПЛЕКСЕ ПРОГРАММ ДЛЯ РЕШЕНИЯ ЗАДАЧИ ИДЕНТИФИКАЦИИ ЛИНЕЙНЫХ ДИНАМИЧЕСКИХ ДИСКРЕТНЫХ СТАЦИОНАРНЫХ ОБЪЕКТОВ

О КОМПЛЕКСЕ ПРОГРАММ ДЛЯ РЕШЕНИЯ ЗАДАЧИ ИДЕНТИФИКАЦИИ ЛИНЕЙНЫХ ДИНАМИЧЕСКИХ ДИСКРЕТНЫХ СТАЦИОНАРНЫХ ОБЪЕКТОВ СБОРНИК НАУЧНЫХ ТРУДОВ НГТУ. 28. 4(54). 37 44 УДК 59.24 О КОМПЛЕКСЕ ПРОГРАММ ДЛЯ РЕШЕНИЯ ЗАДАЧИ ИДЕНТИФИКАЦИИ ЛИНЕЙНЫХ ДИНАМИЧЕСКИХ ДИСКРЕТНЫХ СТАЦИОНАРНЫХ ОБЪЕКТОВ Г.В. ТРОШИНА Рассмотрен комплекс программ

Подробнее