Д. П. Ветров 1. Курс «Графические модели» ЕМ-алгоритм. Обучение скрытых. марковских моделей без учителя. Ветров. ЕМ-алгоритм в общем виде

Размер: px
Начинать показ со страницы:

Download "Д. П. Ветров 1. Курс «Графические модели» ЕМ-алгоритм. Обучение скрытых. марковских моделей без учителя. Ветров. ЕМ-алгоритм в общем виде"

Транскрипт

1 Д. П. 1 1 МГУ, ВМиК, каф. ММП Курс «Графические модели»

2 План лекции

3 EM-алгоритм. Разложение логарифма Требуется найти максимум в вероятностной модели со скрытыми переменными: p(x Θ) = p(x, T Θ)dT max log p(x Θ) max Θ Θ p(x, T Θ) = p(t X,Θ)p(X Θ) log p(x, T Θ) = log p(t X,Θ)+log p(x Θ) q(t) произвольное распределение. log p(x Θ) = log p(x Θ)q(T)dT = [log p(x, T Θ) log p(t X,Θ)] q(t)dt = log p(x, T Θ)q(T)dT log p(t X, Θ)q(T)dT = p(x, T Θ) log q(t)dt log p(t X,Θ) q(t)dt q(t) q(t)

4 Нижняя оценка для логарифма p(x, T Θ) log p(x Θ) = log q(t)dt q(t) }{{} l(q,θ) log p(t X,Θ) q(t)dt q(t) }{{} KL(q p) 0 Дивергенция Кульбака-Лейблера KL(q p) определяет расстояние между вероятностными распределениями KL(q p) = q(x) log(p(x)/q(x))dx KL(q p) 0 и KL(q p) = 0 q p. KL(q p) KL(p q) Тогда l(q,θ) является нижней оценкой log p(x Θ): log p(x Θ) l(q,θ) и равенство q(t) = p(t X,Θ)

5 Идея EM- log p(x Θ) = l(q,θ)+kl(q p) Итерационная схема. Фиксируем некоторое значение Θ old. Приблизим в точке Θ old правдоподобие с помощью его нижней оценки: q(t) = p(t X,Θ old ) log p(x Θ) l(q,θ) = log p(x, T Θ)p(T X,Θ old )dt log p(t X,Θ old )p(t X,Θ old )dt Найдем новое значение Θ с помощью максимизации нижней оценки: l(q,θ) max E T X,Θ old log p(x, T Θ) max Θ Θ

6 Иллюстрация EM-

7 Схема ЕМ- E-шаг. Фиксируется значение параметров Θ old. Оценивается апостериорное распределение на скрытые переменные p(t X,Θ old ), и полное правдоподобие усредняется по полученному распределению: E T X,Θold log p(x, T Θ) = log p(x, T Θ)p(T X,Θ old )dt М-шаг. Фиксируется апостериорное распределение p(t X,Θ old ), и производится поиск новых значений параметров Θ new : Θ new = arg max Θ E T X,Θ old log p(x, T Θ) Шаги E и M повторяются до сходимости.

8 Максимизация апостериорного распределения Задача p(θ X) max Θ Справедливо разложение F = log p(x Θ)+ log p(θ) max Θ F = L(q,θ)+log p(θ)+kl(q p) L(q,Θ)+log p(θ) Е-шаг остаётся без изменений. Модификация М-шага: E T X,Θold log p(x, T Θ)+log p(θ) max Θ

9 План лекции

10 (СММ) t 1 t 2 t n-1 t n t n+1 x 1 x 2 x n-1 x n x n+1 t N x N [первого порядка] это вероятностная последовательности, которая Состоит из набора наблюдаемых переменных X = {x 1,...,x N } и латентных () переменных T = {t 1,...,t N }. Латентные переменные T являются дискретными, поэтому их иногда называют переменными состояния. Значение наблюдаемого вектора в момент времени n x n зависит только от скрытого состояния t n, которое в свою очередь зависит только от скрытого состояния в предыдущий момент времени t n 1.

11 Спецификация вероятностной модели I Пусть имеется K возможных состояний. Закодируем состояние в каждый момент времени n бинарным вектором t n = (t n1,...,t nk ), где { 1, если в момент n находится в состоянии j t nj = 0, иначе Тогда распределение p(t n t n 1 ) можно задать матрицей перехода A размера K K, где A ij = p(t nj = 1 t n 1,i = 1), j A ij = 1, т.е. p(t n t n 1 ) = K K i=1 j=1 A tn 1,itnj ij Пусть в первый момент времени p(t 1j = 1) = π j. Тогда p(t 1 ) = K j=1 π t1j j

12 Спецификация вероятностной модели II Пусть для каждого состояния k {1,...,K} в момент времени n известна генерации наблюдаемых данных x n p(x n φ k ), задаваемая с помощью набора параметров φ k. Тогда K p(x n t n ) = (p(x n φ k )) tnk j=1 Обозначим полный набор параметров СММ через Θ = {π, A, φ}. Тогда правдоподобие в СММ вычисляется как N N p(x, T Θ) = p(t 1, π ) p(t n t n 1, A ) p(x n t n, φ ) = = K j=1 π t1j j n=2 N K K n=2 i=1 j=1 A tn 1,itnj ij n=1 ( N ) K (p(x n φ k )) tnk n=1 k=1

13 Задачи в СММ Сегментация. Известна некоторая последовательность X и набор параметров Θ. Задача состоит в получении наиболее правдоподобной последовательности состояний T как arg max T p(t X,Θ) (алгоритм Витерби). с учителем. Известна некоторая последовательность X, для которой заданы T. Задача состоит в оценке по обучающей выборке набора параметров Θ. без Известна некоторая последовательность X и число состояний K. Задача состоит в оценке параметров Θ (ЕМ-алгоритм). Нахождение маргинального распределения p(t n X,Θ) компоненты t n по заданным X и Θ Прогнозирование. Известна некоторая последовательность X. Задача состоит в оценке наблюдаемого вектора в следующий момент времени N + 1 p(x N+1 X).

14 План лекции

15 Для оценки параметров СММ Θ воспользуемся методом : Θ = arg max p(x Θ) = arg max p(x, T Θ) Θ Θ Прямая максимизация затруднительна, т.к. оптимизируемая функция не является выпуклой и, кроме того, для вычисления функции требуется суммирование N K слагаемых. Можно воспользоваться итерационным ЕМ-алгоритмом. T

16 EM-алгоритм в Требуется найти максимум в вероятностной модели со скрытыми переменными: p(x Θ) = ( ) p(x, T Θ) max log p(x, T Θ) max Θ Θ T E-шаг. Фиксируется значение параметров Θ old. Оценивается апостериорное распределение на скрытые переменные p(t X,Θ old ), и полное правдоподобие усредняется по полученному распределению: E T X,Θold log p(x, T Θ) = T T log p(x, T Θ)p(T X,Θ old ) М-шаг. Фиксируется апостериорное распределение p(t X,Θ old ), и производится поиск новых значений параметров Θ new : Θ new = arg max Θ E T X,Θ old log p(x, T Θ) Шаги E и M повторяются до сходимости.

17 E-шаг Обозначим γ(t nj ) = E T X,Θ t nj = p(t nj = 1 X,Θ old ), ξ(t n 1,i, t nj ) = E T X,Θ (t n 1,i t nj ) = p(t n 1,i = 1, t nj = 1 X,Θ old ). Тогда K log p(x, T Θ) = t 1j logπ j + j=1 N K K N K t n 1,i t nj log A ij + t nj log p(x n φ k ) n=2 i=1 j=1 n=1 j=1 K E T X,Θold log p(x, T Θ) = γ(t 1j ) logπ j + j=1 N K K N K ξ(t n 1,i, t nj ) log A ij + γ(t nj ) log p(x n φ k ) n=2 i=1 j=1 n=1 j=1

18 M-шаг π : K K γ(t 1j ) logπ j +λ π j 1 extr j=1 j=1 γ(t 1j ) +λ = 0 π j = γ(t 1j) π j λ K K π j = 1 λ = γ(t 1i ) j=1 π new j = i=1 γ(t 1j ) K i=1 γ(t 1i) Действуя аналогично для A, принимая во внимание, что K j=1 A ij = 1 i, получаем: A new ij = N n=2 ξ(t n 1,it nj ) K N k=1 n=2 ξ(t n 1,it nk ) π,λ

19 M-шаг для компонент φ М-шаг для компонент генерации данных p(x n φ k ) абсолютно аналогичен М-шагу для оценки параметров при восстановлении смесей распределений. В частности, если в качестве компонент выступают многомерные нормальные распределения p(x n φ k ) = N(x n µ k,σ k ), то задача оптимизации для параметров µ k,σ k может быть решена в явном виде: Σ k = N n=1 µ k = γ(t nk)x n N n=1 γ(t nk) N n=1 γ(t nk)(x n µ k )(x n µ k ) T N n=1 γ(t nk)

20 Инициализация параметров Θ Для начала работы ЕМ- необходимо задать начальные значения параметров Θ = (π, A, φ). Заметим, что если какой-нибудь параметр инициализирован нулем, то в процессе итераций ЕМ его значение не изменится. Значения параметров π и A обычно выбираются случайными при соблюдении ограничений j π j = 1 и j A ij = 1 i. Инициализация φ зависит от формы распределений p(x φ). В случае нормальных распределений можно провести кластеризацию данных на K кластеров и выбрать в качестве µ k и Σ k центр и разброс соответствующего кластера.

21 План лекции

22 Вычисление апостериорных распределений на скрытые компоненты На Е-шаге обучения СММ требуется вычисление апостериорных распределений на скрытые компоненты γ(t nj ) = p(t nj = 1 X,Θ), ξ(t n 1,i, t nj ) = p(t n 1,i = 1, t nj = 1 X,Θ) (Баума-Уэлша) позволяет эффективно вычислять эти величины для всех n, i, j за линейное по N время. В дальнейшем для удобства будем опускать Θ во всех формулах, считая набор параметров фиксированным.

23 Свойства условной независимости t 1 t 2 t n-1 t n t n+1 x 1 x 2 x n-1 x n x n+1 t N x N p(x t n ) =p(x 1,...,x n t n )p(x n+1,...,x N t n ) p(x 1,...,x n 1 x n, t n ) =p(x 1,...,x n 1 t n ) p(x 1,...,x n 1 t n 1, t n ) =p(x 1,...,x n 1 t n 1 ) p(x n+1,...,x N t n, t n+1 ) =p(x n+1,...,x N t n+1 ) p(x n+2,...,x N t n+1, x n+1 ) =p(x n+2,...,x N t n+1 ) p(x t n 1, t n ) =p(x 1,...,x n 1 t n 1 )p(x n t n ) p(x n+1,...,x N t n ) p(x N+1 X, t N+1 ) =p(x N+1 t N+1 ) p(t N+1 t N, X) =p(t N+1 t N )

24 Вычисление γ(t nj ) По формуле Байеса γ(t n ) = p(t n X) = p(x t n)p(t n ) p(x) Пользуясь свойствами условной независимости, получаем Здесь γ(t n ) = p(x 1,...,x n, t n )p(x n+1,...,x N t n ) p(x) α(t n ) = p(x 1,...,x n, t n ) β(t n ) = p(x n+1,...,x N t n ) = α(t n)β(t n ) p(x) позволяет быстро рекуррентно вычислять значение α(t n ) через α(t n 1 ) (проход вперед) и β(t n ) через β(t n+1 ) (проход назад).

25 Рекуррентная формула для α(t n ) α(t n ) =p(x 1,...,x n, t n ) = =p(x 1,...,x n t n )p(t n ) = =p(x n t n )p(x 1,...,x n 1 t n )p(t n ) = =p(x n t n )p(x 1,...,x n 1, t n ) = =p(x n t n ) p(x 1,...,x n 1, t n 1, t n ) = t n 1 =p(x n t n ) p(x 1,...,x n 1, t n t n 1 )p(t n 1 ) = t n 1 =p(x n t n ) p(x 1,...,x n 1 t n 1 )p(t n t n 1 )p(t n 1 ) = t n 1 =p(x n t n ) p(x 1,...,x n 1, t n 1 )p(t n t n 1 ) = t n 1 =p(x n t n ) α(t n 1 )p(t n t n 1 ) t n 1

26 Вычисление α(t n ) Для запуска рекуррентного процесса необходимо вычислить α(t 1 ) = p(x 1, t 1 ) = p(t 1 )p(x 1 t 1 ) = K (π j p(x 1 φ k )) t1j На каждом шаге рекурсии вектор α(t n ) длины K умножается на матрицу p(t n t n 1 ) размера K K. Поэтому сложность всего рекуррентного процесса составляет O(NK 2 ). j=1

27 Рекуррентная формула для β(t n ) β(t n ) =p(x n+1,...,x N t n ) = = p(x n+1,...,x N, t n+1 t n ) = t n+1 = p(x n+1,...,x N t n+1 )p(t n+1 t n ) = t n+1 = p(x n+2,...,x N t n+1 )p(x n+1 t n+1 )p(t n+1 t n ) = t n+1 = β(t n+1 )p(x n+1 t n+1 )p(t n+1 t n ) t n+1

28 Инициализация рекуррентного процесса для β(t n ) Вспомним формулу, связывающую значение γ(t n ) с α(t n ) и β(t n ): γ(t n ) = p(x 1,...,x n, t n )p(x n+1,...,x N t n ) p(x) = α(t n)β(t n ) p(x) Подставляя в формулу значение n = N, получаем Таким образом, β(t N ) = 1. γ(t N ) = p(t N X) = p(x, t N)β(t N ) p(x)

29 Нормировочная константа p(x) Значение γ(t n ) определено с точностью до нормировочной константы p(x). Однако, на М-шаге значение γ(t n ), как правило, входит в числитель и в знаменатель. Таким образом, нормировочная константа сокращается. На, при вычислении центра нормального распределения: µ k = N n=1 γ(t nk)x n N n=1 γ(t nk) N n=1 = α(t nk)β(t nk )x k N n=1 α(t nk)β(t nk ) Тем не менее, сама нормировочная константа p(x) это значение, которое может представлять отдельный интерес (на, можно отслеживать возрастание при итерациях ЕМ-). Зная α(t n ) и β(t n ), правдоподобие может быть легко вычислено как p(x) = t n α(t n )β(t n ), n p(x) = t N α(t N )

30 Формула для ξ(t n 1, t n ) ξ(t n 1, t n ) = p(t n 1, t n X) = = p(x t n 1, t n )p(t n 1, t n ) p(x) = p(x 1,...,x n 1 t n 1 )p(x n t n )p(x n+1,...,x N t n )p(t n t n 1 )p(t n 1 ) p(x) = α(t n 1)p(x n t n )p(t n t n 1 )β(t n ) p(x) = =

31 Итоговый ЕМ-алгоритм для случая, когда p(x n t n ) нормальные распределения Начальная инициализация параметров Θ = (π, A, φ). Параметры π и A можно инициализировать случайно, а φ с помощью кластеризации данных. Е-шаг. Вычисление α(t n ) и β(t n ) с помощью рекуррентного. Вычисление величин γ(t nj ) и ξ(t n 1,i, t nj ) и, возможно, p(x). М-шаг. Вычисление новых значений параметров: π new j = γ(t 1j) K i=1 γ(t 1i), Anew ij = N n=2 ξ(t n 1,it nj ) K N k=1 n=2 ξ(t n 1,it nk ) N µ new n=1 k = γ(t N nk)x n N n=1 γ(t nk), Σnew n=1 k = γ(t nk)(x n µ k )(x n µ k ) T N n=1 γ(t nk) Повторять шаги Е и М до сходимости (пока значение p(x) или Θ не стабилизируется).

32 Задача прогнозирования p(x N+1 X) = p(x N+1, t N+1 X) = p(x N+1 t N+1 )p(t N+1 X) = t N+1 t N+1 = ( ) p(x N+1 t N+1 ) p(t N+1, t N X) = t N+1 t N = ( ) p(x N+1 t N+1 ) p(t N X)p(t N+1 t N ) = t N+1 t N = ( ) p(x N+1 t N+1 ) p(t N+1 t N ) p(t N, X) = p(x) t N+1 t N ( ) = 1 p(x N+1 t N+1 ) p(t N+1 t N )α(t N ) p(x) t N+1 t N Это фактически смесь распределений с компонентами p(x N+1 t N+1) и весами w k = 1 p(x) t N p(t N+1 t N)α(t N). Для получения точечного прогноза x N+1 можно воспользоваться MCMC.

33 План лекции

34 Необходимость устойчивых вычислений для α(t n ) и β(t n ) Формулы пересчета для α(t n ) и β(t n ): α(t n ) =p(x n t n ) t n 1 α(t n 1 )p(t n t n 1 ) β(t n ) = t n+1 β(t n+1 )p(t n+1 t n )p(x n+1 t n+1 ) На практике значения вероятностей p(t n t n 1 ) и p(x n t n ) могут быть существенно меньше единицы. В процессе пересчета эти вероятности умножаются друг на друга, и получающиеся значения перестают укладываться в машинную точность.

35 α(t n ) I Предлагается вместо α(t n ) рассмотреть следующую величину: ˆα(t n ) = p(t n x 1,...,x n ) = α(t n ) p(x 1,...,x n ) Можно надеяться, что значения ˆα(t n ) будут существенно отличны от нуля, т.к. t n ˆα(t n ) = 1. Рассмотрим также величины c n = p(x n x n 1,...,x 1 ). Вычисление этих величин также будет устойчивым, т.к. они имеют смысл одномерных вероятностных распределений.

36 α(t n ) II Очевидно, что p(x 1,...,x n ) = n i=1 ( n ) α(t n ) = p(t n x 1,...,x n )p(x 1,...,x n ) = ˆα(t n ) c i Подставляя это выражение в формулу пересчета для α(t n ) α(t n ) = p(x n t n ) α(t n 1 )p(t n t n 1 ), t n 1 получаем c nˆα(t n ) = p(x n t n ) ˆα(t n 1 )p(t n t n 1 ) t n 1 c i i=1 Значение c n определяется из условия нормировки для ˆα(t n ).

37 β(t n ) Рассмотрим следующую величину ˆβ(t n ) = p(x n+1,...,x N t n ) p(x n+1,...,x N x 1,...,x n ) = β(t n) N i=n+1 c i Вычисление данной величины будет устойчивым, т.к. ˆβ(t n ) является отношением двух распределений на (x n+1,...,x N ). Подставляя выражение для ˆβ(t n ) в формулу пересчета получаем β(t n ) = t n+1 β(t n+1 )p(t n+1 t n )p(x n+1 t n+1 ), c n+1ˆβ(tn ) = t n+1 ˆβ(t n+1 )p(t n+1 t n )p(x n+1 t n+1 ) Значения c n определяются из формул пересчета для ˆα(t n ).

38 Окончательные выражения для Е-шага Правдоподобие p(x) вычисляется как p(x) = N n=1 Другие необходимые величины вычисляются как γ(t n ) =ˆα(t n )ˆβ(t n ) ξ(t n 1, t n ) = 1 ˆα(t n 1 )p(x n t n )p(t n t n 1 )ˆβ(t n ) c n c n

39 План лекции

40 I В качестве иллюстрации работы ЕМ- обучения СММ рассмотрим простой ный. X R, K = 3, данные сгенерированы из нормальных распределений со следующими параметрами: µ 1 = 0, µ 2 = 0, µ 3 = 1 σ 2 1 = 0.1, σ2 2 = 0.5, σ2 3 = 0.1 Априорные вероятности и матрица перехода выбраны следующим образом: π = [0.3, 0.2, 0.5], A =

41 II Ит. 1: Ит. 5: Ит. 20: Ит. 54:

42 III После 54-ой итерации ЕМ- значения параметров были следующие: π = [10 190, , 1], A = µ 1 = 0.01, σ1 2 = 0.11 µ 2 = 0.1, σ2 2 = 0.51 µ 3 = 1, σ3 2 = 0.11

Д. П. Ветров 1. Спецкурс «Графические модели» Лекция 5. Обучение без учителя. скрытых марковских моделей и. линейных динамических систем.

Д. П. Ветров 1. Спецкурс «Графические модели» Лекция 5. Обучение без учителя. скрытых марковских моделей и. линейных динамических систем. для Д. П. 1 1 МГУ, ВМиК, каф. ММП Спецкурс «Графические модели» Скрытая Марковская модель () для Скрытая Марковская модель [первого порядка] это вероятностная модель последовательности, которая Состоит

Подробнее

Д. П. Ветров 1. Курс «Графические модели», 2012г. Лекция 3. Скрытые марковские модели. Ветров. Ликбез. Основы применения СММ.

Д. П. Ветров 1. Курс «Графические модели», 2012г. Лекция 3. Скрытые марковские модели. Ветров. Ликбез. Основы применения СММ. Д. П. 1 1 МГУ, ВМиК, каф. ММП Курс «Графические модели», 2012г. План 1 Метод динамического программирования 2 Определение Обучение с учителем Алгоритм Витерби 3 Графические модели с неполными данными Разделение

Подробнее

А. С. Конушин 1 Д. П. Ветров 2 Д. А. Кропотов 3 В. С. Конушин 1 О. В. Баринова 1. Спецкурс «Структурные методы анализа изображений и сигналов»

А. С. Конушин 1 Д. П. Ветров 2 Д. А. Кропотов 3 В. С. Конушин 1 О. В. Баринова 1. Спецкурс «Структурные методы анализа изображений и сигналов» . Фильтр. Фильтр А. С. Конушин 1 Д. П. Ветров 2 Д. А. 3 В. С. Конушин 1 О. В. Баринова 1 1 МГУ, ВМиК, лаб. КГ 2 МГУ, ВМиК, каф. ММП 3 ВЦ РАН Спецкурс «Структурные методы анализа изображений и сигналов»

Подробнее

Методы Монте Карло по схеме марковской цепи (Markov Chain Monte Carlo, MCMC)

Методы Монте Карло по схеме марковской цепи (Markov Chain Monte Carlo, MCMC) Методы Монте Карло по схеме марковской цепи (Markov Chain Monte Carlo, MCMC) Идея MCMC Рассмотрим вероятностное распределение p(t ). Методы Монте Карло (методы статистических испытаний) предполагают генерацию

Подробнее

Вариационный вывод в графических моделях

Вариационный вывод в графических моделях Вариационный вывод в графических моделях Задача приближённого вывода в вероятностных моделях Рассмотрим задачу вывода в вероятностных моделях в следующей постановке. Пусть имеется некоторое вероятностное

Подробнее

Методы Монте Карло по схеме марковских цепей (Markov Chain Monte Carlo, MCMC)

Методы Монте Карло по схеме марковских цепей (Markov Chain Monte Carlo, MCMC) Курс: Графические модели, 202 Дата: 8 апреля 202 Методы Монте Карло по схеме марковских цепей (Markov Chain Monte Carlo, MCMC) Методы Монте Карло в графических моделях Рассмотрим графическую модель p(x,

Подробнее

EM-алгоритм. Д. П. Ветров 1 Д. А. Кропотов 2 А. А. Осокин 1. Спецкурс «Байесовские методы машинного обучения» EM-алгоритм. Ветров, Кропотов, Осокин

EM-алгоритм. Д. П. Ветров 1 Д. А. Кропотов 2 А. А. Осокин 1. Спецкурс «Байесовские методы машинного обучения» EM-алгоритм. Ветров, Кропотов, Осокин Д. П. Ветров 1 Д. А. Кропотов 2 А. А. 1 1 МГУ, ВМиК, каф. ММП 2 ВЦ РАН Спецкурс «Байесовские методы машинного обучения» План лекции 1 Дифференцирование матриц 2 Нормальное распределение Постановка задачи

Подробнее

Линейные динамические системы. Фильтр Калмана.

Линейные динамические системы. Фильтр Калмана. Линейные динамические системы. Фильтр Калмана. Ликбез: некоторые свойства нормального распределения Плотность распределения.4.3.. -4 x b.5 x b =.7 5 p(x a x b =.7) - x p(x a,x b) p(x a) 4 3 - - -3 x.5

Подробнее

Фильтр частиц. Д. П. Ветров 1. Спецкурс «Структурные методы анализа изображений и сигналов» Лекция 11. Методы Монте-Карло. Фильтр частиц.

Фильтр частиц. Д. П. Ветров 1. Спецкурс «Структурные методы анализа изображений и сигналов» Лекция 11. Методы Монте-Карло. Фильтр частиц. .. Д. П. 1 1 МГУ, ВМиК, каф. ММП Спецкурс «Структурные ы анализа изображений и сигналов» План. 1 ы 2 План. ы 1 ы 2 Идея а. ы Метод применяется для решения задач численного моделирования, в частности взятия

Подробнее

Лекция 11. Приближенные способы вывода. Методы Монте Карло с. процессы. Д. П. Ветров 1 Д. А. Кропотов 2

Лекция 11. Приближенные способы вывода. Методы Монте Карло с. процессы. Д. П. Ветров 1 Д. А. Кропотов 2 способы вывода. Д. П. Ветров 1 Д. А. 2 1 МГУ, ВМиК, каф. ММП 2 ВЦ РАН Спецкурс «Байесовские методы машинного обучения» План лекции 1 Случайные процессы 2 -Карло Простейшие методы цепями 3 регрессии классификации

Подробнее

Д.П. Ветров 1 Д.А. Кропотов 2

Д.П. Ветров 1 Д.А. Кропотов 2 регрессии Д.П. Ветров 1 Д.А. 2 1 МГУ, ВМиК, каф. ММП 2 ВЦ РАН Спецкурс «Байесовские методы машинного обучения» План лекции регрессии 1 2 регрессии 3 Матричные тождества регрессии Тождество Шермана-Моррисона-Вудбери

Подробнее

Конспект лекции «Линейные динамические системы. Фильтр Калмана.» по спецкурсу «Структурные методы анализа изображений и сигналов» 2011

Конспект лекции «Линейные динамические системы. Фильтр Калмана.» по спецкурсу «Структурные методы анализа изображений и сигналов» 2011 Конспект лекции «Линейные динамические системы. Фильтр Калмана.» по спецкурсу «Структурные методы анализа изображений и сигналов» 211 Ликбез: некоторые свойства нормального распределения. Пусть x R d распределен

Подробнее

Лекция 5. Решение задачи выбора модели по Байесу. Обоснованность модели

Лекция 5. Решение задачи выбора модели по Байесу. Обоснованность модели выбора выбора Д. П. Ветров 1 Д. А. 2 1 МГУ, ВМиК, каф. ММП 2 ВЦ РАН Спецкурс «Байесовские методы машинного обучения» План лекции выбора 1 2 3 ы Бритва Оккама выбора В 14 в. английский монах В.Оккам ввел

Подробнее

Лекция 4. Статистические методы распознавания, Распознавание при заданной точности для некоторых классов, ROC-анализ. Лектор Сенько Олег Валентинович

Лекция 4. Статистические методы распознавания, Распознавание при заданной точности для некоторых классов, ROC-анализ. Лектор Сенько Олег Валентинович Лекция 4 Статистические методы распознавания, Распознавание при заданной точности для некоторых классов, ROC-анализ Лектор Сенько Олег Валентинович Курс «Математические основы теории прогнозирования» 4-й

Подробнее

А. С. Конушин 1 Д. П. Ветров 2 Д. А. Кропотов 3 В. С. Конушин 1 О. В. Баринова 1. Спецкурс «Структурные методы анализа изображений и сигналов»

А. С. Конушин 1 Д. П. Ветров 2 Д. А. Кропотов 3 В. С. Конушин 1 О. В. Баринова 1. Спецкурс «Структурные методы анализа изображений и сигналов» А. С. Конушин 1 Д. П. 2 Д. А. Кропотов 3 В. С. Конушин 1 О. В. Баринова 1 1 МГУ, ВМиК, лаб. КГ 2 МГУ, ВМиК, каф. ММП 3 ВЦ РАН Спецкурс «Структурные методы анализа изображений и сигналов» План 1 2 3 Задачи

Подробнее

Матричные вычисления и нормальное распределение

Матричные вычисления и нормальное распределение Курс: Байесовские методы машинного обучения, Дата: 9 октября Матричные вычисления и нормальное распределение Дивергенция Кульбака-Лейблера 5 p(x) (x) 5 p(x) (x) 5 5 5 5 5 5-5 5 KL( p) min -5 5 KL(p ) min

Подробнее

Оценивание сходства пользователей и ресурсов путем выявления скрытых тематических профилей.

Оценивание сходства пользователей и ресурсов путем выявления скрытых тематических профилей. Анализ Клиентских Сред Оценивание сходства пользователей и ресурсов путем выявления скрытых тематических профилей Постановка задачи Исходными данными являются протоколы действий пользователей Каждая запись

Подробнее

План лекции. 1 Смесь Гауссовских распределений. 2 EM-алгоритм. 3 Информационные методы

План лекции. 1 Смесь Гауссовских распределений. 2 EM-алгоритм. 3 Информационные методы План лекции 1 Смесь Гауссовских распределений 2 EM-алгоритм 3 Информационные методы А. А. Бояров, А. А. Сенов (СПбГУ) стохастическое программирование весна 2014 1 / 21 Смешанные модели Пусть W подмножество

Подробнее

А. С. Конушин 1 Д. П. Ветров 2 Д. А. Кропотов 3 В. С. Конушин 1 О. В. Баринова 1. Спецкурс «Структурные методы анализа изображений и сигналов»

А. С. Конушин 1 Д. П. Ветров 2 Д. А. Кропотов 3 В. С. Конушин 1 О. В. Баринова 1. Спецкурс «Структурные методы анализа изображений и сигналов» . Метод (PCA) метод. А. С. Конушин 1 Д. П. Ветров 2 Д. А. 3 В. С. Конушин 1 О. В. Баринова 1 1 МГУ, ВМиК, лаб. КГ 2 МГУ, ВМиК, каф. ММП 3 ВЦ РАН Спецкурс «Структурные методы анализа изображений и сигналов»

Подробнее

А. С. Конушин 1 Д. П. Ветров 2 Д. А. Кропотов 3 В. С. Конушин 1 О. В. Баринова 1. Спецкурс «Структурные методы анализа изображений и сигналов»

А. С. Конушин 1 Д. П. Ветров 2 Д. А. Кропотов 3 В. С. Конушин 1 О. В. Баринова 1. Спецкурс «Структурные методы анализа изображений и сигналов» . Метод (PCA) метод. А. С. Конушин 1 Д. П. Ветров 2 3 В. С. Конушин 1 О. В. Баринова 1 1 МГУ, ВМиК, лаб. КГ 2 МГУ, ВМиК, каф. ММП 3 ВЦ РАН Спецкурс «Структурные методы анализа изображений и сигналов» План

Подробнее

Категоризация текстов и модель LDA

Категоризация текстов и модель LDA Центр Речевых Технологий, 2012 Outline Категоризация текстов 1 Категоризация текстов Категоризация текстов Классическая задача машинного обучения и information retrieval категоризация текстов. Дан набор

Подробнее

Линейная регрессия: метод наименьших квадратов

Линейная регрессия: метод наименьших квадратов Линейная регрессия: метод наименьших квадратов Академический Университет, 2012 Outline Наименьшие квадраты и ближайшие соседи Метод наименьших квадратов Метод ближайших соседей 1 Наименьшие квадраты и

Подробнее

Семинары по байесовским методам

Семинары по байесовским методам Семинары по байесовским методам Евгений Соколов sokolov.evg@gmail.com 5 декабря 2014 г. 2 Нормальный дискриминантный анализ Нормальный дискриминантный анализ это частный случай байесовской классификации,

Подробнее

Скрытые марковские модели

Скрытые марковские модели Скрытые марковские модели Цепь Маркова Определение: Цепь Маркова Набор состояний Q = {,..., } Вероятности переходов ast между любыми двумя состояниями s и t ast = P(xi=t xi-=s) ai + + ai =, для всех состояний

Подробнее

Конспект лекции «Уменьшение размерности описания данных: метод главных компонент» по курсу «Математические основы теории прогнозирования» 2011

Конспект лекции «Уменьшение размерности описания данных: метод главных компонент» по курсу «Математические основы теории прогнозирования» 2011 Конспект лекции «Уменьшение размерности описания данных: метод главных компонент» по курсу «Математические основы теории прогнозирования» 2 Проблема анализа многомерных данных При решении различных задач

Подробнее

Разрезы графов. Д. П. Ветров 1 Д. А. Кропотов 2 А. А. Осокин 1. Спецкурс «Структурные методы анализа изображений и сигналов» Разрезы графов.

Разрезы графов. Д. П. Ветров 1 Д. А. Кропотов 2 А. А. Осокин 1. Спецкурс «Структурные методы анализа изображений и сигналов» Разрезы графов. Д. П. 1 Д. А. Кропотов 2 А. А. Осокин 1 1 МГУ, ВМиК, каф. ММП 2 ВЦ РАН Спецкурс «Структурные методы анализа изображений и сигналов» План 1 2 3 4 5 Альфа-расширение Потоки в сетях Рассмотрим неориентированный

Подробнее

Лекция 12.Байесовский подход

Лекция 12.Байесовский подход Лекция 12.Байесовский подход Буре В.М., Грауэр Л.В. ШАД Санкт-Петербург, 2013 Буре В.М., Грауэр Л.В. (ШАД) Байесовский подход Санкт-Петербург, 2013 1 / 36 Cодержание Содержание 1 Байесовский подход к статистическому

Подробнее

1 Элеметарная теория погрешностей. 2

1 Элеметарная теория погрешностей. 2 Содержание Элеметарная теория погрешностей. Решение СЛАУ. 4. Нормы в конечномерных пространствах... 4. Обусловленность СЛАУ............ 5.3 Итерационные методы решения линейных систем......................

Подробнее

Лекция 3. Линейная регрессия, Оценки регрессионых параметров, Лектор Сенько Олег Валентинович

Лекция 3. Линейная регрессия, Оценки регрессионых параметров, Лектор Сенько Олег Валентинович Лекция 3 Линейная регрессия, Оценки регрессионых параметров, Лектор Сенько Олег Валентинович Курс «Математические основы теории прогнозирования» 4-й курс, III поток Сенько Олег Валентинович () МОТП, лекция

Подробнее

Лекция 1. Выборочное пространство

Лекция 1. Выборочное пространство Лекция 1. Выборочное пространство Буре В.М., Грауэр Л.В. ШАД Санкт-Петербург, 2013 Буре В.М., Грауэр Л.В. (ШАД) Лекция 1. Выборочное пространство Санкт-Петербург, 2013 1 / 35 Cодержание Содержание 1 Выборка.

Подробнее

Лекция 1. Задачи прогнозирования, обобщающая способность, байесовский классификатор, скользящий контроль. Лектор Сенько Олег Валентинович

Лекция 1. Задачи прогнозирования, обобщающая способность, байесовский классификатор, скользящий контроль. Лектор Сенько Олег Валентинович Лекция 1 Задачи прогнозирования, обобщающая способность, байесовский классификатор, скользящий контроль Лектор Сенько Олег Валентинович Курс «Математические основы теории прогнозирования» 4-й курс, III

Подробнее

Д. П. Ветров 1 Д. А. Кропотов 2

Д. П. Ветров 1 Д. А. Кропотов 2 решение Лекция 8. Д. П. Ветров 1 Д. А. 2 1 МГУ, ВМиК, каф. ММП 2 ВЦ РАН Спецкурс «Байесовские методы машинного обучения» План лекции решение 1 Дифференцирование матриц Задача оптимального распределения

Подробнее

Shape prior на основе упрощенного циркулярного графа

Shape prior на основе упрощенного циркулярного графа Shape prior на основе упрощенного циркулярного графа Борис Янгель ВМиК МГУ 24 марта 2011 г. Содержание 1 Введение 2 Некоторые известные методы введения shape prior Жестко заданная форма Star shape prior

Подробнее

Линейная регрессия: метод наименьших квадратов

Линейная регрессия: метод наименьших квадратов Линейная регрессия: метод наименьших квадратов Центр Речевых Технологий, 2012 Outline Метод наименьших квадратов Метод ближайших соседей 1 Наименьшие квадраты и ближайшие соседи Метод наименьших квадратов

Подробнее

Спецсеминар «Байесовские методы машинного обучения», Boltzmann Machines

Спецсеминар «Байесовские методы машинного обучения», Boltzmann Machines Спецсеминар «Байесовские методы машинного обучения», 20 Дата: 5 октября 20 Содержание Boltzmann Machines Ликбез Экспоненциальное семейство распределений......................... Схема Гиббса генерации

Подробнее

Лекция 2. Обобщенные линейные модели. Регуляризация обучения.

Лекция 2. Обобщенные линейные модели. Регуляризация обучения. . Обобщенные линейные модели. Регуляризация. Д. П. Ветров 1 Ю. И. 1 1 МГУ, ВМиК, каф. ММП Курс «Математические основы теории прогнозирования» План лекции 1 Основные понятия мат. статистики Нормальное распределение

Подробнее

Вероятностные тематические модели

Вероятностные тематические модели Вероятностные тематические модели Докладчик: Андрей Гомзин (528 гр.) Руководители: А. Коршунов, И. Белобородов 4 декабря 2012 г. Андрей Гомзин (528 гр.) Вероятностные тематические модели 4 декабря 2012

Подробнее

Оценивание моделей. Метод максимального правдоподобия

Оценивание моделей. Метод максимального правдоподобия Оценивание моделей дискретного выбора Метод максимального правдоподобия План лекции. Метод максимального правдоподобия. Свойства оценок ММП 3. Пример оценки ММП для классической линейной регрессии 4. Модели

Подробнее

Лекция 3. Условные распределения и условные математические ожидания. Достаточные статистики

Лекция 3. Условные распределения и условные математические ожидания. Достаточные статистики Лекция 3. Условные распределения и условные математические ожидания. Достаточные статистики Буре В.М., Грауэр Л.В. ШАД Санкт-Петербург, 2013 Буре В.М., Грауэр Л.В. (ШАД) Лекция 3. Условные распределения

Подробнее

Лекция 2. Статистики первого типа. Точеченые оценки и их свойства

Лекция 2. Статистики первого типа. Точеченые оценки и их свойства Лекция 2. Статистики первого типа. Точеченые оценки и их свойства Буре В.М., Грауэр Л.В. ШАД Санкт-Петербург, 2013 Буре В.М., Грауэр Л.В. (ШАД) Лекция 2. Статистики первого типа. Точеченые Санкт-Петербург,

Подробнее

Д. П. Ветров 1 Д. А. Кропотов 2

Д. П. Ветров 1 Д. А. Кропотов 2 выбора Д. П. Ветров 1 Д. А. 2 1 МГУ, ВМиК, каф. ММП 2 ВЦ РАН Спецкурс «Байесовские методы машинного обучения» План лекции 1 выбора 2 Общий характер проблемы выбора Примеры задач выбора 3 выбора Кросс-валидация

Подробнее

Машинное обучение (Machine Learning)

Машинное обучение (Machine Learning) Машинное обучение (Machine Learning) Уткин Л.В. Содержание 1 Наивный байесовский классификатор 2 1 Метод k ближайших соседей 2 Метод окна Парзена 3 Метод потенциальных функций Презентация является компиляцией

Подробнее

Лекция 9. Структура ошибки выпуклых комбинаций, комитетные методы, логическая коррекция. Лектор Сенько Олег Валентинович

Лекция 9. Структура ошибки выпуклых комбинаций, комитетные методы, логическая коррекция. Лектор Сенько Олег Валентинович Лекция 9 Структура ошибки выпуклых комбинаций, комитетные методы, логическая коррекция Лектор Сенько Олег Валентинович Курс «Математические основы теории прогнозирования» 4-й курс, III поток Сенько Олег

Подробнее

ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА 2007 Управление, вычислительная техника и информатика 1

ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА 2007 Управление, вычислительная техника и информатика 1 ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА 007 Управление, вычислительная техника и информатика 1 УДК 519.865 В.В. Поддубный, О.В. Романович МОДИФИКАЦИЯ МЕТОДА ЭЙЛЕРА С УРАВНИВАНИЕМ ДЛЯ РЕШЕНИЯ ДИФФЕРЕНЦИАЛЬНЫХ

Подробнее

рассуждений Д. П. Ветров 1 Курс «Математические методы прогнозирования» Лекция 4. Байесовский подход к теории вероятностей. Примеры байесовских

рассуждений Д. П. Ветров 1 Курс «Математические методы прогнозирования» Лекция 4. Байесовский подход к теории вероятностей. Примеры байесовских к. к. Д. П. Ветров 1 1 МГУ, ВМиК, каф. ММП Курс «Математические методы прогнозирования» План лекции к. 1 Sum- и Product- rule Формула Байеса 2 Частотный 3 Связь между байесовским ом и булевой логикой Пример

Подробнее

представление А. С. Конушин 1 Д. П. Ветров 2 Д. А. Кропотов 3 В. С. Конушин 1 О. В. Баринова 1

представление А. С. Конушин 1 Д. П. Ветров 2 Д. А. Кропотов 3 В. С. Конушин 1 О. В. Баринова 1 . Общее. Общее А. С. Конушин 1 Д. П. 2 Д. А. Кропотов 3 В. С. Конушин 1 О. В. Баринова 1 1 МГУ, ВМиК, лаб. КГ 2 МГУ, ВМиК, каф. ММП 2 ВЦ РАН Спецкурс «Структурные методы анализа изображений и сигналов»

Подробнее

Продвинутые методы многомерной оптимизации. Решение СЛАУ с помощью метода сопряжённых градиентов

Продвинутые методы многомерной оптимизации. Решение СЛАУ с помощью метода сопряжённых градиентов Курс: Методы оптимизации в машинном обучении, Продвинутые методы многомерной оптимизации Рассмотрим задачу безусловной оптимизации в многомерном пространстве: f(x) min x R N. Ранее для решения этой задачи

Подробнее

Д. П. Ветров 1 Д. А. Кропотов 2

Д. П. Ветров 1 Д. А. Кропотов 2 выбора Д. П. Ветров 1 Д. А. 2 1 МГУ, ВМиК, каф. ММП 2 ВЦ РАН Спецкурс «Байесовские методы машинного обучения» План лекции 1 выбора 2 Общий характер проблемы выбора Примеры задач выбора 3 выбора Кросс-валидация

Подробнее

2. Оптимальные портфели и динамическое программирование.

2. Оптимальные портфели и динамическое программирование. 2. Оптимальные портфели и динамическое программирование. Многошаговая модель Рассмотрим многошаговое обобщение задачи потребления-инвестирования. Начнём с исследования базовой задачи построения оптимального

Подробнее

P (D H)P (H) P (H). P (HD) = P (D H)P (H). D = DH DH n, P (HD) = P (H D)P (D) = P (D H)P (H) P (D) P (D H j )P (H j ) j=1

P (D H)P (H) P (H). P (HD) = P (D H)P (H). D = DH DH n, P (HD) = P (H D)P (D) = P (D H)P (H) P (D) P (D H j )P (H j ) j=1 В. В. Стрижов. «Информационное моделирование». Конспект лекций, черновик. Двухуровневый Байесовский вывод и сравнение моделей Байесовский вывод, краткая справка Условная вероятность P (D H) есть вероятность

Подробнее

БАЙЕСОВСКИЙ ПОДХОД В ЭКОНОМЕТРИЧЕСКОМ АНАЛИЗЕ

БАЙЕСОВСКИЙ ПОДХОД В ЭКОНОМЕТРИЧЕСКОМ АНАЛИЗЕ С.А. Айвазян БАЙЕСОВСКИЙ ПОДХОД В ЭКОНОМЕТРИЧЕСКОМ АНАЛИЗЕ Предлагаемая в данном номере журнала консультация посвящена так называемому байесовскому подходу в эконометрическом анализе, основанному на субъективно-вероятностном

Подробнее

ДНК-микрочипы и анализ данных по экспрессии генов

ДНК-микрочипы и анализ данных по экспрессии генов ДНК-микрочипы и анализ данных по экспрессии генов ДНК-микрочипы Способ измерения уровня экспрессии РНК для каждого гена. Принцип действия: гибридизация мрнк с зондом - комплиментарной ДНК последовательностью

Подробнее

ЛЕКЦИЯ 11 МНОГОМЕРНАЯ ИНТЕРПОЛЯЦИЯ. ЗАДАЧА ОПТИМИЗАЦИИ

ЛЕКЦИЯ 11 МНОГОМЕРНАЯ ИНТЕРПОЛЯЦИЯ. ЗАДАЧА ОПТИМИЗАЦИИ ЛЕКЦИЯ 11 МНОГОМЕРНАЯ ИНТЕРПОЛЯЦИЯ ЗАДАЧА ОПТИМИЗАЦИИ На прошлой лекции были рассмотрены методы решения нелинейных уравнений Были рассмотрены двухточечные методы, которые используют локализацию корня,

Подробнее

УДК Д.А. Гефке, П.М. Зацепин Применение скрытых марковских моделей для распознавания звуковых последовательностей. a n 1,N S 1 S 2 S 2 S

УДК Д.А. Гефке, П.М. Зацепин Применение скрытых марковских моделей для распознавания звуковых последовательностей. a n 1,N S 1 S 2 S 2 S УДК 004.855.5 Д.А. Гефке, П.М. Зацепин Применение скрытых марковских моделей для распознавания звуковых последовательностей D.A. Gefke, P.M. Zasepin The Applicaion of Hidden Makov Models fo he Acousic

Подробнее

Тема 4. ЧИСЛЕННОЕ РЕШЕНИЕ НЕЛИНЕЙНЫХ УРАВНЕНИЙ

Тема 4. ЧИСЛЕННОЕ РЕШЕНИЕ НЕЛИНЕЙНЫХ УРАВНЕНИЙ Тема 4. ЧИСЛЕННОЕ РЕШЕНИЕ НЕЛИНЕЙНЫХ УРАВНЕНИЙ -1- Тема 4. ЧИСЛЕННОЕ РЕШЕНИЕ НЕЛИНЕЙНЫХ УРАВНЕНИЙ 4.0. Постановка задачи Задача нахождения корней нелинейного уравнения вида y=f() часто встречается в научных

Подробнее

МАТЕМАТИЧЕСКИЕ ОСНОВЫ ТЕОРИИ ПРОГНОЗИРОВАНИЯ. Лектор Сенько Олег Валентинович Лекция 2

МАТЕМАТИЧЕСКИЕ ОСНОВЫ ТЕОРИИ ПРОГНОЗИРОВАНИЯ. Лектор Сенько Олег Валентинович Лекция 2 МАТЕМАТИЧЕСКИЕ ОСНОВЫ ТЕОРИИ ПРОГНОЗИРОВАНИЯ Лектор Сенько Олег Валентинович Лекция 2 Методы прогнозирования (распознавания) Множество (модель) алгоритмов M { A: X Y} внутри которого производится поиск

Подробнее

Лекция 12. Байесовские сети Методы анализа выживаемости. Лектор Сенько Олег Валентинович

Лекция 12. Байесовские сети Методы анализа выживаемости. Лектор Сенько Олег Валентинович Лекция 12 Байесовские сети Методы анализа выживаемости Лектор Сенько Олег Валентинович Курс «Математические основы теории прогнозирования» 4-й курс, III поток Сенько Олег Валентинович () МОТП, лекция 12

Подробнее

Coa Компьютерная алгебра

Coa Компьютерная алгебра 6. Быстрые алгоритмы деления Деление чисел методом Ньютона Для определенности будем считать, что делимое a = ( a,, am) и делитель b = ( b,, b ) записаны в позиционной системе счисления по основанию ( ).

Подробнее

Нейронные сети. Краткий курс

Нейронные сети. Краткий курс Нейронные сети Краткий курс Лекция 7 Модели на основе теории информации Рассмотрим информационно теоретические модели, которые приводят к самоорганизации В этих моделях синаптические связи многослойной

Подробнее

20. Метод установления решения задачи Дирихле для уравнения Пуассона. Схема переменных направлений

20. Метод установления решения задачи Дирихле для уравнения Пуассона. Схема переменных направлений Варианты заданий 0. Метод установления решения задачи Дирихле для уравнения Пуассона. Схема переменных направлений 0.1. Постановка задачи Рассматривается задача Дирихле для эллиптического уравнения Lu

Подробнее

Лекция 2. Задачи прогнозирования, Линейная машина, Теоретические методы оценки обобщающей способности, Лектор Сенько Олег Валентинович

Лекция 2. Задачи прогнозирования, Линейная машина, Теоретические методы оценки обобщающей способности, Лектор Сенько Олег Валентинович Лекция 2 Задачи прогнозирования, Линейная машина, Теоретические методы оценки обобщающей способности, Лектор Сенько Олег Валентинович Курс «Математические основы теории прогнозирования» 4-й курс, III поток

Подробнее

Блочная задача линейного программирования. Метод декомпозиции Данцинга-Вульфа Орлов Г.В. Научный руководитель: Турундаевский В.Б.

Блочная задача линейного программирования. Метод декомпозиции Данцинга-Вульфа Орлов Г.В. Научный руководитель: Турундаевский В.Б. Блочная задача линейного программирования. Метод декомпозиции Данцинга-Вульфа Орлов Г.В. Научный руководитель: Турундаевский В.Б. Block linear programming problem. Decomposition method Dantsinga-Wolf Orlov

Подробнее

Байесовские классификаторы

Байесовские классификаторы Академический Университет, весенний семестр 2011 Outline 1 2 Multivariate Naive Bayes Multinomial Naive Bayes Применяем теорему Байеса Итак, нам нужно найти наиболее вероятную гипотезу h H при условии

Подробнее

Графические модели и байесовский вывод на них

Графические модели и байесовский вывод на них Центр Речевых Технологий, 2012 Outline 1 Алгоритм передачи сообщений 2 Сложная структура графа Сложные факторы В чём же проблема В предыдущих лекциях мы рассмотрели задачу байесовского вывода, ввели понятие

Подробнее

А.П.Попов. Методы оптимальных решений. Пособие для студентов экономических специальностей вузов

А.П.Попов. Методы оптимальных решений. Пособие для студентов экономических специальностей вузов А.П.Попов Методы оптимальных решений Пособие для студентов экономических специальностей вузов Ростов-на-Дону 01 1 Введение В прикладной математике имеется несколько направления, нацеленных в первую очередь

Подробнее

Задача классификации Предположим, что мы наблюдаем качественный отклик Y, и p разных предикторов X 1,X 2,...,X p. Предположим, что взаимосвязь между

Задача классификации Предположим, что мы наблюдаем качественный отклик Y, и p разных предикторов X 1,X 2,...,X p. Предположим, что взаимосвязь между Классификация "Some of the figures in this presentation are taken from "An Introduction to Statistical Learning, with applications in R" (Springer, 2013) with permission from the authors: G. James, D.

Подробнее

Оптимизация с помощью глобальных верхних оценок, зависящих от параметра

Оптимизация с помощью глобальных верхних оценок, зависящих от параметра Курс: Методы оптимизации в машинном обучении, 01 Оптимизация с помощью глобальных верхних оценок, зависящих от параметра Вероятностные модели линейной регрессии Рассмотрим вероятностную модель для задач

Подробнее

Глава 4. Основные законы распределения непрерывной случайной величины Равномерный закон распределения

Глава 4. Основные законы распределения непрерывной случайной величины Равномерный закон распределения 53 Глава 4. Основные законы распределения непрерывной случайной величины. 4.. Равномерный закон распределения Определение. Непрерывная случайная величина Х имеет равномерное распределение на промежутке

Подробнее

Графические модели и байесовский вывод на них

Графические модели и байесовский вывод на них Академический Университет, 2012 Outline Алгоритм передачи сообщений 1 Алгоритм передачи сообщений В чём же проблема В предыдущих лекциях мы рассмотрели задачу байесовского вывода, ввели понятие сопряжённого

Подробнее

ПРИКЛАДНАЯ АЛГЕБРА. Часть I: Конечные поля или поля Галуа. II 1 / 78. Часть I. Конечные поля или поля Галуа. II

ПРИКЛАДНАЯ АЛГЕБРА. Часть I: Конечные поля или поля Галуа. II 1 / 78. Часть I. Конечные поля или поля Галуа. II ПРИКЛАДНАЯ АЛГЕБРА. Часть I: Конечные поля или поля Галуа. II 1 / 78 Часть I Конечные поля или поля Галуа. II ПРИКЛАДНАЯ АЛГЕБРА. Часть I: Конечные поля или поля Галуа. II 2 / 78 Поля вычетов по модулю

Подробнее

Заметки по матричным вычислениям и нормальному распределению

Заметки по матричным вычислениям и нормальному распределению Заметки по матричным вычислениям и нормальному распределению Матричные вычисления Здесь и далее вектора будут обозначаться жирным шрифтом x,y,, а матрицы заглавными буквами A,B, При этом под вектором всегда

Подробнее

Байесовские рейтинг-системы

Байесовские рейтинг-системы Центр Речевых Технологий, 2012 Outline 1 Рейтинг-системы 2 Частичные сравнения Рейтинг-система это модель, которая ранжирует участников (игроков) в единый линейный порядок по данным сравнений небольших

Подробнее

Semi-supervised Learning with Deep Generative Models

Semi-supervised Learning with Deep Generative Models Semi-supervised Learning with Deep Generative Models Хайруллин Ринат Московский физико-технический институт Хайруллин Ринат Page Rank 1 / 28 План доклада Вариационный вывод и SVGB. Deep Generative Models

Подробнее

1. Численные методы решения уравнений

1. Численные методы решения уравнений 1. Численные методы решения уравнений 1. Системы линейных уравнений. 1.1. Прямые методы. 1.2. Итерационные методы. 2. Нелинейные уравнения. 2.1. Уравнения с одним неизвестным. 2.2. Системы уравнений. 1.

Подробнее

Исследование областей сходимости численных методов второго порядка

Исследование областей сходимости численных методов второго порядка Электронный научный журнал «Вестник Омского государственного педагогического университета» Выпуск 6 www.oms.edu А.Т. Когут, Н.Ю. Безбородова Омский государственный университет путей сообщения Исследование

Подробнее

2. Решение нелинейных уравнений.

2. Решение нелинейных уравнений. Решение нелинейных уравнений Не всегда алгебраические или трансцендентные уравнения могут быть решены точно Понятие точности решения подразумевает: ) возможность написания «точной формулы», а точнее говоря

Подробнее

Отчет по лабораторной работе «Использование метода имитации отжига для построения управляющих автоматов»

Отчет по лабораторной работе «Использование метода имитации отжига для построения управляющих автоматов» Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики Факультет информационных технологий и программирования Кафедра «Компьютерные технологии» Геращенко

Подробнее

Применение алгоритма Expectation Propagation на примере модели TrueSkill TM

Применение алгоритма Expectation Propagation на примере модели TrueSkill TM Применение алгоритма Expectation Propagation на примере модели TrueSkill TM Александр Чистяков 31 октября 2014 Александр Чистяков EP на примере TrueSkill 31 октября 2014 1 / 44 План доклада 1 Построение

Подробнее

2 Статистические оценки неизвестных параметров распределения

2 Статистические оценки неизвестных параметров распределения Статистические оценки неизвестных параметров распределения Статистическая оценка неизвестного параметра теоретического распределения Виды статистических оценок 3 Нахождение оценок неизвестных параметров

Подробнее

О формулах суммирования и интерполяции

О формулах суммирования и интерполяции О формулах суммирования и интерполяции А В Устинов УДК 51117 1 Введение Известно, что числа Бернулли B n и полиномы Бернулли B n x) возникают в самых разных вопросах теории чисел и приближенного анализа

Подробнее

Графическая вероятностная модель со скрытыми состояниями на основе главных многообразий

Графическая вероятностная модель со скрытыми состояниями на основе главных многообразий Международная конференция ИОИ-10 Графическая вероятностная модель со скрытыми состояниями на основе главных многообразий Юлин Сергей Сергеевич Рыбинский государственный авиационный технический университет

Подробнее

Лекция 14: Линейный оператор

Лекция 14: Линейный оператор Уральский федеральный университет, Институт математики и компьютерных наук, кафедра алгебры и дискретной математики Вступительные замечания В этой лекции мы приступаем к рассмотрению функций из векторного

Подробнее

Переборные методы: сэмплирование

Переборные методы: сэмплирование Переборные методы: сэмплирование И. Куралёнок, Н. Поваров Яндекс СПб, 2015 И. Кураленок, Н. Поваров, Яндекс Санкт-Петербург, 2015 Стр. 1 из 34 Понятие сэмплирования Сэмплирование метод исследования множества

Подробнее

Методы понижения размерности

Методы понижения размерности Методы понижения размерности Андрей Зимовнов zimovnov@gmail.com Large-Scale Machine Learning 27 Октября 2016 Андрей Зимовнов Методы понижения размерности 1 / 27 38Октября 2016 1 / 38 Содержание 1 Мотивация

Подробнее

Лекция 12. Понятие о системе случайных величин. Законы распределения системы случайных величин

Лекция 12. Понятие о системе случайных величин. Законы распределения системы случайных величин МВДубатовская Теория вероятностей и математическая статистика Лекция Понятие о системе случайных величин Законы распределения системы случайных величин Часто возникают ситуации когда каждому элементарному

Подробнее

Точечные оценки и их свойства. Грауэр Л.В.

Точечные оценки и их свойства. Грауэр Л.В. Точечные оценки и их свойства Грауэр Л.В. Статистика ξ генеральная совокупность c ф.р. F ξ (x; θ) θ = (θ 1,..., θ m ) неизвестные параметры X [n] = (X 1,..., X n ) выборка из ξ Статистикой будем называть

Подробнее

ПРИКЛАДНАЯ ЭКОНОМЕТРИКА 4 (20) 2010

ПРИКЛАДНАЯ ЭКОНОМЕТРИКА 4 (20) 2010 4 (0) 00 Байесовский анализ когда оцениваемый параметр является случайным нормальным процессом Рассмотрена задача байесовского оценивания последовательности неизвестных средних значений q q... q... по

Подробнее

Лабораторная работа 2. Методы минимизации функций одной переменной, использующие информацию о производных целевой функции

Лабораторная работа 2. Методы минимизации функций одной переменной, использующие информацию о производных целевой функции Лабораторная работа Методы минимизации функций одной переменной, использующие информацию о производных целевой функции Постановка задачи: Требуется найти безусловный минимум функции одной переменной (

Подробнее

Уменьшение размерности

Уменьшение размерности Академический Университет, 2012 Outline 1 2 PCA Обзор курса Задача PCA Рассмотрим данные, лежащие в пространстве очень большой размерности. Как с ними работать? Часто оказывается, что «на самом деле» данные

Подробнее

Лекция 1. Байесовские и марковские сети

Лекция 1. Байесовские и марковские сети марковские сети Д. П. 1 Д. А. Кропотов 2 А. А. Осокин 1 1 МГУ, ВМиК, каф. ММП 2 ВЦ РАН Курс План 1 2 оптимизац 3 Нормальное распределение Формула Байеса 4 Условная независимость случайных величин 5 Задачи

Подробнее

АЛГОРИТМ ЛОКАЛИЗАЦИИ ДВИЖУЩИХСЯ ОБЪЕКТОВ В ВИДЕОПОТОКЕ НА ОСНОВЕ МОДЕЛИ СМЕСИ ГАУССОВЫХ РАСПРЕДЕЛЕНИЙ

АЛГОРИТМ ЛОКАЛИЗАЦИИ ДВИЖУЩИХСЯ ОБЪЕКТОВ В ВИДЕОПОТОКЕ НА ОСНОВЕ МОДЕЛИ СМЕСИ ГАУССОВЫХ РАСПРЕДЕЛЕНИЙ АЛГОРИТМ ЛОКАЛИЗАЦИИ ДВИЖУЩИХСЯ ОБЪЕКТОВ В ВИДЕОПОТОКЕ НА ОСНОВЕ МОДЕЛИ СМЕСИ ГАУССОВЫХ РАСПРЕДЕЛЕНИЙ В. А. Сазонов, С. Г. Тихоненко Белорусский государственный университет, Минск, Беларусь Нахождение

Подробнее

ЛЕКЦИЯ 6. Методы решения конечномерных задач оптимизации (Задачи безусловной оптимизации) 1. Метод покоординатного спуска

ЛЕКЦИЯ 6. Методы решения конечномерных задач оптимизации (Задачи безусловной оптимизации) 1. Метод покоординатного спуска ЛЕКЦИЯ 6 1. Метод покоординатного спуска 2. Градиентный метод 3. Метод Ньютона Методы решения конечномерных задач оптимизации (Задачи безусловной оптимизации) -1- Численные методы НЛП Задача поиска безусловного

Подробнее

лектор к.ф.-м.н. Д. А. Шабанов Весна 2011

лектор к.ф.-м.н. Д. А. Шабанов Весна 2011 Программа курса Математическая статистика лектор к.ф.-м.н. Д. А. Шабанов Весна 2011 1. Основная задача математической статистики. Понятие вероятностно-статистической модели. Примеры: выборка и линейная

Подробнее

x i Определение. Задача нахождения значения интерполяционной функции F x в точке не совпадающей ни с одной абсциссой интерполяционных узлов x,

x i Определение. Задача нахождения значения интерполяционной функции F x в точке не совпадающей ни с одной абсциссой интерполяционных узлов x, ИНТЕРПОЛИРОВАНИЕ ФУНКЦИЙ ПОСТАНОВКА ЗАДАЧИ Дано: точки наблюдения y (их количество + ) a b ; ; y y y y y Найти функцию : F F : y Определение Точки y называются узлами интерполяции Графическая интерпретация

Подробнее

В. Ф. Апельцин МЕТОДИЧЕСКОЕ ПОСОБИЕ ПО КУРСОВОЙ РАБОТЕ ОБЫКНОВЕННЫЕ ДИФФЕРЕНЦИАЛЬНЫЕ УРАВНЕНИЯ AKF3.RU г.

В. Ф. Апельцин МЕТОДИЧЕСКОЕ ПОСОБИЕ ПО КУРСОВОЙ РАБОТЕ ОБЫКНОВЕННЫЕ ДИФФЕРЕНЦИАЛЬНЫЕ УРАВНЕНИЯ AKF3.RU г. В. Ф. Апельцин МЕТОДИЧЕСКОЕ ПОСОБИЕ ПО КУРСОВОЙ РАБОТЕ ОБЫКНОВЕННЫЕ ДИФФЕРЕНЦИАЛЬНЫЕ УРАВНЕНИЯ AKF3.RU г. В курсовой работе предполагается построить приближенное решение краевой задачи для обыкновенного

Подробнее

Clustering stability: an overview

Clustering stability: an overview Clustering stability: an overview Ulrike von Luxburg Докладчик: Токмакова Лада План Определение стабильности кластеризации The idealized K-means algorithm The actual K-means algorithm General clustering

Подробнее

2. РЕШЕНИЕ НЕЛИНЕЙНЫХ УРАВНЕНИЙ И СИСТЕМ НЕЛИНЕЙНЫХ УРАВНЕНИЙ 2.1. РЕШЕНИЕ НЕЛИНЕЙНЫХ УРАВНЕНИЙ

2. РЕШЕНИЕ НЕЛИНЕЙНЫХ УРАВНЕНИЙ И СИСТЕМ НЕЛИНЕЙНЫХ УРАВНЕНИЙ 2.1. РЕШЕНИЕ НЕЛИНЕЙНЫХ УРАВНЕНИЙ . РЕШЕНИЕ НЕЛИНЕЙНЫХ УРАВНЕНИЙ И СИСТЕМ НЕЛИНЕЙНЫХ УРАВНЕНИЙ.. РЕШЕНИЕ НЕЛИНЕЙНЫХ УРАВНЕНИЙ вида Численное решение нелинейных алгебраических или трансцендентных уравнений. заключается в нахождении значений

Подробнее

Контрольная работа выполнена на сайте МатБюро: Специально для библиотеки материалов MathProfi.com. Вариант 15

Контрольная работа выполнена на сайте МатБюро:  Специально для библиотеки материалов MathProfi.com. Вариант 15 Специально для библиотеки материалов MathProf.com Российская академия народного хозяйства и государственной службы при Президенте РФ Международный институт государственной службы и управления Задание 2

Подробнее

Б а й е с о в с к а я к л а с с и ф и к а ц и я

Б а й е с о в с к а я к л а с с и ф и к а ц и я МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РФ ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ «САМАРСКИЙ ГОСУДАРСТВЕННЫЙ АЭРОКОСМИЧЕСКИЙ УНИВЕРСИТЕТ имени академика С.П.КОРОЛЕВА

Подробнее

Лекция 8 Общая постановка однокритериальной задачи принятия решений.

Лекция 8 Общая постановка однокритериальной задачи принятия решений. Лекция 8 Общая постановка однокритериальной задачи принятия решений. Общая постановка однокритериальной задачи принятия решений. Пусть исход управляемого мероприятия зависит от выбранного решения (стратегии

Подробнее