Д. П. Ветров 1. Курс «Графические модели» ЕМ-алгоритм. Обучение скрытых. марковских моделей без учителя. Ветров. ЕМ-алгоритм в общем виде

Save this PDF as:
 WORD  PNG  TXT  JPG

Размер: px
Начинать показ со страницы:

Download "Д. П. Ветров 1. Курс «Графические модели» ЕМ-алгоритм. Обучение скрытых. марковских моделей без учителя. Ветров. ЕМ-алгоритм в общем виде"

Транскрипт

1 Д. П. 1 1 МГУ, ВМиК, каф. ММП Курс «Графические модели»

2 План лекции

3 EM-алгоритм. Разложение логарифма Требуется найти максимум в вероятностной модели со скрытыми переменными: p(x Θ) = p(x, T Θ)dT max log p(x Θ) max Θ Θ p(x, T Θ) = p(t X,Θ)p(X Θ) log p(x, T Θ) = log p(t X,Θ)+log p(x Θ) q(t) произвольное распределение. log p(x Θ) = log p(x Θ)q(T)dT = [log p(x, T Θ) log p(t X,Θ)] q(t)dt = log p(x, T Θ)q(T)dT log p(t X, Θ)q(T)dT = p(x, T Θ) log q(t)dt log p(t X,Θ) q(t)dt q(t) q(t)

4 Нижняя оценка для логарифма p(x, T Θ) log p(x Θ) = log q(t)dt q(t) }{{} l(q,θ) log p(t X,Θ) q(t)dt q(t) }{{} KL(q p) 0 Дивергенция Кульбака-Лейблера KL(q p) определяет расстояние между вероятностными распределениями KL(q p) = q(x) log(p(x)/q(x))dx KL(q p) 0 и KL(q p) = 0 q p. KL(q p) KL(p q) Тогда l(q,θ) является нижней оценкой log p(x Θ): log p(x Θ) l(q,θ) и равенство q(t) = p(t X,Θ)

5 Идея EM- log p(x Θ) = l(q,θ)+kl(q p) Итерационная схема. Фиксируем некоторое значение Θ old. Приблизим в точке Θ old правдоподобие с помощью его нижней оценки: q(t) = p(t X,Θ old ) log p(x Θ) l(q,θ) = log p(x, T Θ)p(T X,Θ old )dt log p(t X,Θ old )p(t X,Θ old )dt Найдем новое значение Θ с помощью максимизации нижней оценки: l(q,θ) max E T X,Θ old log p(x, T Θ) max Θ Θ

6 Иллюстрация EM-

7 Схема ЕМ- E-шаг. Фиксируется значение параметров Θ old. Оценивается апостериорное распределение на скрытые переменные p(t X,Θ old ), и полное правдоподобие усредняется по полученному распределению: E T X,Θold log p(x, T Θ) = log p(x, T Θ)p(T X,Θ old )dt М-шаг. Фиксируется апостериорное распределение p(t X,Θ old ), и производится поиск новых значений параметров Θ new : Θ new = arg max Θ E T X,Θ old log p(x, T Θ) Шаги E и M повторяются до сходимости.

8 Максимизация апостериорного распределения Задача p(θ X) max Θ Справедливо разложение F = log p(x Θ)+ log p(θ) max Θ F = L(q,θ)+log p(θ)+kl(q p) L(q,Θ)+log p(θ) Е-шаг остаётся без изменений. Модификация М-шага: E T X,Θold log p(x, T Θ)+log p(θ) max Θ

9 План лекции

10 (СММ) t 1 t 2 t n-1 t n t n+1 x 1 x 2 x n-1 x n x n+1 t N x N [первого порядка] это вероятностная последовательности, которая Состоит из набора наблюдаемых переменных X = {x 1,...,x N } и латентных () переменных T = {t 1,...,t N }. Латентные переменные T являются дискретными, поэтому их иногда называют переменными состояния. Значение наблюдаемого вектора в момент времени n x n зависит только от скрытого состояния t n, которое в свою очередь зависит только от скрытого состояния в предыдущий момент времени t n 1.

11 Спецификация вероятностной модели I Пусть имеется K возможных состояний. Закодируем состояние в каждый момент времени n бинарным вектором t n = (t n1,...,t nk ), где { 1, если в момент n находится в состоянии j t nj = 0, иначе Тогда распределение p(t n t n 1 ) можно задать матрицей перехода A размера K K, где A ij = p(t nj = 1 t n 1,i = 1), j A ij = 1, т.е. p(t n t n 1 ) = K K i=1 j=1 A tn 1,itnj ij Пусть в первый момент времени p(t 1j = 1) = π j. Тогда p(t 1 ) = K j=1 π t1j j

12 Спецификация вероятностной модели II Пусть для каждого состояния k {1,...,K} в момент времени n известна генерации наблюдаемых данных x n p(x n φ k ), задаваемая с помощью набора параметров φ k. Тогда K p(x n t n ) = (p(x n φ k )) tnk j=1 Обозначим полный набор параметров СММ через Θ = {π, A, φ}. Тогда правдоподобие в СММ вычисляется как N N p(x, T Θ) = p(t 1, π ) p(t n t n 1, A ) p(x n t n, φ ) = = K j=1 π t1j j n=2 N K K n=2 i=1 j=1 A tn 1,itnj ij n=1 ( N ) K (p(x n φ k )) tnk n=1 k=1

13 Задачи в СММ Сегментация. Известна некоторая последовательность X и набор параметров Θ. Задача состоит в получении наиболее правдоподобной последовательности состояний T как arg max T p(t X,Θ) (алгоритм Витерби). с учителем. Известна некоторая последовательность X, для которой заданы T. Задача состоит в оценке по обучающей выборке набора параметров Θ. без Известна некоторая последовательность X и число состояний K. Задача состоит в оценке параметров Θ (ЕМ-алгоритм). Нахождение маргинального распределения p(t n X,Θ) компоненты t n по заданным X и Θ Прогнозирование. Известна некоторая последовательность X. Задача состоит в оценке наблюдаемого вектора в следующий момент времени N + 1 p(x N+1 X).

14 План лекции

15 Для оценки параметров СММ Θ воспользуемся методом : Θ = arg max p(x Θ) = arg max p(x, T Θ) Θ Θ Прямая максимизация затруднительна, т.к. оптимизируемая функция не является выпуклой и, кроме того, для вычисления функции требуется суммирование N K слагаемых. Можно воспользоваться итерационным ЕМ-алгоритмом. T

16 EM-алгоритм в Требуется найти максимум в вероятностной модели со скрытыми переменными: p(x Θ) = ( ) p(x, T Θ) max log p(x, T Θ) max Θ Θ T E-шаг. Фиксируется значение параметров Θ old. Оценивается апостериорное распределение на скрытые переменные p(t X,Θ old ), и полное правдоподобие усредняется по полученному распределению: E T X,Θold log p(x, T Θ) = T T log p(x, T Θ)p(T X,Θ old ) М-шаг. Фиксируется апостериорное распределение p(t X,Θ old ), и производится поиск новых значений параметров Θ new : Θ new = arg max Θ E T X,Θ old log p(x, T Θ) Шаги E и M повторяются до сходимости.

17 E-шаг Обозначим γ(t nj ) = E T X,Θ t nj = p(t nj = 1 X,Θ old ), ξ(t n 1,i, t nj ) = E T X,Θ (t n 1,i t nj ) = p(t n 1,i = 1, t nj = 1 X,Θ old ). Тогда K log p(x, T Θ) = t 1j logπ j + j=1 N K K N K t n 1,i t nj log A ij + t nj log p(x n φ k ) n=2 i=1 j=1 n=1 j=1 K E T X,Θold log p(x, T Θ) = γ(t 1j ) logπ j + j=1 N K K N K ξ(t n 1,i, t nj ) log A ij + γ(t nj ) log p(x n φ k ) n=2 i=1 j=1 n=1 j=1

18 M-шаг π : K K γ(t 1j ) logπ j +λ π j 1 extr j=1 j=1 γ(t 1j ) +λ = 0 π j = γ(t 1j) π j λ K K π j = 1 λ = γ(t 1i ) j=1 π new j = i=1 γ(t 1j ) K i=1 γ(t 1i) Действуя аналогично для A, принимая во внимание, что K j=1 A ij = 1 i, получаем: A new ij = N n=2 ξ(t n 1,it nj ) K N k=1 n=2 ξ(t n 1,it nk ) π,λ

19 M-шаг для компонент φ М-шаг для компонент генерации данных p(x n φ k ) абсолютно аналогичен М-шагу для оценки параметров при восстановлении смесей распределений. В частности, если в качестве компонент выступают многомерные нормальные распределения p(x n φ k ) = N(x n µ k,σ k ), то задача оптимизации для параметров µ k,σ k может быть решена в явном виде: Σ k = N n=1 µ k = γ(t nk)x n N n=1 γ(t nk) N n=1 γ(t nk)(x n µ k )(x n µ k ) T N n=1 γ(t nk)

20 Инициализация параметров Θ Для начала работы ЕМ- необходимо задать начальные значения параметров Θ = (π, A, φ). Заметим, что если какой-нибудь параметр инициализирован нулем, то в процессе итераций ЕМ его значение не изменится. Значения параметров π и A обычно выбираются случайными при соблюдении ограничений j π j = 1 и j A ij = 1 i. Инициализация φ зависит от формы распределений p(x φ). В случае нормальных распределений можно провести кластеризацию данных на K кластеров и выбрать в качестве µ k и Σ k центр и разброс соответствующего кластера.

21 План лекции

22 Вычисление апостериорных распределений на скрытые компоненты На Е-шаге обучения СММ требуется вычисление апостериорных распределений на скрытые компоненты γ(t nj ) = p(t nj = 1 X,Θ), ξ(t n 1,i, t nj ) = p(t n 1,i = 1, t nj = 1 X,Θ) (Баума-Уэлша) позволяет эффективно вычислять эти величины для всех n, i, j за линейное по N время. В дальнейшем для удобства будем опускать Θ во всех формулах, считая набор параметров фиксированным.

23 Свойства условной независимости t 1 t 2 t n-1 t n t n+1 x 1 x 2 x n-1 x n x n+1 t N x N p(x t n ) =p(x 1,...,x n t n )p(x n+1,...,x N t n ) p(x 1,...,x n 1 x n, t n ) =p(x 1,...,x n 1 t n ) p(x 1,...,x n 1 t n 1, t n ) =p(x 1,...,x n 1 t n 1 ) p(x n+1,...,x N t n, t n+1 ) =p(x n+1,...,x N t n+1 ) p(x n+2,...,x N t n+1, x n+1 ) =p(x n+2,...,x N t n+1 ) p(x t n 1, t n ) =p(x 1,...,x n 1 t n 1 )p(x n t n ) p(x n+1,...,x N t n ) p(x N+1 X, t N+1 ) =p(x N+1 t N+1 ) p(t N+1 t N, X) =p(t N+1 t N )

24 Вычисление γ(t nj ) По формуле Байеса γ(t n ) = p(t n X) = p(x t n)p(t n ) p(x) Пользуясь свойствами условной независимости, получаем Здесь γ(t n ) = p(x 1,...,x n, t n )p(x n+1,...,x N t n ) p(x) α(t n ) = p(x 1,...,x n, t n ) β(t n ) = p(x n+1,...,x N t n ) = α(t n)β(t n ) p(x) позволяет быстро рекуррентно вычислять значение α(t n ) через α(t n 1 ) (проход вперед) и β(t n ) через β(t n+1 ) (проход назад).

25 Рекуррентная формула для α(t n ) α(t n ) =p(x 1,...,x n, t n ) = =p(x 1,...,x n t n )p(t n ) = =p(x n t n )p(x 1,...,x n 1 t n )p(t n ) = =p(x n t n )p(x 1,...,x n 1, t n ) = =p(x n t n ) p(x 1,...,x n 1, t n 1, t n ) = t n 1 =p(x n t n ) p(x 1,...,x n 1, t n t n 1 )p(t n 1 ) = t n 1 =p(x n t n ) p(x 1,...,x n 1 t n 1 )p(t n t n 1 )p(t n 1 ) = t n 1 =p(x n t n ) p(x 1,...,x n 1, t n 1 )p(t n t n 1 ) = t n 1 =p(x n t n ) α(t n 1 )p(t n t n 1 ) t n 1

26 Вычисление α(t n ) Для запуска рекуррентного процесса необходимо вычислить α(t 1 ) = p(x 1, t 1 ) = p(t 1 )p(x 1 t 1 ) = K (π j p(x 1 φ k )) t1j На каждом шаге рекурсии вектор α(t n ) длины K умножается на матрицу p(t n t n 1 ) размера K K. Поэтому сложность всего рекуррентного процесса составляет O(NK 2 ). j=1

27 Рекуррентная формула для β(t n ) β(t n ) =p(x n+1,...,x N t n ) = = p(x n+1,...,x N, t n+1 t n ) = t n+1 = p(x n+1,...,x N t n+1 )p(t n+1 t n ) = t n+1 = p(x n+2,...,x N t n+1 )p(x n+1 t n+1 )p(t n+1 t n ) = t n+1 = β(t n+1 )p(x n+1 t n+1 )p(t n+1 t n ) t n+1

28 Инициализация рекуррентного процесса для β(t n ) Вспомним формулу, связывающую значение γ(t n ) с α(t n ) и β(t n ): γ(t n ) = p(x 1,...,x n, t n )p(x n+1,...,x N t n ) p(x) = α(t n)β(t n ) p(x) Подставляя в формулу значение n = N, получаем Таким образом, β(t N ) = 1. γ(t N ) = p(t N X) = p(x, t N)β(t N ) p(x)

29 Нормировочная константа p(x) Значение γ(t n ) определено с точностью до нормировочной константы p(x). Однако, на М-шаге значение γ(t n ), как правило, входит в числитель и в знаменатель. Таким образом, нормировочная константа сокращается. На, при вычислении центра нормального распределения: µ k = N n=1 γ(t nk)x n N n=1 γ(t nk) N n=1 = α(t nk)β(t nk )x k N n=1 α(t nk)β(t nk ) Тем не менее, сама нормировочная константа p(x) это значение, которое может представлять отдельный интерес (на, можно отслеживать возрастание при итерациях ЕМ-). Зная α(t n ) и β(t n ), правдоподобие может быть легко вычислено как p(x) = t n α(t n )β(t n ), n p(x) = t N α(t N )

30 Формула для ξ(t n 1, t n ) ξ(t n 1, t n ) = p(t n 1, t n X) = = p(x t n 1, t n )p(t n 1, t n ) p(x) = p(x 1,...,x n 1 t n 1 )p(x n t n )p(x n+1,...,x N t n )p(t n t n 1 )p(t n 1 ) p(x) = α(t n 1)p(x n t n )p(t n t n 1 )β(t n ) p(x) = =

31 Итоговый ЕМ-алгоритм для случая, когда p(x n t n ) нормальные распределения Начальная инициализация параметров Θ = (π, A, φ). Параметры π и A можно инициализировать случайно, а φ с помощью кластеризации данных. Е-шаг. Вычисление α(t n ) и β(t n ) с помощью рекуррентного. Вычисление величин γ(t nj ) и ξ(t n 1,i, t nj ) и, возможно, p(x). М-шаг. Вычисление новых значений параметров: π new j = γ(t 1j) K i=1 γ(t 1i), Anew ij = N n=2 ξ(t n 1,it nj ) K N k=1 n=2 ξ(t n 1,it nk ) N µ new n=1 k = γ(t N nk)x n N n=1 γ(t nk), Σnew n=1 k = γ(t nk)(x n µ k )(x n µ k ) T N n=1 γ(t nk) Повторять шаги Е и М до сходимости (пока значение p(x) или Θ не стабилизируется).

32 Задача прогнозирования p(x N+1 X) = p(x N+1, t N+1 X) = p(x N+1 t N+1 )p(t N+1 X) = t N+1 t N+1 = ( ) p(x N+1 t N+1 ) p(t N+1, t N X) = t N+1 t N = ( ) p(x N+1 t N+1 ) p(t N X)p(t N+1 t N ) = t N+1 t N = ( ) p(x N+1 t N+1 ) p(t N+1 t N ) p(t N, X) = p(x) t N+1 t N ( ) = 1 p(x N+1 t N+1 ) p(t N+1 t N )α(t N ) p(x) t N+1 t N Это фактически смесь распределений с компонентами p(x N+1 t N+1) и весами w k = 1 p(x) t N p(t N+1 t N)α(t N). Для получения точечного прогноза x N+1 можно воспользоваться MCMC.

33 План лекции

34 Необходимость устойчивых вычислений для α(t n ) и β(t n ) Формулы пересчета для α(t n ) и β(t n ): α(t n ) =p(x n t n ) t n 1 α(t n 1 )p(t n t n 1 ) β(t n ) = t n+1 β(t n+1 )p(t n+1 t n )p(x n+1 t n+1 ) На практике значения вероятностей p(t n t n 1 ) и p(x n t n ) могут быть существенно меньше единицы. В процессе пересчета эти вероятности умножаются друг на друга, и получающиеся значения перестают укладываться в машинную точность.

35 α(t n ) I Предлагается вместо α(t n ) рассмотреть следующую величину: ˆα(t n ) = p(t n x 1,...,x n ) = α(t n ) p(x 1,...,x n ) Можно надеяться, что значения ˆα(t n ) будут существенно отличны от нуля, т.к. t n ˆα(t n ) = 1. Рассмотрим также величины c n = p(x n x n 1,...,x 1 ). Вычисление этих величин также будет устойчивым, т.к. они имеют смысл одномерных вероятностных распределений.

36 α(t n ) II Очевидно, что p(x 1,...,x n ) = n i=1 ( n ) α(t n ) = p(t n x 1,...,x n )p(x 1,...,x n ) = ˆα(t n ) c i Подставляя это выражение в формулу пересчета для α(t n ) α(t n ) = p(x n t n ) α(t n 1 )p(t n t n 1 ), t n 1 получаем c nˆα(t n ) = p(x n t n ) ˆα(t n 1 )p(t n t n 1 ) t n 1 c i i=1 Значение c n определяется из условия нормировки для ˆα(t n ).

37 β(t n ) Рассмотрим следующую величину ˆβ(t n ) = p(x n+1,...,x N t n ) p(x n+1,...,x N x 1,...,x n ) = β(t n) N i=n+1 c i Вычисление данной величины будет устойчивым, т.к. ˆβ(t n ) является отношением двух распределений на (x n+1,...,x N ). Подставляя выражение для ˆβ(t n ) в формулу пересчета получаем β(t n ) = t n+1 β(t n+1 )p(t n+1 t n )p(x n+1 t n+1 ), c n+1ˆβ(tn ) = t n+1 ˆβ(t n+1 )p(t n+1 t n )p(x n+1 t n+1 ) Значения c n определяются из формул пересчета для ˆα(t n ).

38 Окончательные выражения для Е-шага Правдоподобие p(x) вычисляется как p(x) = N n=1 Другие необходимые величины вычисляются как γ(t n ) =ˆα(t n )ˆβ(t n ) ξ(t n 1, t n ) = 1 ˆα(t n 1 )p(x n t n )p(t n t n 1 )ˆβ(t n ) c n c n

39 План лекции

40 I В качестве иллюстрации работы ЕМ- обучения СММ рассмотрим простой ный. X R, K = 3, данные сгенерированы из нормальных распределений со следующими параметрами: µ 1 = 0, µ 2 = 0, µ 3 = 1 σ 2 1 = 0.1, σ2 2 = 0.5, σ2 3 = 0.1 Априорные вероятности и матрица перехода выбраны следующим образом: π = [0.3, 0.2, 0.5], A =

41 II Ит. 1: Ит. 5: Ит. 20: Ит. 54:

42 III После 54-ой итерации ЕМ- значения параметров были следующие: π = [10 190, , 1], A = µ 1 = 0.01, σ1 2 = 0.11 µ 2 = 0.1, σ2 2 = 0.51 µ 3 = 1, σ3 2 = 0.11

Д. П. Ветров 1. Спецкурс «Графические модели» Лекция 5. Обучение без учителя. скрытых марковских моделей и. линейных динамических систем.

Д. П. Ветров 1. Спецкурс «Графические модели» Лекция 5. Обучение без учителя. скрытых марковских моделей и. линейных динамических систем. для Д. П. 1 1 МГУ, ВМиК, каф. ММП Спецкурс «Графические модели» Скрытая Марковская модель () для Скрытая Марковская модель [первого порядка] это вероятностная модель последовательности, которая Состоит

Подробнее

Вариационный вывод в графических моделях

Вариационный вывод в графических моделях Вариационный вывод в графических моделях Задача приближённого вывода в вероятностных моделях Рассмотрим задачу вывода в вероятностных моделях в следующей постановке. Пусть имеется некоторое вероятностное

Подробнее

Лекция 4. Статистические методы распознавания, Распознавание при заданной точности для некоторых классов, ROC-анализ. Лектор Сенько Олег Валентинович

Лекция 4. Статистические методы распознавания, Распознавание при заданной точности для некоторых классов, ROC-анализ. Лектор Сенько Олег Валентинович Лекция 4 Статистические методы распознавания, Распознавание при заданной точности для некоторых классов, ROC-анализ Лектор Сенько Олег Валентинович Курс «Математические основы теории прогнозирования» 4-й

Подробнее

А. С. Конушин 1 Д. П. Ветров 2 Д. А. Кропотов 3 В. С. Конушин 1 О. В. Баринова 1. Спецкурс «Структурные методы анализа изображений и сигналов»

А. С. Конушин 1 Д. П. Ветров 2 Д. А. Кропотов 3 В. С. Конушин 1 О. В. Баринова 1. Спецкурс «Структурные методы анализа изображений и сигналов» . Метод (PCA) метод. А. С. Конушин 1 Д. П. Ветров 2 3 В. С. Конушин 1 О. В. Баринова 1 1 МГУ, ВМиК, лаб. КГ 2 МГУ, ВМиК, каф. ММП 3 ВЦ РАН Спецкурс «Структурные методы анализа изображений и сигналов» План

Подробнее

План лекции. 1 Смесь Гауссовских распределений. 2 EM-алгоритм. 3 Информационные методы

План лекции. 1 Смесь Гауссовских распределений. 2 EM-алгоритм. 3 Информационные методы План лекции 1 Смесь Гауссовских распределений 2 EM-алгоритм 3 Информационные методы А. А. Бояров, А. А. Сенов (СПбГУ) стохастическое программирование весна 2014 1 / 21 Смешанные модели Пусть W подмножество

Подробнее

Конспект лекции «Уменьшение размерности описания данных: метод главных компонент» по курсу «Математические основы теории прогнозирования» 2011

Конспект лекции «Уменьшение размерности описания данных: метод главных компонент» по курсу «Математические основы теории прогнозирования» 2011 Конспект лекции «Уменьшение размерности описания данных: метод главных компонент» по курсу «Математические основы теории прогнозирования» 2 Проблема анализа многомерных данных При решении различных задач

Подробнее

Лекция 12.Байесовский подход

Лекция 12.Байесовский подход Лекция 12.Байесовский подход Буре В.М., Грауэр Л.В. ШАД Санкт-Петербург, 2013 Буре В.М., Грауэр Л.В. (ШАД) Байесовский подход Санкт-Петербург, 2013 1 / 36 Cодержание Содержание 1 Байесовский подход к статистическому

Подробнее

Д. П. Ветров 1 Д. А. Кропотов 2

Д. П. Ветров 1 Д. А. Кропотов 2 решение Лекция 8. Д. П. Ветров 1 Д. А. 2 1 МГУ, ВМиК, каф. ММП 2 ВЦ РАН Спецкурс «Байесовские методы машинного обучения» План лекции решение 1 Дифференцирование матриц Задача оптимального распределения

Подробнее

рассуждений Д. П. Ветров 1 Курс «Математические методы прогнозирования» Лекция 4. Байесовский подход к теории вероятностей. Примеры байесовских

рассуждений Д. П. Ветров 1 Курс «Математические методы прогнозирования» Лекция 4. Байесовский подход к теории вероятностей. Примеры байесовских к. к. Д. П. Ветров 1 1 МГУ, ВМиК, каф. ММП Курс «Математические методы прогнозирования» План лекции к. 1 Sum- и Product- rule Формула Байеса 2 Частотный 3 Связь между байесовским ом и булевой логикой Пример

Подробнее

Лекция 14: Линейный оператор

Лекция 14: Линейный оператор Уральский федеральный университет, Институт математики и компьютерных наук, кафедра алгебры и дискретной математики Вступительные замечания В этой лекции мы приступаем к рассмотрению функций из векторного

Подробнее

Уменьшение размерности

Уменьшение размерности Академический Университет, 2012 Outline 1 2 PCA Обзор курса Задача PCA Рассмотрим данные, лежащие в пространстве очень большой размерности. Как с ними работать? Часто оказывается, что «на самом деле» данные

Подробнее

Материалы к лекции «Уменьшение размерности в данных. Метод главных компонент» по курсу «Математические основы теории прогнозирования» 2010

Материалы к лекции «Уменьшение размерности в данных. Метод главных компонент» по курсу «Математические основы теории прогнозирования» 2010 Материалы к лекции «Уменьшение размерности в данных. Метод главных компонент» по курсу «Математические основы теории прогнозирования» Рассмотрим задачу классификации изображений рукописных цифр MNIST.

Подробнее

Б а й е с о в с к а я к л а с с и ф и к а ц и я

Б а й е с о в с к а я к л а с с и ф и к а ц и я МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РФ ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ «САМАРСКИЙ ГОСУДАРСТВЕННЫЙ АЭРОКОСМИЧЕСКИЙ УНИВЕРСИТЕТ имени академика С.П.КОРОЛЕВА

Подробнее

рассуждений Д. П. Ветров 1 Д. А. Кропотов 2 Спецкурс «Байесовские методы машинного обучения» Лекция 2. Байесовский подход к теории

рассуждений Д. П. Ветров 1 Д. А. Кропотов 2 Спецкурс «Байесовские методы машинного обучения» Лекция 2. Байесовский подход к теории подход к. подход к. Д. П. Ветров 1 Д. А. 2 1 МГУ, ВМиК, каф. ММП 2 ВЦ РАН Спецкурс «методы машинного обучения» План лекции подход к. 1 Правила суммирования и произведения Формула Байеса Условная независимость

Подробнее

2. РЕШЕНИЕ НЕЛИНЕЙНЫХ УРАВНЕНИЙ И СИСТЕМ НЕЛИНЕЙНЫХ УРАВНЕНИЙ 2.1. РЕШЕНИЕ НЕЛИНЕЙНЫХ УРАВНЕНИЙ

2. РЕШЕНИЕ НЕЛИНЕЙНЫХ УРАВНЕНИЙ И СИСТЕМ НЕЛИНЕЙНЫХ УРАВНЕНИЙ 2.1. РЕШЕНИЕ НЕЛИНЕЙНЫХ УРАВНЕНИЙ . РЕШЕНИЕ НЕЛИНЕЙНЫХ УРАВНЕНИЙ И СИСТЕМ НЕЛИНЕЙНЫХ УРАВНЕНИЙ.. РЕШЕНИЕ НЕЛИНЕЙНЫХ УРАВНЕНИЙ вида Численное решение нелинейных алгебраических или трансцендентных уравнений. заключается в нахождении значений

Подробнее

Лекция 8. Критерии качества и правила приема дискретных сообщений

Лекция 8. Критерии качества и правила приема дискретных сообщений Лекция 8. Критерии качества и правила приема дискретных сообщений Обработкасигналовнаоснове статистической теории В этом случае удается отыскать наилучшую операцию обработки принятого сигнала t, обеспечивающую

Подробнее

Неопределенный и определенный интегралы

Неопределенный и определенный интегралы ~ ~ Неопределенный и определенный интегралы Понятие первообразной и неопределѐнного интеграла. Определение: Функция F называется первообразной по отношению к функции f, если эти функции связаны следующим

Подробнее

АСИМПТОТИЧЕСКИ ОПТИМАЛЬНОЕ ОЦЕНИВАНИЕ В ЗАДАЧЕ ЛИНЕЙНОЙ РЕГРЕССИИ СО СЛУЧАЙНЫМИ ОШИБКАМИ В КОЭФФИЦИЕНТАХ Ю. Ю. Линке, А. И.

АСИМПТОТИЧЕСКИ ОПТИМАЛЬНОЕ ОЦЕНИВАНИЕ В ЗАДАЧЕ ЛИНЕЙНОЙ РЕГРЕССИИ СО СЛУЧАЙНЫМИ ОШИБКАМИ В КОЭФФИЦИЕНТАХ Ю. Ю. Линке, А. И. Сибирский математический журнал Январь февраль, 010. Том 51, 1 УДК 519.33.5 АСИМПТОТИЧЕСКИ ОПТИМАЛЬНОЕ ОЦЕНИВАНИЕ В ЗАДАЧЕ ЛИНЕЙНОЙ РЕГРЕССИИ СО СЛУЧАЙНЫМИ ОШИБКАМИ В КОЭФФИЦИЕНТАХ Ю. Ю. Линке, А. И. Саханенко

Подробнее

Два подхода к заполнению пропусков и прогнозированию временных рядов, основанные на SSA

Два подхода к заполнению пропусков и прогнозированию временных рядов, основанные на SSA Два подхода к заполнению пропусков и прогнозированию временных рядов, основанные на SSA Жукова Марина Михайловна, гр. 522 Санкт-Петербургский Государственный Университет Математико-механический факультет

Подробнее

Лекция 8: Базис векторного пространства

Лекция 8: Базис векторного пространства Уральский федеральный университет, Институт математики и компьютерных наук, кафедра алгебры и дискретной математики Вступительные замечания В курсе аналитической геометрии важную роль играли понятия базиса

Подробнее

ЧИСЛЕННОЕ РЕШЕНИЕ НЕЛИНЕЙНЫХ УРАВНЕНИЙ

ЧИСЛЕННОЕ РЕШЕНИЕ НЕЛИНЕЙНЫХ УРАВНЕНИЙ ЧИСЛЕННОЕ РЕШЕНИЕ НЕЛИНЕЙНЫХ УРАВНЕНИЙ -1- ЧИСЛЕННОЕ РЕШЕНИЕ НЕЛИНЕЙНЫХ УРАВНЕНИЙ 0. Постановка задачи Задача нахождения корней нелинейного уравнения вида y=f() часто встречается в научных исследований

Подробнее

Лысяк Александр Сергеевич РАЗРАБОТКА И ИССЛЕДОВАНИЕ ТЕОРЕТИКО- ИНФОРМАЦИОННЫХ МЕТОДОВ ПРОГНОЗИРОВАНИЯ

Лысяк Александр Сергеевич РАЗРАБОТКА И ИССЛЕДОВАНИЕ ТЕОРЕТИКО- ИНФОРМАЦИОННЫХ МЕТОДОВ ПРОГНОЗИРОВАНИЯ ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ «НОВОСИБИРСКИЙ НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ» На правах рукописи Лысяк Александр Сергеевич

Подробнее

First Prev Next Last Go Back Full Screen Close Quit

First Prev Next Last Go Back Full Screen Close Quit Ткачев С.Б. каф. Математического моделирования МГТУ им. Н.Э. Баумана ДИСКРЕТНАЯ МАТЕМАТИКА ИУ5 4 семестр, 2015 г. Лекция 10. АЛГЕБРЫ: ПОЛУКОЛЬЦА Определение 10.1. Полукольцо это алгебра с двумя бинарными

Подробнее

Лекция 6: Крамеровские системы линейных уравнений

Лекция 6: Крамеровские системы линейных уравнений Лекция 6: Крамеровские системы линейных уравнений Уральский федеральный университет, Институт математики и компьютерных наук, кафедра алгебры и дискретной математики Вступительные замечания В курсе аналитической

Подробнее

С.А. Лавренченко. Доказательство: Повести самостоятельно. Указание: Применить произведения, взяв

С.А. Лавренченко. Доказательство: Повести самостоятельно. Указание: Применить произведения, взяв Лекция 4 1 СА Лавренченко Вычисление пределов 1 Правила вычисления пределов Пусть действительная константа и целое положительное число При условии, что существуют оба предела и, имеют место следующие десять

Подробнее

Лекция 13: Пространство решений однородной системы линейных уравнений

Лекция 13: Пространство решений однородной системы линейных уравнений Лекция 13: Пространство решений однородной системы линейных уравнений Уральский федеральный университет, Институт математики и компьютерных наук, кафедра алгебры и дискретной математики Вступительные замечания

Подробнее

Лекция 13: Пространство решений однородной системы линейных уравнений

Лекция 13: Пространство решений однородной системы линейных уравнений Лекция 13: Пространство решений однородной системы линейных уравнений Уральский федеральный университет, Институт математики и компьютерных наук, кафедра алгебры и дискретной математики Вступительные замечания

Подробнее

ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ

ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Московский государственный университет приборостроения и информатики кафедра высшей

Подробнее

Олемской И.В. МЕТОДИЧЕСКИЕ УКАЗАНИЯ ПО ВЫЧИСЛИТЕЛЬНОМУ ПРАКТИКУМУ. (ВЫЧИСЛЕНИЕ ОПРЕДЕЛЕННОГО ИНТЕГРАЛА)

Олемской И.В. МЕТОДИЧЕСКИЕ УКАЗАНИЯ ПО ВЫЧИСЛИТЕЛЬНОМУ ПРАКТИКУМУ. (ВЫЧИСЛЕНИЕ ОПРЕДЕЛЕННОГО ИНТЕГРАЛА) Олемской И.В. МЕТОДИЧЕСКИЕ УКАЗАНИЯ ПО ВЫЧИСЛИТЕЛЬНОМУ ПРАКТИКУМУ. (ВЫЧИСЛЕНИЕ ОПРЕДЕЛЕННОГО ИНТЕГРАЛА) Постановка задачи. Рассматривается задача о вычислении однократного интеграла J(F ) = F (x) dx. ()

Подробнее

Коллаборативная фильтрация в рекомендательных системах. SVD-разложение

Коллаборативная фильтрация в рекомендательных системах. SVD-разложение УДК 004.852 Коллаборативная фильтрация в рекомендательных системах. SVD-разложение Латкин И.И., студент Россия, 105005, г. Москва, МГТУ им. Н.Э. Баумана, кафедра «Системы обработки информации и управления»

Подробнее

Лекция 2: Многочлены

Лекция 2: Многочлены Уральский федеральный университет, Институт математики и компьютерных наук, кафедра алгебры и дискретной математики Понятие многочлена Определения Многочленом от одной переменной называется выражение вида

Подробнее

Федеральное агентство по образованию Уральский государственный экономический университет Ю. Б. Мельников Основы линейной алгебры: определение, базис, алгебра подпространств Раздел электронного учебника

Подробнее

РЕШЕНИЕ РЕКУРРЕНТНЫХ УРАВНЕНИЙ

РЕШЕНИЕ РЕКУРРЕНТНЫХ УРАВНЕНИЙ РЕШЕНИЕ РЕКУРРЕНТНЫХ УРАВНЕНИЙ Обозначим через значение некоторого выражения при подстановке в него целого числа Тогда зависимость члена последовательности от членов последовательности F F со значениями

Подробнее

ТЕОРИЯ ВЕРОЯТНОСТЕЙ: СИСТЕМЫ СЛУЧАЙНЫХ ВЕЛИЧИН И ФУНКЦИИ СЛУЧАЙНЫХ ВЕЛИЧИН

ТЕОРИЯ ВЕРОЯТНОСТЕЙ: СИСТЕМЫ СЛУЧАЙНЫХ ВЕЛИЧИН И ФУНКЦИИ СЛУЧАЙНЫХ ВЕЛИЧИН Т А Матвеева В Б Светличная С А Зотова ТЕОРИЯ ВЕРОЯТНОСТЕЙ: СИСТЕМЫ СЛУЧАЙНЫХ ВЕЛИЧИН И ФУНКЦИИ СЛУЧАЙНЫХ ВЕЛИЧИН ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ ВОЛГОГРАДСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ

Подробнее

О конструировании вычислительного алгоритма для решения некорректной задачи с использованием визуализации на вычислительном комплексе МВС-1000

О конструировании вычислительного алгоритма для решения некорректной задачи с использованием визуализации на вычислительном комплексе МВС-1000 О конструировании вычислительного алгоритма для решения некорректной задачи с использованием визуализации на вычислительном комплексе МВС-1000 ИММ УрО РАН В работе изложен опыт, полученный в процессе восстановления

Подробнее

11.4. Оценка вероятности отказа по биномиальному плану. Точечная оценка. Доверительные интервалы

11.4. Оценка вероятности отказа по биномиальному плану. Точечная оценка. Доверительные интервалы например, к экспоненциальной составляющей функции распределения не добавится нормальная составляющая (рис. 11.3). Таким косвенным подтверждением могут быть результаты длительных испытаний небольших партий

Подробнее

К. В. Григорьева. Методические указания Тема 3. Методы решения задачи минимизации квадратичной функции. Факультет ПМ-ПУ СПбГУ 2007 г.

К. В. Григорьева. Методические указания Тема 3. Методы решения задачи минимизации квадратичной функции. Факультет ПМ-ПУ СПбГУ 2007 г. К. В. Григорьева Методические указания Тема. Методы решения задачи минимизации квадратичной функции Факультет ПМ-ПУ СПбГУ 7 г. ОГЛАВЛЕНИЕ. ПОСТАНОВКА ЗАДАЧИ. ВСПОМОГАТЕЛЬНЫЕ СВЕДЕНИЯ.... МЕТОДЫ СПУСКА

Подробнее

ВВЕДЕНИЕ ПОНЯТИЕ АЛГОРИТМА И СЛОЖНОСТЬ АЛГОРИТМОВ

ВВЕДЕНИЕ ПОНЯТИЕ АЛГОРИТМА И СЛОЖНОСТЬ АЛГОРИТМОВ ВВЕДЕНИЕ Настоящий конспект лекций предназначен для студентов - курсов, изучающих курс «Базовые алгоритмы обработки информации» по специальности 0. При подготовке конспекта лекций были использованы следующие

Подробнее

Решение уравнения с одним неизвестным

Решение уравнения с одним неизвестным 1 Решение уравнения с одним неизвестным Дано уравнение в виде f(x)=0, где f(x) некоторая функция переменной x. Число x * называется корнем или решением данного уравнения, если при подстановке x=x * в уравнение

Подробнее

Лекция 18: Ортонормированный базис

Лекция 18: Ортонормированный базис Уральский федеральный университет, Институт математики и компьютерных наук, кафедра алгебры и дискретной математики Ортогональные и ортонормированные наборы векторов Из определения угла между векторами

Подробнее

Лекция 5: Определители

Лекция 5: Определители Уральский федеральный университет, Институт математики и компьютерных наук, кафедра алгебры и дискретной математики Вступительные замечания В курсе аналитической геометрии уже говорилось об определителях

Подробнее

Применение алгоритмов неконтролируемой классификации при обработке данных ДЗЗ

Применение алгоритмов неконтролируемой классификации при обработке данных ДЗЗ Применение алгоритмов неконтролируемой классификации при обработке данных ДЗЗ И.А. Зубков, В.О. Скрипачев ФГУП «Научный центр космических информационных систем и технологий наблюдения» Москва E-mail: zubkov@cpi.space.ru

Подробнее

Комментарии к теме Распределения случайных векторов

Комментарии к теме Распределения случайных векторов Комментарии к теме Распределения случайных векторов Практические занятия по теории вероятностей, 322 гр., СМ В. В. Некруткин, 2012 1 Случайные вектора и их распределения Многие свойства случайных векторов

Подробнее

Типовые задачи c решениями.

Типовые задачи c решениями. Типовые задачи c решениями. Формальное суммирование рядов. Формула рекурсии k a k a + a k k Формула умножения λ a k λa k Формула сложения k k k a k + b k a k + k b k k Пример Геометрическая прогрессия.

Подробнее

Лекция 4: Решение систем линейных уравнений методом Гаусса

Лекция 4: Решение систем линейных уравнений методом Гаусса Лекция 4: Решение систем линейных уравнений методом Гаусса Уральский федеральный университет, Институт математики и компьютерных наук, кафедра алгебры и дискретной математики Вступительные замечания Данная

Подробнее

Лекция 14. Равенство Парсеваля. Минимальное свойство коэффициентов разложения. Комплексная форма ряда Фурье.

Лекция 14. Равенство Парсеваля. Минимальное свойство коэффициентов разложения. Комплексная форма ряда Фурье. Лекция 4. Равенство Парсеваля. Минимальное свойство коэффициентов разложения. Комплексная форма ряда..4. Равенство Парсеваля Пусть система вещественных функций g( ), g( ),..., g ( ),... ортогональна и

Подробнее

ГЛАВА: Введение в численные методы. Лекция 3: Численное интегрирование (15 слайдов)

ГЛАВА: Введение в численные методы. Лекция 3: Численное интегрирование (15 слайдов) ГЛАВА: Введение в численные методы. Лекция 3: Численное интегрирование (15 слайдов) Слайд 1: Методы численного интегрирования. Требуется вычислить определенный интеграл: Методы решения такой задачи: 1.

Подробнее

Лекция 8 Модель льда и коммутирующие трансфер-матрицы

Лекция 8 Модель льда и коммутирующие трансфер-матрицы Лекция 8 Модель льда и коммутирующие трансфер-матрицы Рассмотрим другую модель классической статистической механики шестивершинную модель или модель льда Пусть на ребрах квадратной решетки живут «спины»

Подробнее

Семинар 5. Модели ARMA

Семинар 5. Модели ARMA Семинар 5. Модели ARMA 5.1. Авторегрессионная модель (AR) Авторегрессионная модель p-го порядка (обозначается AR(p)) имеет вид y t = p a k y t k + ε t, где ε t белый шум. Изучим свойства модели на примере

Подробнее

Технология персонализации на основе выявления тематических профилей пользователей и ресурсов Интернет

Технология персонализации на основе выявления тематических профилей пользователей и ресурсов Интернет МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ МОСКОВСКИЙ ФИЗИКО-ТЕХНИЧЕСКИЙ ИНСТИТУТ государственный университет ФАКУЛЬТЕТ УПРАВЛЕНИЯ И ПРИКЛАДНОЙ МАТЕМАТИКИ ВЫЧИСЛИТЕЛЬНЫЙ ЦЕНТР ИМ А А ДОРОДНИЦЫНА

Подробнее

Многомерная линейная регрессия. Метод главных компонент

Многомерная линейная регрессия. Метод главных компонент . Воронцов Константин Вячеславович vokov@forecsys.ru http://www.machinelearning.ru/wiki?title=user:vokov Этот курс доступен на странице вики-ресурса http://www.machinelearning.ru/wiki «Машинное обучение

Подробнее

Московский государственный технический университет имени Н.Э. Баумана. Факультет «Фундаментальные науки» Кафедра «Математическое моделирование»

Московский государственный технический университет имени Н.Э. Баумана. Факультет «Фундаментальные науки» Кафедра «Математическое моделирование» ÌÃÒÓ ÌÃÒÓ ÌÃÒÓ ÌÃÒÓ ÌÃÒÓ ÌÃÒÓ ÌÃÒÓ ÌÃÒÓ ÌÃÒÓ Московский государственный технический университет имени Н.Э. Баумана Факультет «Фундаментальные науки» Кафедра «Математическое моделирование» À.Í. Êàíàòíèêîâ,

Подробнее

сайты:

сайты: Федеральное агентство по образованию Уральский государственный экономический университет Ю. Б. Мельников Основы линейной алгебры: определение, базис, алгебра подпространств Раздел электронного учебника

Подробнее

Введение. 1. Задача линейного программирования. Основные понятия

Введение. 1. Задача линейного программирования. Основные понятия Введение Данные методические указания адресованы студентам заочной формы обучения всех специальностей, которые будут выполнять контрольную работу т 4 по высшей математике, и охватывают раздел математического

Подробнее

Численный анализ. Содержание. А.М. Мацокин, ВКИ НГУ, 1994/95 учебный год (конспект лекций)

Численный анализ. Содержание. А.М. Мацокин, ВКИ НГУ, 1994/95 учебный год (конспект лекций) Численный анализ А.М. Мацокин, ВКИ НГУ, 1994/95 учебный год (конспект лекций) Содержание 1. Алгебраические методы интерполирования................ 3 1.1. Интерполяционный полином в форме Лагранжа..........

Подробнее

ЗАДАЧА О РАЗЛАДКЕ ДЛЯ СКАЧКООБРАЗНОГО СЛУЧАЙНОГО ПРОЦЕССА

ЗАДАЧА О РАЗЛАДКЕ ДЛЯ СКАЧКООБРАЗНОГО СЛУЧАЙНОГО ПРОЦЕССА ЗАДАЧА О РАЗЛАДКЕ ДЛЯ СКАЧКООБРАЗНОГО СЛУЧАЙНОГО ПРОЦЕССА Г.И. Салов Введение В монографиях 1, гл. IV] 2, гл. 5, 72], в статьях 3] 4] и др. рассматривались задачи скорейшего обнаружения момента θ появления

Подробнее

А.В. КРЯНЕВ, Г.В. ЛУКИН МЕТРИЧЕСКИЙ АНАЛИЗ И ОБРАБОТКА ДАННЫХ

А.В. КРЯНЕВ, Г.В. ЛУКИН МЕТРИЧЕСКИЙ АНАЛИЗ И ОБРАБОТКА ДАННЫХ А.В. КРЯНЕВ, Г.В. ЛУКИН МЕТРИЧЕСКИЙ АНАЛИЗ И ОБРАБОТКА ДАННЫХ Рекомендовано УМО в области ядерные физика и технологии в качестве учебного пособия МОСКВА ФИЗМАТЛИТ 2010 УДК 519.2+6 ББК 22.17, 22.19 К85

Подробнее

Лекция 10: Умножение матриц

Лекция 10: Умножение матриц Уральский федеральный университет, Институт математики и компьютерных наук, кафедра алгебры и дискретной математики Вступительные замечания В данной лекции вводится операция умножения матриц, изучаются

Подробнее

Семинары по линейным классификаторам

Семинары по линейным классификаторам Семинары по линейным классификаторам Евгений Соколов sokolovevg@gmailcom 26 ноября 2013 г 5 Ядра и их применение в машинном обучении 51 Восстановление нелинейных зависимостей линейными методами Линейные

Подробнее

Численные методы интегрирования и решения дифференциальных уравнений

Численные методы интегрирования и решения дифференциальных уравнений Краевой конкурс учебно-исследовательских и проектных работ учащихся «Прикладные вопросы математики» Математический анализ Численные методы интегрирования и решения дифференциальных уравнений Новопоселенких

Подробнее

TASK ABOUT APPOINTMENTS AND SOME WAYS OF ITS DECISION

TASK ABOUT APPOINTMENTS AND SOME WAYS OF ITS DECISION ЗАДАЧА О НАЗНАЧЕНИЯХ И НЕКОТОРЫЕ СПОСОБЫ ЕЕ РЕШЕНИЯ Коваль О.В. Филиал Южного федерального университета в г. Новошахтинске Ростовской области Новошахтинск, Россия TASK ABOUT APPOINTMENTS AND SOME WAYS

Подробнее

Методические указания к выполнению курсовой работы

Методические указания к выполнению курсовой работы Методические указания к выполнению курсовой работы "СЛУЧАЙНЫЕ ВЕКТОРЫ" для студентов специальности 655Д «Роботы и робототехнические системы» Кафедра математики г Описание работы Курсовой проект предполагает

Подробнее

Математический анализ

Математический анализ Кафедра математики и информатики Математический анализ Учебно-методический комплекс для студентов ВПО, обучающихся с применением дистанционных технологий Модуль 4 Приложения производной Составитель: доцент

Подробнее

Лекция 15: Собственные значения и собственные векторы. оператора

Лекция 15: Собственные значения и собственные векторы. оператора Лекция 15: Собственные значения и собственные векторы линейного оператора Уральский федеральный университет, Институт математики и компьютерных наук, кафедра алгебры и дискретной математики Определение

Подробнее

28. Фундаментальная система решений однородной системы линейных уравнений

28. Фундаментальная система решений однородной системы линейных уравнений 28. Фундаментальная система решений однородной системы линейных уравнений Уральский федеральный университет, Институт математики и компьютерных наук, кафедра алгебры и дискретной математики Размерность

Подробнее

ЗАДАЧА ЛИНЕЙНОЙ ОПТИМИЗАЦИИ C ЧАСТИЧНО ЗАДАННОЙ ИНФОРМАЦИЕЙ Н.Ю. Таратынова. Введение. f(x) = (c, x) max

ЗАДАЧА ЛИНЕЙНОЙ ОПТИМИЗАЦИИ C ЧАСТИЧНО ЗАДАННОЙ ИНФОРМАЦИЕЙ Н.Ю. Таратынова. Введение. f(x) = (c, x) max ЗАДАЧА ЛИНЕЙНОЙ ОПТИМИЗАЦИИ C ЧАСТИЧНО ЗАДАННОЙ ИНФОРМАЦИЕЙ Н.Ю. Таратынова Черноморский Филиал Московского Государственного Университета, отделение прикладной математики ул. Гер.Севастополя, 7, г.севастополь,

Подробнее

Решение задач по теории чисел

Решение задач по теории чисел Решение задач по теории чисел 1 Сравнения первой степени с одним неизвестным ax b (mod m) Пример 1. Решите сравнение О.В. Митина 1287x 447 (mod 516). (1) Решение: 1) Заменим коэффициенты сравнения (1)

Подробнее

ЛЕКЦИЯ 15 ПРОСТЫЕ ЧИСЛА

ЛЕКЦИЯ 15 ПРОСТЫЕ ЧИСЛА ЛЕКЦИЯ 15 ПРОСТЫЕ ЧИСЛА Натуральное число p, больше единицы называется простым, если оно делится нацело только на 1 и на себя. Теорема (Эвклид). Множество простых чисел бесконечно. Обозначим через π(x)

Подробнее

ЗАДАЧА РАСПОЗНАВАНИЯ ОБРАЗОВ...

ЗАДАЧА РАСПОЗНАВАНИЯ ОБРАЗОВ... Математические методы распознавания образов Курс лекций МГУ ВМиК кафедра «Математические методы прогнозирования» Местецкий Леонид Моисеевич 4 ЗАДАЧА РАСПОЗНАВАНИЯ ОБРАЗОВ 4 ПРЕДМЕТ РАСПОЗНАВАНИЯ ОБРАЗОВ

Подробнее

Оценивание скорости убывания экспоненциального хвоста распределения

Оценивание скорости убывания экспоненциального хвоста распределения Информационные процессы, Том 9, 3, 2009, стр. 210 215. c 2009 Давиденко. МАТЕМАТИЧЕСКИЕ МОДЕЛИ, ВЫЧИСЛИТЕЛЬНЫЕ МЕТОДЫ Оценивание скорости убывания экспоненциального хвоста распределения М.Г. Давиденко

Подробнее

СБОРНИК ЗАДАЧ ДЛЯ САМОСТОЯТЕЛЬНОГО РЕШЕНИЯ ПО ТЕМЕ ПРЕДЕЛ ФУНКЦИИ

СБОРНИК ЗАДАЧ ДЛЯ САМОСТОЯТЕЛЬНОГО РЕШЕНИЯ ПО ТЕМЕ ПРЕДЕЛ ФУНКЦИИ Министерство образования и науки Российской Федерации Ярославский государственный университет им ПГ Демидова Кафедра дискретного анализа СБОРНИК ЗАДАЧ ДЛЯ САМОСТОЯТЕЛЬНОГО РЕШЕНИЯ ПО ТЕМЕ ПРЕДЕЛ ФУНКЦИИ

Подробнее

ТЕОРИЯ ВЕРОЯТНОСТЕЙ И МАТЕМАТИЧЕСКАЯ СТАТИСТИКА

ТЕОРИЯ ВЕРОЯТНОСТЕЙ И МАТЕМАТИЧЕСКАЯ СТАТИСТИКА ТЕОРИЯ ВЕРОЯТНОСТЕЙ И МАТЕМАТИЧЕСКАЯ СТАТИСТИКА 3-й семестр 2013 2014, спец. ИУ3, ИУ6 Виды аудиторных занятий и самостоятельной работы Сроки проведения или выполнения, недели Трудоемкость, часы Лекции

Подробнее

"Спецфункции". Лекция 9. Гипергеометрическая функция. ) n. (1 + 1 )(1 + b 1

Спецфункции. Лекция 9. Гипергеометрическая функция. ) n. (1 + 1 )(1 + b 1 "Спецфункции". Лекция 9. Гипергеометрическая функция 1. Гипергеометрический ряд F p,q a 1,..., a p ; b 1,..., b q ; z определяется как степенной ряд вида F p,q a 1,..., a p ; b 1,..., b q ; z = 1 + a 1

Подробнее

Оптимизация форсированных испытаний восстанавливаемых систем

Оптимизация форсированных испытаний восстанавливаемых систем УДК 5948 Оптимизация форсированных испытаний восстанавливаемых систем ВИ Тимонин, НД Тянникова МГТУ им НЭ Баумана, Москва, 05005, Россия В работе рассмотрен метод планирования форсированных испытаний восстанавливаемых

Подробнее

Линейные модели: жатые чувства

Линейные модели: жатые чувства Линейные модели: жатые чувства И. Куралёнок, Н. Поваров Яндекс СПб, 2015 И. Кураленок, Н. Поваров, Яндекс Санкт-Петербург, 2015 Стр. 1 из 20 План 1 Постановка задачи восстановления сигнала Пример Разложение

Подробнее

«Теория вероятностей и математическая статистика»

«Теория вероятностей и математическая статистика» Московский государственный университет имени М.В. Ломоносова МОСКОВСКАЯ ШКОЛА ЭКОНОМИКИ РАБОЧАЯ ПРОГРАММА ДИСЦИПЛИНЫ «Теория вероятностей и математическая статистика» Шифр дисциплины Для направления 080100

Подробнее

Московский Государственный Университет Геодезии и Картографии. Кафедра высшей математики

Московский Государственный Университет Геодезии и Картографии. Кафедра высшей математики Московский Государственный Университет Геодезии и Картографии Кафедра высшей математики Высшая математика ( семестр Разделы Функции. Пределы. Дифференцирование. Интегрирование. Основные формулы по темам

Подробнее

Тогда прямое преобразование Лапласа будет иметь вид : F( p)

Тогда прямое преобразование Лапласа будет иметь вид : F( p) Ястребов НИ КПИ РТФ каф ТОР wwwystrevkievu Схемные функции Аппарат схемных функций применим как для анализа цепей на постоянном и гармоническом токе так и при произвольном виде воздействия В установившемся

Подробнее

Интегралы Определенные и Неопределенные

Интегралы Определенные и Неопределенные 1 Интегралы Определенные и Неопределенные Опр. Интеграл функции это естественный аналог суммы последовательности. Опр. Интегрирование процесс нахождения интеграла. Зам. Интегрирование это операция обратная

Подробнее

Алгоритм решения систем линейных уравнений в кольцах вычетов

Алгоритм решения систем линейных уравнений в кольцах вычетов Авдошин С.М., Савельева А.А. Алгоритм решения систем линейных уравнений в кольцах вычетов Разработан эффективный алгоритм решения систем линейных уравнений в кольцах вычетов [], эквивалентный по сложности

Подробнее

b) lim a) lim (4x + 3) = 1; d) lim c) lim x 2 1 5(x 2 + 1) = 114 x 2 (x2 4x + 8) = 4; x 2 x 2 +1 = 3 5 ; x 1 2(x+1) = 1 4. x 3

b) lim a) lim (4x + 3) = 1; d) lim c) lim x 2 1 5(x 2 + 1) = 114 x 2 (x2 4x + 8) = 4; x 2 x 2 +1 = 3 5 ; x 1 2(x+1) = 1 4. x 3 Занятие Вычисление пределов - : определения, теоремы о пределах, некоторые частные приемы вычисления пределов. Определение предела. Пусть f() функция, определенная в проколотой окрестности точки 0. Число

Подробнее

Тема 1: Системы линейных уравнений

Тема 1: Системы линейных уравнений Тема 1: Системы линейных уравнений А. Я. Овсянников Уральский федеральный университет Институт математики и компьютерных наук кафедра алгебры и дискретной математики алгебра и геометрия для физиков-инженеров

Подробнее

С помощью операторов символьного преобразования (используя палитру инструментов Символы).

С помощью операторов символьного преобразования (используя палитру инструментов Символы). Лабораторная работа. Символьные вычисления Системы компьютерной алгебры снабжаются специальным процессором для выполнения аналитических (символьных) вычислений. Его основой является ядро, хранящее всю

Подробнее

МАТЕМАТИКА МАТЕМАТИЧЕСКАЯ СТАТИСТИКА

МАТЕМАТИКА МАТЕМАТИЧЕСКАЯ СТАТИСТИКА ООО «Резольвента», www.resolventa.ru, resolventa@lst.ru, (495) 509-8-0 Учебный центр «Резольвента» Доктор физико-математических наук, профессор К. Л. САМАРОВ МАТЕМАТИКА Учебно-методическое пособие по разделу

Подробнее

Московский государственный технический университет имени Н.Э. Баумана. Факультет «Фундаментальные науки» Кафедра «Математическое моделирование»

Московский государственный технический университет имени Н.Э. Баумана. Факультет «Фундаментальные науки» Кафедра «Математическое моделирование» ÌÃÒÓ ÌÃÒÓ ÌÃÒÓ ÌÃÒÓ ÌÃÒÓ ÌÃÒÓ Московский государственный технический университет имени НЭ Баумана Факультет «Фундаментальные науки» Кафедра «Математическое моделирование» ÀÍ Êàíàòíèêîâ, ÀÏ Êðèùåíêî ÔÓÍÊÖÈÈ

Подробнее

Положительные линейные системы

Положительные линейные системы Положительные линейные системы Б.Т. Поляк Институт проблем управления РАН, Москва boris@ipu.ru Молодежная школа, Ярополец 14 июня 2011 Положительные линейные системы Система ẋ = Ax с постоянной матрицей

Подробнее

НЕОТРИЦАТЕЛЬНЫЕ МАТРИЦЫ И МОДЕЛИ ЛЕОНТЬЕВА

НЕОТРИЦАТЕЛЬНЫЕ МАТРИЦЫ И МОДЕЛИ ЛЕОНТЬЕВА Глава 3 НЕОТРИЦАТЕЛЬНЫЕ МАТРИЦЫ И МОДЕЛИ ЛЕОНТЬЕВА 3 Число и вектор Фробениуса Число и вектор Фробениуса используются в балансовых экономических моделях и, в частности, в модели международной торговли

Подробнее

Методы оценивания для статистически неопределенных систем

Методы оценивания для статистически неопределенных систем Методы оценивания для статистически неопределенных систем Галина Адольфовна Тимофеева Gtimofeeva@mail.ru Уральский государственный университет путей сообщения Доклад в Институте космических исследований,

Подробнее

Итерационные методы решения СЛАУ

Итерационные методы решения СЛАУ Нижегородский государственный университет им. Н.И.Лобачевского Факультет Вычислительной математики и кибернетики Параллельные численные методы Итерационные методы решения СЛАУ При поддержке компании Intel

Подробнее

15. Гильбертовы пространства

15. Гильбертовы пространства 5 Гильбертовы пространства Гильбертово пространство линейное нормированное пространство, со скалярным произведением из или, полное относительно нормы, порожденным скалярным произведением Рассмотрим случай

Подробнее

Тема 2-11: Собственные векторы и собственные значения

Тема 2-11: Собственные векторы и собственные значения Тема 2-11: Собственные векторы и собственные значения А. Я. Овсянников Уральский федеральный университет Институт математики и компьютерных наук кафедра алгебры и дискретной математики алгебра и геометрия

Подробнее

Пензенский государственный педагогический университет имени В.Г.Белинского. О.Г.Никитина РЯДЫ. Учебное пособие

Пензенский государственный педагогический университет имени В.Г.Белинского. О.Г.Никитина РЯДЫ. Учебное пособие Пензенский государственный педагогический университет имени ВГБелинского РЯДЫ ОГНикитина Учебное пособие Пенза Печатается по решению редакционно-издательского совета Пензенского государственного педагогического

Подробнее

53 Тел.: (473)

53 Тел.: (473) Данилова ОЮ Синегубов СВ МАТЕМАТИКА РЯДЫ Учебное пособие Издано в авторской редакции по решению методического совета института Воронежский институт МВД России Все права на размножение и распространение

Подробнее

Применение метода распространения ожидания для решения задачи прогнозирования

Применение метода распространения ожидания для решения задачи прогнозирования МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ИМЕНИ М.В. ЛОМОНОСОВА Факультет вычислительной математики и кибернетики Кафедра Математических методов прогнозирования ВЫПУСКНАЯ КВАЛИФИКАЦИОННАЯ РАБОТА Применение

Подробнее

ТЕМА 3. Собственные значения и собственные векторы вполне непрерывного самосопряженного оператора.

ТЕМА 3. Собственные значения и собственные векторы вполне непрерывного самосопряженного оператора. ТЕМА 3 Собственные значения и собственные векторы вполне непрерывного самосопряженного оператора Основные определения и теоремы Оператор A : E E, действующий в евклидовом пространстве, называется сопряженным

Подробнее

Вариационное исчисление: задачи, алгоритмы, примеры. А.В. Ожегова, Р.Г. Насибуллин

Вариационное исчисление: задачи, алгоритмы, примеры. А.В. Ожегова, Р.Г. Насибуллин Вариационное исчисление: задачи, алгоритмы, примеры. А.В. Ожегова, Р.Г. Насибуллин Казань, 213 УДК 519.6, 517.97 ББК Печатается по решению методической комиссии Института математики и механики им. Н.И.

Подробнее

Ш87(03) Береславский Э. Н., Далингер Я. М., Павлов В. Д., Соловьева Т. В. Численные методы. Учебное пособие/университет ГА. С.-Петербург, 2014.

Ш87(03) Береславский Э. Н., Далингер Я. М., Павлов В. Д., Соловьева Т. В. Численные методы. Учебное пособие/университет ГА. С.-Петербург, 2014. Министерство транспорта Российской Федерации (Минтранс России) Федеральное агентство воздушного транспорта (Росавиация) ФГБОУ ВПО «Санкт-Петербургский государственный университет гражданской авиации» Э.

Подробнее

1. РЯДЫ ФУРЬЕ РЕШЕНИЕ ТИПОВЫХ ЗАДАЧ СПИСОК ЛИТЕРАТУРЫ ОГЛАВЛЕНИЕ

1. РЯДЫ ФУРЬЕ РЕШЕНИЕ ТИПОВЫХ ЗАДАЧ СПИСОК ЛИТЕРАТУРЫ ОГЛАВЛЕНИЕ ОГЛАВЛЕНИЕ РЯДЫ ФУРЬЕ 4 Понятие о периодической функции 4 Тригонометрический полином 6 3 Ортогональные системы функций 4 Тригонометрический ряд Фурье 3 5 Ряд Фурье для четных и нечетных функций 6 6 Разложение

Подробнее

Необходимое и достаточное условие экстремума функции многих переменных

Необходимое и достаточное условие экстремума функции многих переменных Необходимое и достаточное условие экстремума функции многих переменных Рассмотрим задачу на нахождение условного экстремума для случае функции двух переменных. Необходимое условие экстремума. Пусть имеется

Подробнее

Учебные вопросы: Первый учебный вопрос- Количество информации Второй учебный вопрос - Энтропия. Третий учебный вопрос - Избыточность сообщения.

Учебные вопросы: Первый учебный вопрос- Количество информации Второй учебный вопрос - Энтропия. Третий учебный вопрос - Избыточность сообщения. Лекция 4 Количество информации, энтропия и избыточность сообщения Учебные вопросы: Первый учебный вопрос- Количество информации Второй учебный вопрос - Энтропия. Третий учебный вопрос - Избыточность сообщения.

Подробнее