1.1. Функция правдоподобия 1.2. Функция результатов наблюдения (статистика)

Транскрипт

1 Информация

2 План 1. Основные понятия 1.1. Функция правдоподобия 1.2. Функция результатов наблюдения (статистика) 2. Информация Фишера Определение информации 2.2. Свойства информации 3. Достаточные статистики 3.1. Достаточность 3.2. Минимальные достаточные статистики 3.3. Теорема Дармуа 4. Информация и достаточность

3 Определение информации (с) Фишер 1. Информация, содержащаяся в выборке наблюдений, должна возрастать с увеличением числа наблюдений. Удвоение числа событий должно удваивать количество доступной информации, если события независимы. 2. Информация должна быть связана с тем, что мы изучаем в эксперименте. Данные, которые не имеют отношения к проверяемой гипотезе (или измеряемым параметрам), не должны содержать какой- либо информации. Конечно, те же самые данные могут содержать информацию о других параметрах или гипотезах. 3. Информация должна быть связана с точностью: чем больше количество информации, тем выше точность эксперимента.

4 Основные понятия n реальные случайные переменные (X θ) функция плотности вероятности Θ действительный параметр (или совокупность k действительных параметров). Ωθ множество всех допустимых значений X (область X), индекс θ отражает возможную зависимость Ω от параметра θ.

5 1.1 Функция правдоподобия. Рассмотрим выборку из независимых наблюдений X X1,, Хn. Ими могут быть n событий, найденных в эксперименте, где каждому событию соответствует измерение р-величин. Совместная функция плотности вероятности всех X вследствие независимости равна: L X θ) = L X 1,, X n θ) = n i=1 f(x i θ) (1.1.1) L (X θ) функция правдоподобия, если она рассматривается только как функция θ при X фиксированных и равных тем, которые зарегистрированы в эксперименте.

6 1.2 Функция результатов наблюдения Введем новую случайную переменную в виде Y = Ф (X 1,, X n ) Ф функция результатов наблюдений (или статистика)

7 2. Информация Фишера Определение информации Объем информации о параметре θ, содержащейся в наблюдении X, определяется следующим выражением (при условии, что оно существует): I X θ = E ln L (X θ) θ 2 = ln L X θ Ω L X θ dx (2.1.1) θ θ

8 Если θ k-мерное, формула приобретает вид [I X(θ)] ij = E ln L (X θ) θ i ln L (X θ) θ j = Ω θ ln L (X θ) θ i ln L (X θ) θ j L X θ dx (2.1.2) Таким образом, в общем случае I X θ есть матрица размерности k k.

9 2.2. Свойства информации 1. Ωθ не зависит от θ 2. L (X θ) обладает необходимыми свойствами, позволяющими коммутировать операторам 2 / θ i θ j и dx Например, пусть нужно определить массу и направление движения K 0 -мезона по его распаду на π + π. Очевидно, что поперечный импульс каждого π -мезона изменяется в интервале от 0 до р* импульса каждого π-мезона в системе центра инерции, который зависит от массы K 0. Поэтому Ωθ (от 0 до р*) зависит от θ (массы K 0 ).

10 Предполагая, что первое и второе условия выполнены, просто показать, что информация может быть записана в виде 2 [I X (θ)] ij = E ln L X θ θ i θ j Информация, содержащаяся в одном событии, связана с информацией, содержащейся в N событиях, соотношением I N θ = NI 1 (θ) (2.2.1)

11 Пример:

12

13 3. Достаточные статистики Достаточность Т = Ф (X) статистика, достаточна для θ, если условная функция плотности X при данном Т f (X Т) независима от θ. Т и θ могут быть многомерными и иметь различные размерности. Если Т является достаточной статистикой для θ, то любая строго монотонная функция Т также будет достаточной статистикой для θ.

14 Необходимое и достаточное условие того, что Т (X) является достаточной статистикой для θ, состоит в том, что функция правдоподобия может быть представлена в виде L X θ = g T, θ h(x) (3.1.1) 1) h (X) не зависит от θ 2) G (T, θ) пропорционально А(T θ) условной плотности вероятности распределения Т при заданном θ

15 Если множество значений Х не зависит от θ, можно записать: А T θ = L X θ dx = g T, θ h X dx = Ω θ Ω θ При T=const = g T, θ h X dx Ω θ

16

17

18

19 3.2. Минимальные достаточные статистики Очевидно, что первоначальный набор данных (Х1,..., Хn) есть набор достаточных статистик Можно показать, что если θ имеет размерность m, то можно найти S достаточных статистик для множества n измерений, причем очевидно m n, S n, а само S может быть меньше, равно или больше m. Набор достаточных статистик, имеющий наименьшее S, называется минимально достаточным.

20 Сокращение объема данных, производимое S достаточными статистиками, может быть таким, что S пропорционально n, т. е. число достаточных статистик зависит от числа наблюдений. Однако наличие достаточных статистик становится особенно полезным, когда S фиксировано при фиксированных m и не зависит от n. Распределения, допускающие такой набор, определяются теоремой Дармуа

21 3.3. Теорема Дармуа Эта теорема показывает, что только очень ограниченный класс функций плотности вероятностей допускает существование некоторого числа достаточных статистик, не зависящего от количества наблюдений. Результаты теоремы для одномерного случая формулируются так: 1. Если при любом Ωθ существует некоторое n > 1, такое, что множество (Х1,..., Хn) допускает достаточную статистику для θ, тогда ф. п. в. имеет «экспоненциальную форму»: f X θ = exp[α X a θ + β X + c(θ)] (3.3.1) 2. Напротив, множество (Х1,..., Хn) имеет достаточную статистику для всех n > 1 (но только при условий, что Ωθ не зависит от θ), если f X θ имеет экспоненциальную форму и преобразование X 1, X 2,, X n => R, X 2,, X n взаимно однозначно и непрерывно дифференцируемо для всех X.

22 Для многомерного случая «экспоненциальная» форма имеет вид: И S f X θ = exp α j X a j θ + β X + c θ j=1 n R j = α j X i, i=1 j = 1,, S Служит одним возможным набором S совместно достаточных статистик для θ. (3.3.2)

23

24

25

26

27 4. Информация и достаточность Т (достаточная статистика) содержит всю информацию о θ, содержащуюся в наблюдениях Х1,..., Хn. Таким образом, если существует достаточная статистика, то можно произвести уменьшение объема данных без потери информации. Можно уменьшить количество данных от n до αn, (где α < 1 без потери информации). Такой случай возможен, когда существуют 1/α наблюдений каждого из αn событий и в каждом событии нас интересует только одна величина. Если у данного события для требуемой величины существует достаточная статистика, то некоторое сокращение объема данных возможно без потери информации.

28 Из нескольких недостаточных статистик следует выбирать такую статистику T, которая содержит максимум информации IT (θ). I T (θ) I X (θ) (4.1)

29 Доказательство

30 Если имеется k параметров θ, то обобщением соотношения (4.1) является

31 Пример планирования эксперемента Xi четыре новые переменные Θj (j=1,,4) весы N( j α ij θ j σ 2 ) нормальный закон α ij коэффициенты линейных комбинаций σ неточность одного взвешивания α ij = 1,0,+1 Функция правдоподобия равна: L X θ = σ 1 2π 4 4 exp 1 2σ 2 X i α ij θ j i=1 4 j=1 2

32

33