чему равна оценка максимального правдоподобия неизвестного параметра y показательного распределения
Чему равна оценка максимального правдоподобия неизвестного параметра y показательного распределения
еУМЙ ЦЕ ЙНЕЕФ БВУПМАФОП ОЕРТЕТЩЧОПЕ ТБУРТЕДЕМЕОЙЕ, ФП ЕУФШ РТЙЧЩЮОБС РМПФОПУФШ ПФОПУЙФЕМШОП НЕТЩ мЕВЕЗБ :
жХОЛГЙС (УМХЮБКОБС ЧЕМЙЮЙОБ РТЙ ЖЙЛУЙТПЧБООПН )
ОБЪЩЧБЕФУС МПЗБТЙЖНЙЮЕУЛПК ЖХОЛГЙЕК РТБЧДПРПДПВЙС.
рПУЛПМШЛХ ЖХОЛГЙС НПОПФПООБ, ФП ФПЮЛЙ НБЛУЙНХНБ Й УПЧРБДБАФ. рПЬФПНХ ПГЕОЛПК НБЛУЙНБМШОПЗП РТБЧДПРПДПВЙС (пнр) НПЦОП ОБЪЩЧБФШ ФПЮЛХ НБЛУЙНХНБ (РП ) ЖХОЛГЙЙ :
оБРПНОЙН, ЮФП ФПЮЛЙ ЬЛУФТЕНХНБ ЖХОЛГЙЙ ЬФП МЙВП ФПЮЛЙ, Ч ЛПФПТЩИ РТПЙЪЧПДОБС ПВТБЭБЕФУС Ч ОХМШ, МЙВП ФПЮЛЙ ТБЪТЩЧБ ЖХОЛГЙЙ/РТПЙЪЧПДОПК, МЙВП ЛТБКОЙЕ ФПЮЛЙ ПВМБУФЙ ПРТЕДЕМЕОЙС ЖХОЛГЙЙ.
1) хВЕДЙФШУС, ЮФП ФПЮЛБ НБЛУЙНХНБ, Б ОЕ НЙОЙНХНБ.
2) хВЕДЙФШУС, ЮФП УПЧРБДБЕФ У ПДОПК ЙЪ ПГЕОПЛ НЕФПДБ НПНЕОФПЧ. РП ЛБЛПНХ НПНЕОФХ?
чЩРЙЫЕН РМПФОПУФШ, ЖХОЛГЙА РТБЧДПРПДПВЙС Й МПЗБТЙЖНЙЮЕУЛХА ЖХОЛГЙА РТБЧДПРПДПВЙС. рМПФОПУФШ:
МПЗБТЙЖНЙЮЕУЛБС ЖХОЛГЙС РТБЧДПРПДПВЙС:
ч ФПЮЛЕ ЬЛУФТЕНХНБ (РП ) ЗМБДЛПК ЖХОЛГЙЙ ПВТБЭБАФУС Ч ОХМШ ПВЕ ЮБУФОЩЕ РТПЙЪЧПДОЩЕ:
пГЕОЛБ НБЛУЙНБМШОПЗП РТБЧДПРПДПВЙС ДМС ТЕЫЕОЙЕ УЙУФЕНЩ ХТБЧОЕОЙК
тЕЫБС, РПМХЮЙН ИПТПЫП ЪОБЛПНЩЕ ПГЕОЛЙ:
2) хВЕДЙФШУС, ЮФП ЬФЙ ПГЕОЛЙ УПЧРБДБАФ У ОЕЛПФПТЩНЙ ПГЕОЛБНЙ НЕФПДБ НПНЕОФПЧ.
чЩРЙЫЕН РМПФОПУФШ ТБУРТЕДЕМЕОЙС Й ЖХОЛГЙА РТБЧДПРПДПВЙС. рМПФОПУФШ:
мАВБС ФПЮЛБ НПЦЕФ УМХЦЙФШ ПГЕОЛПК НБЛУЙНБМШОПЗП РТБЧДПРПДПВЙС. рПМХЮБЕН ВПМЕЕ ЮЕН УЮЕФОПЕ ЮЙУМП ПГЕОПЛ ЧЙДБ
1) хВЕДЙФШУС, ЮФП ПФТЕЪПЛ ОЕ РХУФ.
Метод максимального правдоподобия с примерами
Вы будете перенаправлены на Автор24
Методы нахождения оценок
Рисунок 1. Формула. Автор24 — интернет-биржа студенческих работ
К примеру, по методу постановки оценка математического ожидания – это выборочное среднее, а оценка дисперсии – это выборочная дисперсия.
Все полученные по методу подстановки оценки являются состоятельными, но не гарантирована их эффективность и несмещенность. Пример смещенной оценки – выборочная дисперсия.
Готовые работы на аналогичную тему
Рисунок 2. Формула. Автор24 — интернет-биржа студенческих работ
Рисунок 3. Формула. Автор24 — интернет-биржа студенческих работ
Рисунок 4. Формула. Автор24 — интернет-биржа студенческих работ
Рисунок 5. Формула. Автор24 — интернет-биржа студенческих работ
Рисунок 6. Формула. Автор24 — интернет-биржа студенческих работ
Как и при методе подстановок, все оценки, найденные по методу моментов, характеризуются как состоятельные, но не гарантируется их эффективность и несмещенность.
Точечные оценки, найденные при помощи метода моментов, носят название ММ-оценки.
Метод наибольшего правдоподобия рассмотрим в следующем пункте.
Сущность метода максимального правдоподобия
Под методом максимального правдоподобия в математической статистике понимается метод оценки неизвестного параметра посредством максимизации функции правдоподобия. Основой данного метода является предположение о том, что все данные о статистической выборке содержатся в функции правдоподобия. Описываемый метод был проанализирован Р. Фишером в начале 20-го века, который в дальнейшем его рекомендовал и популяризировал.
Оценка наибольшего правдоподобия – это достаточно популярный статистический метод, используемый с целью построения статистической модели на основе информации и обеспечения оценки всех параметров модели.
Метод наибольшего правдоподобия соответствует многим популярным методам статистической оценки. К примеру, вы рассматриваете такой антропометрический параметр, как рост жителей данной страны. Допустим, что вы располагаете данными о росте определенного количества людей, но не всего населения. Помимо этого, допускается, что рост – это нормально распределенная величина со средним значением и неизвестной дисперсией. Дисперсия роста и среднее значение в выборке будут являться максимально правдоподобными к дисперсии и среднему значению всего населения.
Используя фиксированный набор данных и базовой модели вероятностей в расчетах с помощью метода правдоподобия, будут получены такие значения параметров, которые будут делать данные «наиболее приближенные» к реальным. Метод максимального правдоподобия является уникальным и простым способом определения решения при нормальном распределении.
Метод наибольшего правдоподобия используются во многих статистических моделях:
Метод наибольшего правдоподобия заключается в том, что оценкой вектора неизвестных параметров
Рисунок 7. Формула. Автор24 — интернет-биржа студенческих работ
Рисунок 8. Формула. Автор24 — интернет-биржа студенческих работ
который доставляет максимум функции правдоподобия:
Рисунок 9. Формула. Автор24 — интернет-биржа студенческих работ
Точечные оценки, получаемые при методе наибольшего правдоподобия, носят название МП-оценки.
Пример использования метода максимального правдоподобия
Пусть необходимо найти при помощи метода максимально правдоподобия оценку заданного параметра p биноминального распределения
Рисунок 10. Формула. Автор24 — интернет-биржа студенческих работ
Для того, чтобы решить данную задачу, необходимо составить функцию правдоподобия:
Рисунок 11. Формула. Автор24 — интернет-биржа студенческих работ
Затем следует отыскать логарифмическую функцию:
Рисунок 12. Формула. Автор24 — интернет-биржа студенческих работ
На следующем этапе определяется первая производная p:
Рисунок 13. Формула. Автор24 — интернет-биржа студенческих работ
Найденную производную необходимо приравнять к нулю, тем самым записав уравнение правдоподобия.
Рисунок 14. Формула. Автор24 — интернет-биржа студенческих работ
После относительного решения полученного уравнения находим значение критической точки:
Рисунок 15. Формула. Автор24 — интернет-биржа студенческих работ
В данной точке вторая производная будет отрицательной, а, следовательно, данная точка является максимумом. Таким образом найденная точка принимается в качестве оценки по методу максимального правдоподобия неизвестной вероятности p биноминального распределения.
Метод максимального правдоподобия
Метод максимального правдоподобия был проанализирован, рекомендован и значительно популяризирован Р. Фишером между 1912 и 1922 годами (хотя ранее он был использован Гауссом, Лапласом и другими).
Оценка максимального правдоподобия является популярным статистическим методом, который используется для создания статистической модели на основе данных и обеспечения оценки параметров модели.
Метод максимального правдоподобия соответствует многим известным методам оценки в области статистики. Например, вы интересуетесь таким антропометрическим параметром, как рост жителей России. Предположим, у вас имеются данные о росте некоторого количества людей, а не всего населения. Кроме того, предполагается, что рост является нормально распределённой величиной с неизвестной дисперсией и средним значением. Среднее значение и дисперсия роста в выборке являются максимально правдоподобными к среднему значению и дисперсии всего населения.
Для фиксированного набора данных и базовой вероятностной модели, используя метод максимального правдоподобия, мы получим значения параметров модели, которые делают данные «более близкими» к реальным. Оценка максимального правдоподобия даёт уникальный и простой способ определить решения в случае нормального распределения.
Метод оценки максимального правдоподобия применяется для широкого круга статистических моделей, в том числе:
линейные модели и обобщённые линейные модели;
моделирование структурных уравнений;
многие ситуации, в рамках проверки гипотезы и доверительного интервала формирования;
дискретные модели выбора.
Связанные понятия
Функция предельного правдоподобия (англ. Marginal Likelihood Function) или интегрированное правдоподобие (англ. integrated likelihood) — это функция правдоподобия, в которой некоторые переменные параметры исключены. В контексте байесовской статистики, функция может называться обоснованностью (англ. evidence) или обоснованностью модели (англ. model evidence).
В статистике метод оценки с помощью апостериорного максимума (MAP) тесно связан с методом максимального правдоподобия (ML), но дополнительно при оптимизации использует априорное распределение величины, которую оценивает.
Центра́льные преде́льные теоре́мы (Ц. П. Т.) — класс теорем в теории вероятностей, утверждающих, что сумма достаточно большого количества слабо зависимых случайных величин, имеющих примерно одинаковые масштабы (ни одно из слагаемых не доминирует, не вносит в сумму определяющего вклада), имеет распределение, близкое к нормальному.
В статистике, дельта-методом называется результат, описывающий вероятностное распределение функции от асимптотически нормальной статистической оценки при известной асимптотической дисперсии этой оценки.
Оценка параметра показательного распределения методом максимального правдоподобия. Методы получения оценок
Оценка параметра показательного распределения методом максимального правдоподобия. Методы получения оценок
Метод максимального правдоподобия.
Для случайной наработки до отказа с плотностью вероятности f(t, ) функция правдоподобия определяется формулой 12.11: 
, т.е. представляет из себя совместную плотность вероятности независимых измерений случайной величины τ с плотностью вероятности f(t, ).
Оценки максимального правдоподобия параметра определяются из уравнения правдоподобия (12.12).
Значение метода максимального правдоподобия выясняется следующими двумя предположениями:
Рассмотрим пример использования метода максимального правдоподобия для параметров нормального распределения.
Требуется найти оценку максимального подобия.
Функция правдоподобия: 
;
.
Уравнения правдоподобия: 
;
;
Основным недостатком метода максимального правдоподобия являются вычислительные трудности, возникающие при решение уравнений правдоподобия, которые, как правило, являются трансцендентными.
Этот метод предложен К.Пирсоном и является самым первым общим методом точечной оценки неизвестных параметров. Он до сих пор широко используется в практической статистике, поскольку нередко приводит к сравнительно несложной вычислительной процедуре. Идея этого метода состоит в том, что моменты распределения зависящие от неизвестных параметров, приравниваются к эмпирическим моментам. Взяв число моментов, равное числу неизвестных параметров, и составив соответствующие уравнения, мы получим необходимое число уравнений. Чаще всего вычисляются первые два статистических момента: выборочное среднее ; и выборочная дисперсия 
. Оценки, получаемые с помощью метода моментов, не являются наилучшими с точки зрения их эффективности. Однако очень часто они используются в качестве первых приближений.
Рассмотрим пример использования метода моментов.
Пример: Рассмотрим экспоненциальное распределение:
Известный таксономист Джо Фельзенштейн (Felsenstein, 1978) был первым, кто предложил оценивать филогенетические теории не на основе парсимо-
нии, а средствами математической статистистики. В результате был разработан метод максимального правдоподобия (maximum likelihood).
Этот метод основывается на предварительных знаниях о возможных путях эволюции, то есть требует создания модели изменений признаков перед проведением анализа. Именно для построения этих моделей и привлекаются законы статистики.
Под правдоподобим понимается вероятность наблюдения данных в случае принятия определенной модели событий. Различные модели могут делать наблюдаемые данные более или менее вероятными. Например, если вы подбрасываете монету и получаете «орлов» только в одном случае из ста, тогда вы можете предположить, что эта монета бракованная. В случае принятия вами данной модели, правдоподобие полученного результата будет достаточно высоким. Если же вы основываетесь на модели, согласно которой монета является небракованной, то вы могли бы ожидать увидеть «орлов» в пятидесяти случаях, а не в одном. Получить только одного «орла» при ста подбрасываниях небракованной монеты статистически маловероятно. Другими словами, правдоподобие получения результата один «орел» на сто «решек» является в модели небракованной монеты очень низким.
Правдоподобие – это математическая величина. Обычно оно вычисляется по формуле:
где Pr(D|H) – это вероятность получения данных D в случае принятия гипотезы H. Вертикальная черта в формуле читается как «для данной». Поскольку L часто оказывается небольшой величиной, то обычно в исследованиях используется натуральный логарифм правдоподобия.
Очень важно различать вероятность получения наблюдаемых данных и вероятность того, что принятая модель событий правильна. Правдоподобие данных ничего не говорит о вероятности модели самой по себе. Философ-биолог Э.Собер (Sober) использовал следующий пример для того, чтобы сделать ясным это различие. Представьте, что вы слышите сильный шум в комнате над вами. Вы могли бы предположить, что это вызвано игрой гномов в боулинг на чердаке. Для данной модели ваше наблюдение (сильный шум над вами) имеет высокое правдоподобие (если бы гномы действительно играли в боулинг над вами, вы почти наверняка услышали бы это). Однако, вероятность того, что ваша гипотеза истинна, то есть, что именно гномы вызвали этот шум, – нечто совсем иное. Почти наверняка это были не гномы. Итак, в этом случае ваша гипотеза обеспечивает имеющимся данным высокое правдоподобие, но сама по себе в высшей степени маловероятна.
Используя данную систему рассуждений, метод максимального правдоподобия позволяет статистически оценивать филогенетические деревья, полученные средствами традиционной кладистики. По сути, этот метод заключа-
ется в поиске кладограммы, обеспечивающей наиболее высокую вероятность имеющегося набора данных.
Рассмотрим пример, иллюстрирующий применение метода максимального правдоподобия. Предположим, что у нас имеется четыре таксона, для которых установлены последовательности нуклеотидов определенного сайта ДНК (рис.16).
Если модель предполагает возможность реверсий, то мы можем укоренить это дерево в любом узле. Одно из возможных корневых деревьев изображено на рис. 17.2.
Мы не знаем, какие нуклеотиды присутствовали в рассматриваемом локусе у общих предков таксонов 1-4 (эти предки соответствуют на кладограмме узлам X и Y). Для каждого из этих узлов существует по четыре варианта нуклеотидов, которые могли там находиться у предковых форм, что в результате дает 16 филогенетических сценариев, приводящих к дереву 2. Один из таких сценариев изображен на рис. 17.3.
Вероятность данного сценария может быть определена по формуле:
где P A – вероятность присутствия нуклеотида A в корне дерева, которая равна средней частоте нуклеотида А (в общем случае = 0,25); P AG – вероятность замены А на G; P AC – вероятность замены А на С; P AT – вероятность замены А на T; последние два множителя – это вероятность созраниния нуклеотида T в узлах X и Y соответственно.
Еще один возможный сценарий, который позволяет получить те же данные, показан на рис. 17.4. Поскольку существует 16 подобных сценариев, может быть определена вероятность каждого из них, а сумма этих вероятностей будет вероятностью дерева, изображенного на рис. 17.2:
Где P tree 2 – это вероятность наблюдения данных в локусе, обозначенном звездочкой, для дерева 2.
Вероятность наблюдения всех данных во всех локусах данной последовательности является произведением вероятностей для каждого локуса i от 1 до N:
Поскольку эти значения очень малы, используется и другой показатель – натуральный логарифм правдоподобия lnL i для каждого локуса i. В этом случае логарифм правдоподобия дерева является суммой логарифмов правдоподобий для каждого локуса:
Значение lnL tree – это логарифм правдоподобия наблюдения данных при выборе определенной эволюционной модели и дерева с характерной для него
В случае четырех таксонов требуется вычисления lnL для 15 деревьев. При большом числе таксонов оценить все деревья оказывается невозможным, поэтому для поиска используются эвристические методы (см. выше).
В рассмотренном примере мы использовали значения вероятностей замены (субституции) нуклеотидов в процессе эволюции. Вычисление этих вероятностей является самостоятельно статистической задачей. Для того чтобы реконструировать эволюционное дерево, мы должны сделать определенные допущения по поводу процесса субституции и выразить эти допущения в виде модели.
Поскольку в соответствии с однопараметрической моделью любые субституции равновероятны, более общее утверждение будет выглядеть следующим образом:
Разработаны и более сложные эволюционные модели. Эмпирические наблюдения свидетельствуют, что некоторые субституции могут происходить
чаще, чем другие. Субституции, в результате которых один пурин замещается другим пурином, называются транзициями, а замены пурина пиримидином или пиримидина пурином называются трансверсиями. Можно было бы ожидать, что трансверсии происходят чаще, чем транзиции, так как только одна из трех возможных субституций для какого-либо нуклеотида является транзицией. Тем не менее, обычно происходит обратное: транзиции, как правило, происходят чаще, чем трансверсии. Это в частности характерно для митохондриальной ДНК.
Другой причиной того, что некоторые субституции нуклеотидов происходят чаще, чем другие, является неравное соотношение оснований. Например, митохондриальная ДНК насекомых более богата аденином и тимином по сравнению с позвоночными. Если некоторые основания более распространены, можно ожидать, что некоторые субституции происходят чаще, чем другие. Например, если последовательность содержит очень немного гуанина, маловероятно, что будут происходить субституции этого нуклеотида.
Модели различаются тем, что в одних определенный параметр или параметры (например, соотношение оснований, скорости субституции) остаются фиксированными и варьируют в других. Существуют десятки эволюционных моделей. Ниже мы приведем наиболее известные из них.
Модель Фельзенштейна (F81) предполагает, что частоты оснований разные π A ≠π C ≠π G ≠π T , а скорости субституции одинаковы α=β.
Общая обратимая модель (REV) предполагает различные частоты оснований π A ≠π C ≠π G ≠π T , а все шесть пар субституций имеют различные скорости.
Упомянутые выше модели подразумевают, что скорости субституции одинаковы во всех сайтах. Однако в модели можно учесть и различия скоростей субституции в разных сайтах. Значения частот оснований и скоростей субституции можно как назначить априорно, так и получить эти значения из данных с помощью специальных программ, например PAUP.
Согласно стандартной терминологии, первоначальные вероятности принято называть априорными вероятностями (так как они принимаются прежде, чем получены данные) а пересмотренные вероятности – апостериорными (так как они вычисляются после получения данных).
Математической основой байесовского анализа является теорема Байеса, в которой априорная вероятность дерева Pr[Tree ] и правдоподобие Pr[Data|Tree ] используются, чтобы вычислить апостериорную вероятность дерева Pr[Tree|Data ]:
Апостериорная вероятность дерева может рассматриваться как вероятность того, что это дерево отражает истинный ход эволюции. Дерево с самой высокой апостериорной вероятностью выбирается в качестве наиболее вероятной модели филогенеза. Распределение апостериорных вероятностей деревьев вычисляется с использованием методов компьютерного моделирования.
Метод максимального правдоподобия и байесовский анализ нуждаются в эволюционных моделях, описывающих изменения признаков. Создание математических моделей морфологической эволюции в настоящее время не представляется возможным. По этой причине статистические методы филогенетического анализа применяются только для молекулярных данных.
В работах, предназначенных для первоначального знакомства с математической статистикой, обычно рассматривают оценки максимального правдоподобия (сокращенно ОМП):
Таким образом, сначала строится плотность распределения вероятностей, соответствующая выборке. Поскольку элементы выборки независимы, то эта плотность представляется в виде произведения плотностей для отдельных элементов выборки. Совместная плотность рассматривается в точке, соответствующей наблюденным значениям. Это выражение как функция от параметра (при заданных элементах выборки) называется функцией правдоподобия. Затем тем или иным способом ищется значение параметра, при котором значение совместной плотности максимально. Это и есть оценка максимального правдоподобия.
В отдельных случаях ОМП находятся явно, в виде конкретных формул, пригодных для вычисления.
В большинстве случаев аналитических решений не существует, для нахождения ОМП необходимо применять численные методы. Так обстоит дело, например, с выборками из гамма-распределения или распределения Вейбулла-Гнеденко. Во многих работах каким-либо итерационным методом решают систему уравнений максимального правдоподобия или впрямую максимизируют функцию правдоподобия.
Однако применение численных методов порождает многочисленные проблемы. Сходимость итерационных методов требует обоснования. В ряде примеров функция правдоподобия имеет много локальных максимумов, а потому естественные итерационные процедуры не сходятся. Для данных ВНИИ железнодорожного транспорта по усталостным испытаниям стали уравнение максимального правдоподобия имеет 11 корней. Какой из одиннадцати использовать в качестве оценки параметра?
Как следствие осознания указанных трудностей, стали появляться работы по доказательству сходимости алгоритмов нахождения оценок максимального правдоподобия для конкретных вероятностных моделей и конкретных алгоритмов.
Таким образом, при отсутствии явных формул для оценок максимального правдоподобия нахождение ОМП натыкается на ряд проблем вычислительного характера. Специалисты по математической статистике позволяют себе игнорировать все эти проблемы, рассуждая об ОМП в теоретическом плане. Однако прикладная статистика не может их игнорировать. Отмеченные проблемы ставят под вопрос целесообразность практического использования ОМП.
Пример 1. В статистических задачах стандартизации и управления качеством используют семейство гамма-распределений. Плотность гамма-распределения имеет вид
Подробные решения задач оценивания параметров для гамма-распределения содержатся в разработанном нами государственном стандарте ГОСТ 11,011-83 «Прикладная статистика. Правила определения оценок и доверительных границ для параметров гамма-распределения». В настоящее время эта публикация используется в качестве методического материала для инженерно-технических работников промышленных предприятий и прикладных научно-исследовательских институтов.
Пример 2. Оценивание методом моментов параметров гамма-распределения в случае трех неизвестных параметров (строка 7 таблицы 1).
и выборочный третий центральный момент
Приравнивая теоретические моменты, выраженные через параметры распределения, и выборочные моменты, получаем систему уравнений метода моментов:
Решая эту систему, находим оценки метода моментов. Подставляя второе уравнение в третье, получаем оценку метода моментов для параметра сдвига:
Подставляя эту оценку во второе уравнение, находим оценку метода моментов для параметра формы:
Наконец, из первого уравнения находим оценку для параметра сдвига:
Оценки параметров гамма-распределения, полученные методом моментов, являются функциями от выборочных моментов. В соответствии со сказанным выше они являются асимптотически нормальными случайными величинами. В табл. 3 приведены оценки метода моментов и их асимптотические дисперсии при различных вариантах сочетания известных и неизвестных параметров гамма-распределения.
а верхняя доверительная граница для той же доверительной вероятности такова
Пример 3. Найдем ОМП для выборки из нормального распределения, каждый элемент которой имеет плотность
Произведение плотностей вероятностей для элементов выборки, т.е. функция правдоподобия, имеет вид
Требуется решить задачу оптимизации
Как и во многих иных случаях, задача оптимизации проще решается, если прологарифмировать функцию правдоподобия, т.е. перейти к функции
называемой логарифмической функцией правдоподобия. Для выборки из нормального распределения
Необходимым условием максимума является равенство 0 частных производных от логарифмической функции правдоподобия по параметрам, т.е.
Система (10) называется системой уравнений максимального правдоподобия. В общем случае число уравнений равно числу неизвестных параметров, а каждое из уравнений выписывается путем приравнивания 0 частной производной логарифмической функции правдоподобия по тому или иному параметру.
При дифференцировании по m первые два слагаемых в правой части формулы (9) обращаются в 0, а последнее слагаемое дает уравнение
Следовательно, оценкой m * максимального правдоподобия параметра m является выборочное среднее арифметическое,
Для нахождения оценки дисперсии необходимо решить уравнение
Следовательно, оценкой (у 2)* максимального правдоподобия для дисперсии у 2 с учетом найденной ранее оценки для параметра m является выборочная дисперсия,
Отметим, что в условиях примера 3 оценки метода максимального правдоподобия совпадают с оценками метода моментов. Причем вид оценок метода моментов очевиден и не требует проведения каких-либо рассуждений.
Казалось бы, оценить параметры можно из элементарного здравого смысла. Оценку наклона прямой регрессии получим, поделив приращение при переходе от x 1 =-1 к x 3 =+1 на, а оценку значения найдем как среднее арифметическое:
Легко проверить, что математические ожидания оценок равны (оценки несмещенные).
После того как оценки получены, H 0 проверяют как обычно с помощью хи-квадрат критерия Пирсона:
Оценки ожидаемых частот можно получить, исходя из оценок:
При этом, если наши оценки ”правильные”, то расстояние Пирсона будет распределено как случайная величина хи-квадрат с одной степенью свободы: 3-2=1. Напомним, что мы оцениваем два параметра, подгоняя данные под нашу модель. При этом сумма не фиксирована, поэтому дополнительную единицу вычитать не нужно.
Однако, подставив, получим странный результат:
Метод максимального правдоподобия
Случайные величины независимы и имеют пуассоновское распределение. Вероятность получить значения равна:
Согласно принципу максимального правдоподобия значения неизвестных параметров надо искать, требуя, чтобы вероятность получить значения была максимальной:
Если постоянны, то мы имеем дело с обычной вероятностью. Фишер предложил новый термин “правдоподобие” для случая, когда постоянны, а переменными считаются. Если правдоподобие оказывается произведением вероятностей независимых событий, то естественно превратить произведение в сумму и дальше иметь дело с логарифмом правдоподобия:
Здесь все слагаемые, которые не зависят от, обозначены и в окончательном выражении отброшены. Чтобы найти максимум логарифма правдоподобия, приравняем производные по к нулю:
Решая эти уравнения, получим:
3) Преимущества оценки начинают ощущаться, когда мы замечаем, что все ожидаемые частоты теперь оказываются всегда положительными:
Это было не так для “наивных” оценок, поэтому применить хи-квадрат критерий можно было не всегда (попытка заменить отрицательную или равную нулю ожидаемую частоту на единицу не спасает положения).
4) Численные расчеты показывают, что наивными оценками можно пользоваться только, если ожидаемые частоты достаточно велики. Если использовать их при малых значениях, то вычисленное расстояние Пирсона часто будет оказываться чрезмерно большим.
Вывод : Правильный выбор оценки важен, так как в противном случае проверить гипотезу с помощью критерия хи-квадрат не удастся. Оценка, казалось бы, очевидная может оказаться непригодной!