принцип наибольшего правдоподобия в оценке параметров распределений
Принцип наибольшего правдоподобия в оценке параметров распределений
еУМЙ ЦЕ ЙНЕЕФ БВУПМАФОП ОЕРТЕТЩЧОПЕ ТБУРТЕДЕМЕОЙЕ, ФП ЕУФШ РТЙЧЩЮОБС РМПФОПУФШ ПФОПУЙФЕМШОП НЕТЩ мЕВЕЗБ :
жХОЛГЙС (УМХЮБКОБС ЧЕМЙЮЙОБ РТЙ ЖЙЛУЙТПЧБООПН )
ОБЪЩЧБЕФУС МПЗБТЙЖНЙЮЕУЛПК ЖХОЛГЙЕК РТБЧДПРПДПВЙС.
рПУЛПМШЛХ ЖХОЛГЙС НПОПФПООБ, ФП ФПЮЛЙ НБЛУЙНХНБ Й УПЧРБДБАФ. рПЬФПНХ ПГЕОЛПК НБЛУЙНБМШОПЗП РТБЧДПРПДПВЙС (пнр) НПЦОП ОБЪЩЧБФШ ФПЮЛХ НБЛУЙНХНБ (РП ) ЖХОЛГЙЙ :
оБРПНОЙН, ЮФП ФПЮЛЙ ЬЛУФТЕНХНБ ЖХОЛГЙЙ ЬФП МЙВП ФПЮЛЙ, Ч ЛПФПТЩИ РТПЙЪЧПДОБС ПВТБЭБЕФУС Ч ОХМШ, МЙВП ФПЮЛЙ ТБЪТЩЧБ ЖХОЛГЙЙ/РТПЙЪЧПДОПК, МЙВП ЛТБКОЙЕ ФПЮЛЙ ПВМБУФЙ ПРТЕДЕМЕОЙС ЖХОЛГЙЙ.
1) хВЕДЙФШУС, ЮФП ФПЮЛБ НБЛУЙНХНБ, Б ОЕ НЙОЙНХНБ.
2) хВЕДЙФШУС, ЮФП УПЧРБДБЕФ У ПДОПК ЙЪ ПГЕОПЛ НЕФПДБ НПНЕОФПЧ. РП ЛБЛПНХ НПНЕОФХ?
чЩРЙЫЕН РМПФОПУФШ, ЖХОЛГЙА РТБЧДПРПДПВЙС Й МПЗБТЙЖНЙЮЕУЛХА ЖХОЛГЙА РТБЧДПРПДПВЙС. рМПФОПУФШ:
МПЗБТЙЖНЙЮЕУЛБС ЖХОЛГЙС РТБЧДПРПДПВЙС:
ч ФПЮЛЕ ЬЛУФТЕНХНБ (РП ) ЗМБДЛПК ЖХОЛГЙЙ ПВТБЭБАФУС Ч ОХМШ ПВЕ ЮБУФОЩЕ РТПЙЪЧПДОЩЕ:
пГЕОЛБ НБЛУЙНБМШОПЗП РТБЧДПРПДПВЙС ДМС ТЕЫЕОЙЕ УЙУФЕНЩ ХТБЧОЕОЙК
тЕЫБС, РПМХЮЙН ИПТПЫП ЪОБЛПНЩЕ ПГЕОЛЙ:
2) хВЕДЙФШУС, ЮФП ЬФЙ ПГЕОЛЙ УПЧРБДБАФ У ОЕЛПФПТЩНЙ ПГЕОЛБНЙ НЕФПДБ НПНЕОФПЧ.
чЩРЙЫЕН РМПФОПУФШ ТБУРТЕДЕМЕОЙС Й ЖХОЛГЙА РТБЧДПРПДПВЙС. рМПФОПУФШ:
мАВБС ФПЮЛБ НПЦЕФ УМХЦЙФШ ПГЕОЛПК НБЛУЙНБМШОПЗП РТБЧДПРПДПВЙС. рПМХЮБЕН ВПМЕЕ ЮЕН УЮЕФОПЕ ЮЙУМП ПГЕОПЛ ЧЙДБ
1) хВЕДЙФШУС, ЮФП ПФТЕЪПЛ ОЕ РХУФ.
Метод максимального правдоподобия с примерами
Вы будете перенаправлены на Автор24
Методы нахождения оценок
Рисунок 1. Формула. Автор24 — интернет-биржа студенческих работ
К примеру, по методу постановки оценка математического ожидания – это выборочное среднее, а оценка дисперсии – это выборочная дисперсия.
Все полученные по методу подстановки оценки являются состоятельными, но не гарантирована их эффективность и несмещенность. Пример смещенной оценки – выборочная дисперсия.
Готовые работы на аналогичную тему
Рисунок 2. Формула. Автор24 — интернет-биржа студенческих работ
Рисунок 3. Формула. Автор24 — интернет-биржа студенческих работ
Рисунок 4. Формула. Автор24 — интернет-биржа студенческих работ
Рисунок 5. Формула. Автор24 — интернет-биржа студенческих работ
Рисунок 6. Формула. Автор24 — интернет-биржа студенческих работ
Как и при методе подстановок, все оценки, найденные по методу моментов, характеризуются как состоятельные, но не гарантируется их эффективность и несмещенность.
Точечные оценки, найденные при помощи метода моментов, носят название ММ-оценки.
Метод наибольшего правдоподобия рассмотрим в следующем пункте.
Сущность метода максимального правдоподобия
Под методом максимального правдоподобия в математической статистике понимается метод оценки неизвестного параметра посредством максимизации функции правдоподобия. Основой данного метода является предположение о том, что все данные о статистической выборке содержатся в функции правдоподобия. Описываемый метод был проанализирован Р. Фишером в начале 20-го века, который в дальнейшем его рекомендовал и популяризировал.
Оценка наибольшего правдоподобия – это достаточно популярный статистический метод, используемый с целью построения статистической модели на основе информации и обеспечения оценки всех параметров модели.
Метод наибольшего правдоподобия соответствует многим популярным методам статистической оценки. К примеру, вы рассматриваете такой антропометрический параметр, как рост жителей данной страны. Допустим, что вы располагаете данными о росте определенного количества людей, но не всего населения. Помимо этого, допускается, что рост – это нормально распределенная величина со средним значением и неизвестной дисперсией. Дисперсия роста и среднее значение в выборке будут являться максимально правдоподобными к дисперсии и среднему значению всего населения.
Используя фиксированный набор данных и базовой модели вероятностей в расчетах с помощью метода правдоподобия, будут получены такие значения параметров, которые будут делать данные «наиболее приближенные» к реальным. Метод максимального правдоподобия является уникальным и простым способом определения решения при нормальном распределении.
Метод наибольшего правдоподобия используются во многих статистических моделях:
Метод наибольшего правдоподобия заключается в том, что оценкой вектора неизвестных параметров
Рисунок 7. Формула. Автор24 — интернет-биржа студенческих работ
Рисунок 8. Формула. Автор24 — интернет-биржа студенческих работ
который доставляет максимум функции правдоподобия:
Рисунок 9. Формула. Автор24 — интернет-биржа студенческих работ
Точечные оценки, получаемые при методе наибольшего правдоподобия, носят название МП-оценки.
Пример использования метода максимального правдоподобия
Пусть необходимо найти при помощи метода максимально правдоподобия оценку заданного параметра p биноминального распределения
Рисунок 10. Формула. Автор24 — интернет-биржа студенческих работ
Для того, чтобы решить данную задачу, необходимо составить функцию правдоподобия:
Рисунок 11. Формула. Автор24 — интернет-биржа студенческих работ
Затем следует отыскать логарифмическую функцию:
Рисунок 12. Формула. Автор24 — интернет-биржа студенческих работ
На следующем этапе определяется первая производная p:
Рисунок 13. Формула. Автор24 — интернет-биржа студенческих работ
Найденную производную необходимо приравнять к нулю, тем самым записав уравнение правдоподобия.
Рисунок 14. Формула. Автор24 — интернет-биржа студенческих работ
После относительного решения полученного уравнения находим значение критической точки:
Рисунок 15. Формула. Автор24 — интернет-биржа студенческих работ
В данной точке вторая производная будет отрицательной, а, следовательно, данная точка является максимумом. Таким образом найденная точка принимается в качестве оценки по методу максимального правдоподобия неизвестной вероятности p биноминального распределения.
Метод максимального правдоподобия
Метод максимального правдоподобия был проанализирован, рекомендован и значительно популяризирован Р. Фишером между 1912 и 1922 годами (хотя ранее он был использован Гауссом, Лапласом и другими).
Оценка максимального правдоподобия является популярным статистическим методом, который используется для создания статистической модели на основе данных и обеспечения оценки параметров модели.
Метод максимального правдоподобия соответствует многим известным методам оценки в области статистики. Например, вы интересуетесь таким антропометрическим параметром, как рост жителей России. Предположим, у вас имеются данные о росте некоторого количества людей, а не всего населения. Кроме того, предполагается, что рост является нормально распределённой величиной с неизвестной дисперсией и средним значением. Среднее значение и дисперсия роста в выборке являются максимально правдоподобными к среднему значению и дисперсии всего населения.
Для фиксированного набора данных и базовой вероятностной модели, используя метод максимального правдоподобия, мы получим значения параметров модели, которые делают данные «более близкими» к реальным. Оценка максимального правдоподобия даёт уникальный и простой способ определить решения в случае нормального распределения.
Метод оценки максимального правдоподобия применяется для широкого круга статистических моделей, в том числе:
линейные модели и обобщённые линейные модели;
моделирование структурных уравнений;
многие ситуации, в рамках проверки гипотезы и доверительного интервала формирования;
дискретные модели выбора.
Связанные понятия
Функция предельного правдоподобия (англ. Marginal Likelihood Function) или интегрированное правдоподобие (англ. integrated likelihood) — это функция правдоподобия, в которой некоторые переменные параметры исключены. В контексте байесовской статистики, функция может называться обоснованностью (англ. evidence) или обоснованностью модели (англ. model evidence).
В статистике метод оценки с помощью апостериорного максимума (MAP) тесно связан с методом максимального правдоподобия (ML), но дополнительно при оптимизации использует априорное распределение величины, которую оценивает.
Центра́льные преде́льные теоре́мы (Ц. П. Т.) — класс теорем в теории вероятностей, утверждающих, что сумма достаточно большого количества слабо зависимых случайных величин, имеющих примерно одинаковые масштабы (ни одно из слагаемых не доминирует, не вносит в сумму определяющего вклада), имеет распределение, близкое к нормальному.
В статистике, дельта-методом называется результат, описывающий вероятностное распределение функции от асимптотически нормальной статистической оценки при известной асимптотической дисперсии этой оценки.
Метод максимального правдоподобия
Оглавление
мотивация
Метод максимального правдоподобия теперь используется в ситуациях, в которых элементы совокупности можно интерпретировать как реализацию случайного эксперимента, который зависит от неизвестного параметра, но однозначно определен и известен, за исключением этого. Соответственно, интересующие характеристические значения зависят исключительно от этого неизвестного параметра и, следовательно, могут быть представлены как функция от него. Параметр, который максимизирует вероятность получения выборки, теперь называется оценкой максимального правдоподобия.
Эвристический вывод
Теперь рассмотрим следующий пример: есть урна с большим количеством черных или красных шаров. Поскольку рассмотрение всех сфер представляется практически невозможным, проводится выборка из десяти сфер (например, с заменой). В этом примере теперь есть один красный и девять черных шаров. На основе этой одной выборки теперь должна быть оценена истинная вероятность выпадения красного шара среди всей совокупности (урны).
Метод максимального правдоподобия пытается создать эту оценку таким образом, чтобы появление нашей выборки было наиболее вероятным. Для этого можно попробовать определить, при каком оценочном значении вероятность результата нашей выборки становится максимальной.
определение
ϑ ^ ML знак равно плохой Максимум ϑ ∈ Θ Л. ( ϑ ) <\ displaystyle <\ hat <\ vartheta>> _ <\ text 
,
Примеры
Дискретное распределение, непрерывное пространство параметров
Количество звонков двум операторам за один час в колл-центре можно рассчитать с помощью распределения Пуассона.
Подставьте значения в функцию вероятности
Первая производная функции правдоподобия дается выражением
и функция логарифма правдоподобия как
и после преобразования результатов оценки максимального правдоподобия как
λ ^ ML знак равно 1 п ∑ я знак равно 1 п Икс я знак равно Икс ¯ <\ displaystyle <\ hat <\ lambda>> _ <\ text
Дискретное распределение, пространство с конечными параметрами
Сейчас мы ищем наиболее правдоподобный состав шаров в урне согласно принципу максимального правдоподобия.
В результате получаются следующие значения функции:
Непрерывное распределение, непрерывное пространство параметров
Теперь, решая для и получаются две оценки максимального правдоподобия μ ^ ML <\ displaystyle <\ hat <\ mu>> _ <\ text σ ^ 2 ML <\ displaystyle <<\ hat <\ sigma>> ^ <2>> _ <\ text
μ ^ ML знак равно 1 п ∑ я знак равно 1 п Икс я знак равно Икс ¯ <\ displaystyle <\ hat <\ mu>> _ <\ text
μ ^ ML знак равно Икс ¯ знак равно 1 п ∑ я знак равно 1 п Икс я <\ displaystyle <\ hat <\ mu>> _ <\ text
σ ^ ML 2 знак равно С.
как оценщик максимального правдоподобия.
В ожидании результатов μ ^ ML <\ displaystyle <\ hat <\ mu>> _ <\ text
Можно показать, что для ожидаемого значения σ ^ ML 2 <\ displaystyle <\ hat <\ sigma>> _ <\ text
Историческое развитие
Оценка максимального правдоподобия
Свойства оценок максимального правдоподобия
Особое качество оценок максимального правдоподобия выражается в том, что они обычно являются наиболее эффективным методом оценки определенных параметров.
существование
Асимптотическая нормальность
Общие тесты
Сходимость оценки максимального правдоподобия и нормального распределения позволяет получить общие тесты для проверки моделей и коэффициентов: ϑ ^ ML <\ displaystyle <\ hat <\ vartheta>> _ <\ text
На графике справа показано, как работают тесты: тест отношения правдоподобия сравнивает значения функций правдоподобия друг с другом, тест Вальда проверяет расстояние между оцениваемым параметром и заданным параметром, а тест оценки определяет, вывод функции правдоподобия равен нулю.
Правдоподобный критерий
Отказ от нулевой гипотезы означает, что «полная модель» (модель в соответствии с альтернативной гипотезой ) обеспечивает значительно лучшее объяснение, чем «сокращенная модель» (модель в соответствии с нулевой гипотезой или нулевая модель ).
Лесной тест
В то время как тест отношения правдоподобия сравнивает модели, тест Вальда нацелен на отдельные коэффициенты (одномерные) или группы коэффициентов (многомерные). Асимптотически и ниже нулевая гипотеза следует ЧАС 0 <\ displaystyle H_ <0>>
Информационный критерий Акаике
Недостатки метода
Желательные свойства подхода максимального правдоподобия основаны на решающем предположении о процессе генерации данных, то есть на предполагаемой функции плотности исследуемой случайной величины. Недостатком метода максимального правдоподобия является то, что необходимо сделать конкретное предположение обо всем распределении случайной величины. Однако, если это нарушается, оценки максимального правдоподобия могут быть несовместимыми.
Только в некоторых случаях не имеет значения, действительно ли случайная величина подчиняется предполагаемому распределению, но обычно это не так. Оценщики, полученные с использованием максимального правдоподобия, которые непротиворечивы, даже если базовое предположение о распределении нарушается, являются так называемыми оценщиками псевдо максимального правдоподобия.
Оценщики максимального правдоподобия могут иметь проблемы с эффективностью и систематические ошибки в небольших выборках.
Если данные не случайны, часто можно использовать другие методы для определения лучших параметров. Это может сыграть роль, например, в квази-Монте-Карло-анализе или в том случае, если данные уже были усреднены.
Пример применения: максимальная вероятность в молекулярной филогении
Принцип максимального правдоподобия
Функция правдоподобия основывается на условной вероятности взятием ее как функции от второго аргумента при фиксировании первого. Например рассмотрим модель в которой плотностью вероятности случайной величины X зависит от параметра θ. Тогда для некоторого конкретного значения x случайной величины X функция L(θ | x) = P(X=x | θ) и есть функция правдоподобия θ, определяя насколько правдоподобно каждое конкретное значение параметра θ при условии, что нам известно значение x величины X. Две функции правдоподобия являются равными, если одна есть произведение второй на некоторую скалярную величину.
Содержание
Пример.
Рассмотрим случайные величины
Тогда рассмотрение X = 3 даст функцию правдоподобия
а рассмотрение Y = 12 даст функцию правдоподобия
Они равносильны, так как одна равняется произведению второй на скалярное значение. Принцип максимального правдоподобия в данном случае говорит, что выводы, сделанные о значении переменной θ должны быть одинаковы в обоих случаях.
Разница в наблюдении X = 3 и наблюдении Y = 12 исключительно в дизайне эксперимента: в одном случае изначально было решено делать двенадцать попыток, а в другом делать попытки, пока не будет трех успешных. Результат будет одинаковым в обоих случаях. Поэтому принцип максимального правдоподобия иногда выражают следующим образом:
Вывод должен зависеть только от исхода эксперимента, а не от дизайна эксперимента.
Закон максимального правдоподобия
Связаная с принципом максимального правдоподобия концепция это закон максимального правдоподобия, говорящий, что отношение того, какое значение параметра более применимо, равняется отношению их функций правдоподобия. Тогда отношение
является мерой того, насколько величина x принимает параметр a в отношении к b. Таким образом, если отношение равняется 1, то разницы нет, а если больше 1, то a предпочтительней b и наоборот.
Из принципа максимального правдоподобия и закона максимального правдоподобия следует, что парамаетр, который максимизирует функцию правдоподобия является лучшим. Это и является основой широко известного метода максимального правдоподобия.
Историческая справка
Аргументы за и против принципа максимального правдоподобия
Принцип максимального правдоподобия принимается не всеми. Некоторые широко используемые методы традиционной статистики, как например проверка статистических гипотез противоречат принципу максимального правдоподобия. Рассмотрим кратко некоторые за и против этого принципа.
Зависимость результата от дизайна эксперимента
Неосуществленные события действительно играют роль в некоторых общих статистических методах. Например результат проверки статистической гипотезы зависит от вероятности результата так же или даже более, чем изучаемая величина, а эта вероятность может зависить от дизайна эксперимента. Таким образом там где такие методы применимы, принцип максимального правдоподобия неприменим.
Некоторые классические методы проверки гипотез базируются не на правдоподобии. Часто приводимый пример это проблема оптимальной остановки. Предположим я сказал, что бросил монету 12 раз и получил 3 решки. Из этого вы сможете сделать некоторые выводы о вероятности выпадения решки у этой монеты. А теперь предположим, что я бросал монету пока решка не выпала 3 раза и бросли так же 12 раз. Сделаете ли вы теперь другие выводы?
Функция правдоподобия одинакова в обоих случаях и пропорциональна
.
В соответствии с принципом правдоподобия выводы должны быть одинаковы в обоих случаях.
Предположим, некоторая группа ученых определяет вероятность некоторого исхода (который мы будем называть ‘успехом’) серией экспериментов. Здравый смысл подсказывает нам, что если нет никакой основы полагать успех или неудачу более вероятными, то вероятность успеха будет одна вторая. Ученый Адам сделал 12 испытаний и получил 3 успеха и 9 неудач, после чего умер.
Его коллега по лаборатории Билл продолжил работу Адама и опубликовал результаты с результатом проверки гипотезы. Он проверил гипотезу, что p, вероятность успеха, равняется одной второй против p
что есть 299/4096 = 7.3%. Таким образом гипотеза не отвергается при 5% уровне доверия.
Шарлотта, другая ученая, прочитав статью Билла, пишет письмо, говорящее, что возможно Адам продолжал испытания пока не получил 3 успеха, тогда вероятность что потребуется 12 или более испытания равняется
что есть 134/4096 = 3.27%. И теперь результат отвергается при уровне в 5%.
Для этих ученых зависимость результата испытаний зависит от дизайна эксперимента, а не только от правдоподобия результата.
Очевидно, парадокс такого рода полагается некоторыми как аргумент против принципа правдоподобия, для других же он иллюстрирует его значение и разрешает парадокс.