Сопряжённое априорное распределение
Сопряжённое априорное распределение (англ. conjugate prior) и сопряжённое семейство распределений — одни из основных понятий в байесовской статистике.
Рассмотрим задачу о нахождении распределения параметра θ {displaystyle heta } (рассматриваемого как случайная величина) по имеющемуся наблюдению x {displaystyle x} . По теореме Байеса, апостериорное распределение вычисляется из априорного распределения с плотностью вероятности p ( θ ) {displaystyle p( heta )} и функции правдоподобия p ( x | θ ) {displaystyle p(x| heta )} по формуле:
p ( θ | x ) = p ( x | θ ) p ( θ ) ∫ range θ p ( x | θ ) p ( θ ) d θ . {displaystyle displaystyle p( heta |x)={frac {p(x| heta ),p( heta )}{int limits _{{ ext{range}}; heta }p(x| heta ),p( heta ),d heta }}.}Если апостериорное распределение p ( θ | x ) {displaystyle p( heta |x)} принадлежит тому же семейству вероятностных распределений, что и априорное распределение p ( θ ) {displaystyle p( heta )} (т.е. имеет тот же вид, но с другими параметрами), то это семейство распределений называется сопряжённым семейству функций правдоподобия p ( x | θ ) {displaystyle p(x| heta )} . При этом распределение p ( θ ) {displaystyle p( heta )} называется сопряжённым априорным распределением к семейству функций правдоподобия p ( x | θ ) {displaystyle p(x| heta )} .
Знание сопряжённых семейств распределений существенно упрощает вычисление апостериорных вероятностей в байесовской статистике, так как позволяет заменить вычисление громоздких интегралов в формуле Байеса простыми алгебраическими манипуляциями над параметрами распределений.
Пример
Для случайной величины, распределённой по закону Бернулли (бросание монетки) с неизвестным параметром q ∈ [ 0 , 1 ] {displaystyle qin [0,1]} (вероятность успеха), в качестве сопряжённого априорного распределения обычно выступает бета-распределение с плотностью вероятности:
p ( q = x ) = x α − 1 ( 1 − x ) β − 1 B ( α , β ) {displaystyle p(q=x)={x^{alpha -1}(1-x)^{eta -1} over mathrm {B} (alpha ,eta )}}где α {displaystyle alpha } и β {displaystyle eta } выбираются так, чтобы отразить имеющуюся априорную информацию или убеждение о распределении параметра q (выбор α {displaystyle alpha } = 1 and β {displaystyle eta } = 1 даст равномерное распределение), а Β( α {displaystyle alpha } , β {displaystyle eta } ) — бета-функция, служащая здесь для нормализации вероятности.
Параметры α {displaystyle alpha } и β {displaystyle eta } часто называют гиперпараметрами (параметрами априорного распределения), чтобы отличить их от параметров функции правдоподобия (в данном случае, q).
Если взять выборку из n значений этой случайной величины, и среди них окажется s успехов и f неудач, то апостериорное распределение параметра q будет равно:
P ( s , f | q = x ) = ( s + f s ) x s ( 1 − x ) f , {displaystyle P(s,f|q=x)={s+f choose s}x^{s}(1-x)^{f},} p ( q = x | s , f ) = ( s + f s ) x s + α − 1 ( 1 − x ) f + β − 1 / B ( α , β ) ∫ y = 0 1 ( ( s + f s ) y s + α − 1 ( 1 − y ) f + β − 1 / B ( α , β ) ) d y = x s + α − 1 ( 1 − x ) f + β − 1 B ( s + α , f + β ) , {displaystyle p(q=x|s,f)={{{s+f choose s}x^{s+alpha -1}(1-x)^{f+eta -1}/mathrm {B} (alpha ,eta )} over int _{y=0}^{1}left({s+f choose s}y^{s+alpha -1}(1-y)^{f+eta -1}/mathrm {B} (alpha ,eta ) ight)dy}={x^{s+alpha -1}(1-x)^{f+eta -1} over mathrm {B} (s+alpha ,f+eta )},}Это апостериорное распределение также оказывается распределённым по закону бета-распределения.
Таблица сопряжённых семейств распределений
В таблицах ниже показано каким образом изменяются параметры апостериорного распределения после выборки из n независимых, одинаково-распределённых наблюдений x 1 , x 2 , … , x n {displaystyle x_{1},x_{2},ldots ,x_{n}} . Второй столбец — параметр функции правдоподобия, относительно которого строится семейство сопряжённых распределений.
