text: Эквивалентно, эту плотность можно описать как масштабированное обратное распределение хи-квадрат Scale-inv- χ 2 ( v 0 , s 0 2 ) . {\displaystyle {\mbox{Scale-inv-}}\chi ^{2}(v_{0},s_{0}^{2}).} Далее, условная априорная плотность ρ ( β | σ 2 ) {\displaystyle \rho ({\boldsymbol {\beta }}|\sigma ^{2})} является нормальным распределением, ρ ( β | σ 2 ) ∝ ( σ 2 ) − k 2 e − 1 2 σ 2 ( β − μ 0 ) T Λ 0 ( β − μ 0 ) . {\displaystyle \rho ({\boldsymbol {\beta }}|\sigma ^{2})\propto (\sigma ^{2})^{-{\frac {k}{2}}}e^{-{\frac {1}{2{\sigma }^{2}}}({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{0})^{\rm {T}}\mathbf {\Lambda } _{0}({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{0})}.} В обозначениях нормального распределения условное априорное распределение равно N ( μ 0 , σ 2 Λ 0 − 1 ) . {\displaystyle {\mathcal {N}}\left({\boldsymbol {\mu }}_{0},\sigma ^{2}\mathbf {\Lambda } _{0}^{-1}\right).} При указанном априорным распределении апостериорное распределение можно выразить как ρ ( β , σ 2 | y , X ) ∝ ρ ( y | X , β , σ 2 ) ρ ( β | σ 2 ) ρ ( σ 2 ) {\displaystyle \rho ({\boldsymbol {\beta }},\sigma ^{2}|\mathbf {y} ,\mathbf {X} )\propto \rho (\mathbf {y} |\mathbf {X} ,{\boldsymbol {\beta }},\sigma ^{2})\rho ({\boldsymbol {\beta }}|\sigma ^{2})\rho (\sigma ^{2})} ∝ ( σ 2 ) − n / 2 e − 1 2 σ 2 ( y − X β ) T ( y − X β ) {\displaystyle \propto (\sigma ^{2})^{-n/2}e^{-{\frac {1}{2{\sigma }^{2}}}(\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }})^{\rm {T}}(\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }})}} × ( σ 2 ) − k / 2 e − 1 2 σ 2 ( β − μ 0 ) T Λ 0 ( β − μ 0 ) {\displaystyle \times (\sigma ^{2})^{-k/2}e^{-{\frac {1}{2{\sigma }^{2}}}({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{0})^{\rm {T}}{\boldsymbol {\Lambda }}_{0}({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{0})}} × ( σ 2 ) − ( a 0 + 1 ) e − b 0 σ 2 . {\displaystyle \times (\sigma ^{2})^{-(a_{0}+1)}e^{-{\frac {b_{0}}{{\sigma }^{2}}}}.} После некоторых преобразований апостериорная вероятность может быть переписана так, что апостериорное среднее μ n {\displaystyle {\boldsymbol {\mu }}_{n}} вектора параметров β {\displaystyle {\boldsymbol {\beta }}} может быть выражено в терминах оценки по методу наименьших квадратов β ^ {\displaystyle {\hat {\boldsymbol {\beta }}}} и априорного среднего μ 0 {\displaystyle {\boldsymbol {\mu }}_{0}} , где поддержка априорной вероятности выражается матрицей априорной точности Λ 0 {\displaystyle {\boldsymbol {\Lambda }}_{0}} μ n = ( X T X + Λ 0 ) − 1 ( X T X β ^ + Λ 0 μ 0 ) . {\displaystyle {\boldsymbol {\mu }}_{n}=(\mathbf {X} ^{\rm {T}}\mathbf {X} +{\boldsymbol {\Lambda }}_{0})^{-1}(\mathbf {X} ^{\rm {T}}\mathbf {X} {\hat {\boldsymbol {\beta }}}+{\boldsymbol {\Lambda }}_{0}{\boldsymbol {\mu }}_{0}).} Для подтверждения, что μ n {\displaystyle {\boldsymbol {\mu }}_{n}} в действительности является апостериорным средним, квадратичные члены в экспоненте можно преобразовать к квадратичной форме от β − μ n {\displaystyle {\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{n}} . ( y − X β ) T ( y − X β ) + ( β − μ 0 ) T Λ 0 ( β − μ 0 ) = {\displaystyle (\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }})^{\rm {T}}(\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }})+({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{0})^{\rm {T}}{\boldsymbol {\Lambda }}_{0}({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{0})=} ( β − μ n ) T ( X T X + Λ 0 ) ( β − μ n ) + y T y − μ n T ( X T X + Λ 0 ) μ n + μ 0 T Λ 0 μ 0 . {\displaystyle ({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{n})^{\rm {T}}(\mathbf {X} ^{\rm {T}}\mathbf {X} +{\boldsymbol {\Lambda }}_{0})({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{n})+\mathbf {y} ^{\rm {T}}\mathbf {y} -{\boldsymbol {\mu }}_{n}^{\rm {T}}(\mathbf {X} ^{\rm {T}}\mathbf {X} +{\boldsymbol {\Lambda }}_{0}){\boldsymbol {\mu }}_{n}+{\boldsymbol {\mu }}_{0}^{\rm {T}}{\boldsymbol {\Lambda }}_{0}{\boldsymbol {\mu }}_{0}.} Теперь апостериорное распределение можно выразить как нормальное распределение, умноженное на обратное гамма-распределение: ρ ( β , σ 2 | y , X ) ∝ ( σ 2 ) − k 2 e − 1 2 σ 2 ( β − μ n ) T ( X T X + Λ 0 ) ( β − μ n ) {\displaystyle \rho ({\boldsymbol {\beta }},\sigma ^{2}|\mathbf {y} ,\mathbf {X} )\propto (\sigma ^{2})^{-{\frac {k}{2}}}e^{-{\frac {1}{2{\sigma }^{2}}}({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{n})^{\rm {T}}(\mathbf {X} ^{\rm {T}}\mathbf {X} +\mathbf {\Lambda } _{0})({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{n})}} × ( σ 2 ) − n + 2 a 0 2 − 1 e − 2 b 0 + y T y − μ n T ( X T X + Λ 0 ) μ n + μ 0 T Λ 0 μ 0 2 σ 2 . {\displaystyle \times (\sigma ^{2})^{-{\frac {n+2a_{0}}{2}}-1}e^{-{\frac {2b_{0}+\mathbf {y} ^{\rm {T}}\mathbf {y} -{\boldsymbol {\mu }}_{n}^{\rm {T}}(\mathbf {X} ^{\rm {T}}\mathbf {X} +{\boldsymbol {\Lambda }}_{0}){\boldsymbol {\mu }}_{n}+{\boldsymbol {\mu }}_{0}^{\rm {T}}{\boldsymbol {\Lambda }}_{0}{\boldsymbol {\mu }}_{0}}{2{\sigma }^{2}}}}.} Поэтому апостериорное распределение можно параметризовать следующим образом. ρ ( β , σ 2 | y , X ) ∝ ρ ( β | σ 2 , y , X ) ρ ( σ 2 | y , X ) , {\displaystyle \rho ({\boldsymbol {\beta }},\sigma ^{2}|\mathbf {y} ,\mathbf {X} )\propto \rho ({\boldsymbol {\beta }}|\sigma ^{2},\mathbf {y} ,\mathbf {X} )\rho (\sigma ^{2}|\mathbf {y} ,\mathbf {X} ),} где два множителя соответствуют плотностям распределений N ( μ n , σ 2 Λ n − 1 ) {\displaystyle {\mathcal {N}}\left({\boldsymbol {\mu }}_{n},\sigma ^{2}{\boldsymbol {\Lambda }}_{n}^{-1}\right)\,} и Inv-Gamma ( a n , b n ) {\displaystyle {\text{Inv-Gamma}}\left(a_{n},b_{n}\right)} с параметрами, задаваемыми выражениями Λ n = ( X T X + Λ 0 ) , μ n = ( Λ n ) − 1 ( X T X β ^ + Λ 0 μ 0 ) , {\displaystyle {\boldsymbol {\Lambda }}_{n}=(\mathbf {X} ^{\rm {T}}\mathbf {X} +\mathbf {\Lambda } _{0}),\quad {\boldsymbol {\mu }}_{n}=({\boldsymbol {\Lambda }}_{n})^{-1}(\mathbf {X} ^{\rm {T}}\mathbf {X} {\hat {\boldsymbol {\beta }}}+{\boldsymbol {\Lambda }}_{0}{\boldsymbol {\mu }}_{0}),} a n = a 0 + n 2 , b n = b 0 + 1 2 ( y T y + μ 0 T Λ 0 μ 0 − μ n T Λ n μ n ) . {\displaystyle a_{n}=a_{0}+{\frac {n}{2}},\qquad b_{n}=b_{0}+{\frac {1}{2}}(\mathbf {y} ^{\rm {T}}\mathbf {y} +{\boldsymbol {\mu }}_{0}^{\rm {T}}{\boldsymbol {\Lambda }}_{0}{\boldsymbol {\mu }}_{0}-{\boldsymbol {\mu }}_{n}^{\rm {T}}{\boldsymbol {\Lambda }}_{n}{\boldsymbol {\mu }}_{n}).} Это можно интерпретировать как байесовское обучение, в котором параметры обновляются согласно следующим равенствам. μ n = ( X T X + Λ 0 ) − 1 ( Λ 0 μ 0 + X T X β ^ ) = ( X T X + Λ 0 ) − 1 ( Λ 0 μ 0 + X T y ) , {\displaystyle {\boldsymbol {\mu }}_{n}=(\mathbf {X} ^{\rm {T}}\mathbf {X} +{\boldsymbol {\Lambda }}_{0})^{-1}({\boldsymbol {\Lambda }}_{0}{\boldsymbol {\mu }}_{0}+\mathbf {X} ^{\rm {T}}\mathbf {X} {\hat {\boldsymbol {\beta }}})=(\mathbf {X} ^{\rm {T}}\mathbf {X} +{\boldsymbol {\Lambda }}_{0})^{-1}({\boldsymbol {\Lambda }}_{0}{\boldsymbol {\mu }}_{0}+\mathbf {X} ^{\rm {T}}\mathbf {y} ),} Λ n = ( X T X + Λ 0 ) , {\displaystyle {\boldsymbol {\Lambda }}_{n}=(\mathbf {X} ^{\rm {T}}\mathbf {X} +{\boldsymbol {\Lambda }}_{0}),} a n = a 0 + n 2 , {\displaystyle a_{n}=a_{0}+{\frac {n}{2}},} b n = b 0 + 1 2 ( y T y + μ 0 T Λ 0 μ 0 − μ n T Λ n μ n ) . {\displaystyle b_{n}=b_{0}+{\frac {1}{2}}(\mathbf {y} ^{\rm {T}}\mathbf {y} +{\boldsymbol {\mu }}_{0}^{\rm {T}}{\boldsymbol {\Lambda }}_{0}{\boldsymbol {\mu }}_{0}-{\boldsymbol {\mu }}_{n}^{\rm {T}}{\boldsymbol {\Lambda }}_{n}{\boldsymbol {\mu }}_{n}).} Обоснованность модели p ( y | m ) {\displaystyle p(\mathbf {y} |m)} — это вероятность данных для данной модели m {\displaystyle m} .