Estatísticas e Big Data fisher-information
Perguntas com a marcação «fisher-information»
A informação de Fisher mede a curvatura da probabilidade logarítmica e pode ser usada para avaliar a eficiência dos estimadores.
Explicação intuitiva das informações de Fisher e limite de Cramer-Rao
Não me sinto confortável com as informações de Fisher, o que elas medem e como elas são úteis. Também o relacionamento com o limite de Cramer-Rao não é aparente para mim. Alguém pode, por favor, dar uma explicação intuitiva desses conceitos?
Conexão entre a métrica de Fisher e a entropia relativa
Alguém pode provar a seguinte conexão entre a métrica de informações de Fisher e a entropia relativa (ou divergência de KL) de maneira rigorosa e puramente matemática? D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(∥da∥3)D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(‖da‖3)D( p(\cdot , a+da) \parallel p(\cdot,a) ) =\frac{1}{2} g_{i,j} \, da^i \, da^j + (O( \|da\|^3) onde a=(a1,…,an),da=(da1,…,dan)a=(a1,…,an),da=(da1,…,dan)a=(a^1,\dots, a^n), da=(da^1,\dots,da^n) , gi,j=∫∂i(logp(x;a))∂j(logp(x;a)) p(x;a) …
20 mathematical-statistics kullback-leibler fisher-information
Informações de Fisher em um modelo hierárquico
Dado o seguinte modelo hierárquico, e que é uma distribuição normal. Existe uma maneira de obter uma expressão exata para as informações de Fisher da distribuição marginal de dada . Ou seja, qual é a informação de Fisher de: Posso obter uma expressão para a distribuição marginal de dada c …
Por que a matriz de informações de Fisher é semidefinida positiva?
Seja θ∈Rnθ∈Rn\theta \in R^{n} . A Matriz de Informações de Fisher é definida como: I(θ)i,j=−E[∂2log(f(X|θ))∂θi∂θj∣∣∣θ]I(θ)i,j=−E[∂2log⁡(f(X|θ))∂θi∂θj|θ]I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial \theta_{j}}\bigg|\theta\right] Como posso provar que a Matriz de informações de Fisher é semidefinida positiva?
Exemplo para um anterior, que, diferentemente de Jeffreys, leva a um posterior que não é invariável
Estou repostando uma "resposta" a uma pergunta que eu havia feito há duas semanas atrás: Por que o Jeffreys é útil antes? Era realmente uma pergunta (e eu também não tinha o direito de postar comentários), então espero que esteja tudo bem fazer isso: No link acima, é discutido que …
17 bayesian mathematical-statistics fisher-information jeffreys-prior invariance
Por que exatamente as informações observadas de Fisher são usadas?
Na configuração padrão de máxima verossimilhança (amostra iid Y1,…,YnY1,…,YnY_{1}, \ldots, Y_{n} de alguma distribuição com densidade fy(y|θ0fy(y|θ0f_{y}(y|\theta_{0} )) e no caso de um modelo especificado corretamente, as informações de Fisher são fornecidas por I(θ)=−Eθ0[∂2θ2lnfy(θ)]I(θ)=−Eθ0[∂2θ2ln⁡fy(θ)]I(\theta) = -\mathbb{E}_{\theta_{0}}\left[\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta) \right] onde a expectativa é tomada em relação à densidade real que gerou …
17 maximum-likelihood fisher-information
Condições para a existência de uma matriz de informações de Fisher
Diferentes livros citam condições diferentes para a existência de uma matriz de informações de Fisher. Várias dessas condições estão listadas abaixo, cada uma das quais aparece em algumas, mas não em todas, das definições de "matriz de informações de Fisher". Existe um conjunto padrão e mínimo de condições? Das 5 …
13 fisher-information
Determinante da informação de Fisher
(Postei uma pergunta semelhante no math.se. ) Na geometria da informação, o determinante da matriz de informações de Fisher é uma forma de volume natural em um coletor estatístico, portanto, possui uma ótima interpretação geométrica. O fato de aparecer na definição de Jeffreys anterior, por exemplo, está ligado à sua …
12 variance information-theory fisher-information information-geometry
Determinante da matriz de informações de Fisher para um modelo superparameterizado
Considere uma variável aleatória Bernoulli com o parâmetro (probabilidade de sucesso). A função de probabilidade e as informações de Fisher (uma matriz ) são:X∈{0,1}X∈{0,1}X\in\{0,1\}θθ\theta1×11×11 \times 1 L1(θ;X)I1(θ)=p(X|θ)=θX(1−θ)1−X=detI1(θ)=1θ(1−θ)L1(θ;X)=p(X|θ)=θX(1−θ)1−XI1(θ)=detI1(θ)=1θ(1−θ) \begin{align} \mathcal{L}_1(\theta;X) &= p(\left.X\right|\theta) = \theta^{X}(1-\theta)^{1-X} \\ \mathcal{I}_1(\theta) &= \det \mathcal{I}_1(\theta) = \frac{1}{\theta(1-\theta)} \end{align} Agora considere uma versão "com excesso de parâmetros" com …
10 bernoulli-distribution parameterization fisher-information determinant
Informações observadas de Fisher em transformação
De "Em toda a probabilidade: modelagem estatística e inferência usando a probabilidade" de Y. Pawitan, a probabilidade de uma parametrização é definida como modo que se g for um a um, então L ^ * (\ psi) = L (g ^ {- 1} (\ psi)) (p. 45). Eu estou tentando …