(a) The entropy $H(p)$ of the Bernoulli distribution with parameter $a=0.25$ is given by:

H(p)=−alog⁡2a−(1−a)log⁡2(1−a)≈0.8113 bitsH(p) = - a \log\_2 a - (1-a) \log\_2 (1-a) \approx 0.8113 \text{ bits}H(p)=−alog2​a−(1−a)log2​(1−a)≈0.8113 bits(b) The $K$-L divergence $D(p | q)$ of the Bernoulli distribution with parameter $a=0.75$ relative to the Bernoulli distribution with parameter $b=0.5$ is given by:

D(p∥q)=alog⁡2ab+(1−a)log⁡21−a1−b≈0.057 bitsD(p \| q) = a \log\_2 \frac{a}{b} + (1-a) \log\_2 \frac{1-a}{1-b} \approx 0.057 \text{ bits}D(p∥q)=alog2​ba​+(1−a)log2​1−b1−a​≈0.057 bitsThe cross entropy $H(p, q)$ is given by:

H(p,q)=−(alog⁡2b+(1−a)log⁡2(1−b))≈0.785 bitsH(p, q) = - \left(a \log\_2 b + (1-a) \log\_2 (1-b)\right) \approx 0.785 \text{ bits}H(p,q)=−(alog2​b+(1−a)log2​(1−b))≈0.785 bits(c) The likelihood function for the observations $\mathbf{x}$ is given by:

L(a∣x)=∏i=1maxi(1−a)1−xi=a∑i=1mxi(1−a)m−∑i=1mxiL(a | \mathbf{x}) = \prod\_{i=1}^m a^{x\_i} (1-a)^{1-x\_i} = a^{\sum\_{i=1}^m x\_i} (1-a)^{m-\sum\_{i=1}^m x\_i}L(a∣x)=i=1∏m​axi​(1−a)1−xi​=a∑i=1m​xi​(1−a)m−∑i=1m​xi​The log-likelihood function is therefore:

ℓ(a∣x)=∑i=1mxilog⁡a+(m−∑i=1mxi)log⁡(1−a)\ell(a | \mathbf{x}) = \sum\_{i=1}^m x\_i \log a + (m-\sum\_{i=1}^m x\_i) \log (1-a)ℓ(a∣x)=i=1∑m​xi​loga+(m−i=1∑m​xi​)log(1−a)To find the maximum likelihood estimator $\hat{a}(\mathbf{x})$, we take the derivative of the log-likelihood function with respect to $a$ and set it to zero:

ddaℓ(a∣x)=∑i=1mxia−m−∑i=1mxi1−a=0\frac{d}{da} \ell(a | \mathbf{x}) = \frac{\sum\_{i=1}^m x\_i}{a} - \frac{m-\sum\_{i=1}^m x\_i}{1-a} = 0dad​ℓ(a∣x)=a∑i=1m​xi​​−1−am−∑i=1m​xi​​=0Solving for $a$, we obtain:

a^(x)=∑i=1mxim\hat{a}(\mathbf{x}) = \frac{\sum\_{i=1}^m x\_i}{m}a^(x)=m∑i=1m​xi​​(d) The negative cross entropy between the true distribution $p$ and the model distribution $q$ parameterized by $\mathbf{w}$ and $c$ is given by:

C(w,c)=−1N∑n=1N[a(n)log⁡q(x(n))+(1−a(n))log⁡(1−q(x(n)))]C(\mathbf{w}, c) = -\frac{1}{N} \sum\_{n=1}^N \left[a^{(n)} \log q(\mathbf{x}^{(n)}) + (1-a^{(n)}) \log (1-q(\mathbf{x}^{(n)}))\right]C(w,c)=−N1​n=1∑N​[a(n)logq(x(n))+(1−a(n))log(1−q(x(n)))]where $q(\mathbf{x}^{(n)}) = \hat{a}(\mathbf{x}^{(n)}) = \mathbf{w}^T \mathbf{x}^{(n)} + c$ is the predicted probability of the positive class.

(e) The gradient of the negative cross entropy with respect to the parameters $\theta^T=[\mathbf{w}^T c]$ is given by:

\nabla\_\theta C(\theta) = -\frac{1}{N} \sum\_{n=1}^N \left[a^{(n)} - q(\mathbf{x}^{(n)})\right] \left[\begin{
(a) 매개변수 $a=0.25$인 베르누이 분포의 엔트로피 $H(p)$는 다음과 같이 주어집니다:H(p)=-alog2a-(1-a)log2(1-a)≈0.8113 비트H(p) = - a \log\_2 a - (1-a) \log\_2 (1-a) \약 0.8113 \text{ bits}H(p)=-alog2a-(1-a)log2(1-a)≈0. 8113 비트(b) 매개변수 $a=0.75$ 인 베르누이 분포에 대한 매개변수 $b=0.5$ 인 베르누이 분포의 $K$-L 발산 $D(p | q)$ 는 다음과 같이 주어집니다:D(p∥q)=alog2ab+(1-a)log21-a1-b≈0.057비트D(p \| q) = a \log\_2 \frac{a}{b} + (1-a) \log\_2 \frac{1-a}{1-b} \약 0.057 \text{ 비트}D(p∥q)=alog2ba+(1-a)log21-b1-a≈0.057 비트교차 엔트로피 $H(p, q)$는 다음과 같이 주어집니다:H(p,q)=-(alog2b+(1-a)log2(1-b))≈0.785비트H(p, q) = - \left(a \log\_2 b + (1-a) \log\_2 (1-b)\right) \약 0. 785 \text{ bits}H(p,q)=-(alog2b+(1-a)log2(1-b))≈0.785 bits(c) 관측값 $\mathbf{x}$에 대한 확률 함수는 다음과 같이 주어집니다:L(a∣x)=∏i=1maxi(1-a)1-xi=a∑i=1mxi(1-a)m-∑i=1mxiL(a | \mathbf{x}) = \prod\_{i=1}^m a^{x\_i} (1-a)^{1-x\_i} = a^{\sum\_{i=1}^m x\_i} (1-. a)^{m-\sum\_{i=1}^m x\_i}L(a∣x)=i=1∏maxi(1-a)1-xi=a∑i=1mxi(1-a)m-∑i=1mxi 따라서 로그-확률 함수는 다음과 같습니다:ℓ(a∣x)=∑i=1mxiloga+(m-∑i=1mxi)log(1-a)\ell(a | \mathbf{x}) = \sum\_{i=1}^m x\_i \log a + (m-\sum\_{i=1}^m x\_i) \log (1-. a)ℓ(a∣x)=i=1∑mxiloga+(m-i=1∑mxi)log(1-a)최대 가능성 추정자 $\hat{a}(\mathbf{x})$를 찾으려면 다음과 같이 계산합니다, 에 대한 로그 확률 함수의 도함수를 취하여 0으로 설정합니다:ddaℓ(a∣x)=∑i=1mxia−m−∑i=1mxi1−a=0\frac{d}{da} \ell(a | \mathbf{x}) = \frac{\sum\_{i=1}^m x\_i}{a} - \frac{m-\sum\_{i=1}^m x\_i}{1-a} = 0dadℓ(a∣x)=a∑i=1mxi-1-am-∑i=1mxi=0$a$에 대해 풀면, 우리는 다음과 같이 얻게 됩니다:a^(x)=∑i=1mxim\hat{a}(\mathbf{x}) = \frac{\sum\_{i=1}^m x\_i}{m}a^(x)=m∑i=1mxi(d) 실제 분포 $p$와 $\mathbf{w}$와 $c$로 매개 변수화된 모델 분포 $q$ 사이의 음의 교차 엔트로피는 다음과 같이 주어집니다:C(w,c)=-1N∑n=1N[a(n)logq(x(n))+(1-a(n))log(1-q(x(n))]C(\mathbf{w}, c) = -\frac{1}{N} \sum\_{n=1}^N \left[a^{(n)} \log q(\mathbf{x}^{(n)}) + (1-a^{(n)}) \log (1-q(\mathbf{x}^{(n)}))\right]C(w, c)=-N1n=1∑N[a(n)logq(x(n))+(1-a(n))log(1-q(x(n)))]여기서 $q(\mathbf{x}^{(n)}) = \hat{a}(\mathbf{x}^{(n)}) = \mathbf{w}^T \mathbf{x}^{(n)} + c$ 는 양의 클래스의 예측 확률을 나타냅니다.(e) 매개변수 $\theta^T=[\mathbf{w}^T c]$에 대한 음의 교차 엔트로피의 기울기는 다음과 같이 주어집니다:\nabla\_\theta C(\theta) = -\frac{1}{N} \sum\_{n=1}^N \left[a^{(n)} - q(\mathbf{x}^{(n)})\right] \left[\begin{