Multiclass Logistic Regression is a variant of the standard Logistic Regression model that is used to model the relationship between a categorical response variable with more than two categories and one or more predictor variables. In the context of a scientific journal paper, Multiclass Logistic Regression may be used to investigate the association between multiple exposures and a disease outcome with multiple categories or to identify predictors of a certain behavior or event with multiple outcomes.

The basic idea of Multiclass Logistic Regression is to model the probability of the response variable (Y) taking on a certain category as a function of one or more predictor variables (X). Specifically, the model assumes that the log-odds of the response variable being in a certain category can be modeled as a linear function of the predictor variables:

log⁡(p(Y=k)p(Y=K))=β0k+β1kX1+⋯+βpkXp,k=1,2,…,K−1\log \left(\frac{p(Y=k)}{p(Y=K)}\right) = \beta\_{0k} + \beta\_{1k} X\_1 + \dots + \beta\_{pk} X\_p, \quad k = 1,2,\dots,K-1log(p(Y=K)p(Y=k)​)=β0k​+β1k​X1​+⋯+βpk​Xp​,k=1,2,…,K−1where p(Y=k) is the probability of the response variable taking on the kth category, and p(Y=K) = 1 - ∑\_{k=1}^{K-1} p(Y=k) is the probability of it taking on the Kth category. The term inside the log function is called the odds ratio or logit, which represents the ratio of the probability of Y=k to the probability of Y=K.

The coefficients β\_{0k}, β\_{1k}, ..., β\_{pk} represent the effects of the predictor variables on the log-odds of the response variable being in the kth category. The goal of Multiclass Logistic Regression is to estimate these coefficients based on the observed data and use them to make predictions about the probability of the response variable being in a certain category.

The estimation of the coefficients can be performed using Maximum Likelihood Estimation (MLE), which involves finding the values of the coefficients that maximize the likelihood of the observed data given the model. The likelihood function can be written as:

L(β)=∏i=1n∏k=1K−1[p(Yi=k∣xi;β)]yikL(\beta) = \prod\_{i=1}^n \prod\_{k=1}^{K-1} [p(Y\_i=k|x\_i;\beta)]^{y\_{ik}}L(β)=i=1∏n​k=1∏K−1​[p(Yi​=k∣xi​;β)]yik​where x\_i is the vector of predictor variables for the ith observation, y\_{ik} is an indicator variable that takes on the value 1 if the ith observation is in the kth category, and 0 otherwise, and n is the sample size. The MLE estimates of the coefficients are the values that maximize this likelihood function.

Once the coefficients are estimated, the model can be used to make predictions about the probability of the response variable being in a certain category given a set of predictor variable values. This can be done using the softmax function, which maps the linear predictor to a vector of probabilities that sum to 1:

p(Y=k∣X)=exp⁡(β0k+β1kX1+⋯+βpkXp)1+∑j=1K−1exp⁡(β0j+β1jX1+⋯+βpjXp),k=1,2,…,K−1p(Y=k|X) = \frac{\exp(\beta\_{0k} + \beta\_{1k} X\_1 + \dots + \beta\_{pk} X\_p)}{1 + \sum\_{j=1}^{K-1} \exp(\beta\_{0j} + \beta\_{1j} X\_1 + \dots + \beta\_{pj} X\_p)}, \quad k = 1,2,\dots,K-1p(Y=k∣X)=1+∑j=1K−1​exp(β0j​+β1j​X1​+⋯+βpj​Xp​)exp(β0k​+β1k​X1​+⋯+βpk​Xp​)​,k=1,2,…,K−1The softmax function can also be used to calculate the odds ratio or logit for any two categories k and j, as it is simply the ratio of their probabilities:

\frac{p(Y=k|X)}{p(Y=j|X)} = \frac{\exp(\beta\_{0k} + \
초분류 로지스틱 회귀는 두 개 이상의 범주가 있는 범주형 응답 변수와 하나 이상의 예측 변수 간의 관계를 모델링하는 데 사용되는 표준 로지스틱 회귀 모형의 변형입니다. 과학 저널 논문의 맥락에서 다중 클래스 로지스틱 회귀는 여러 범주의 여러 노출과 질병 결과 사이의 연관성을 조사하거나 여러 결과를 가진 특정 행동 또는 사건의 예측자를 식별하는 데 사용될 수 있습니다.

다중 클래스 로지스틱 회귀의 기본 개념은 하나 이상의 예측 변수(X)의 함수로서 응답 변수(Y)가 특정 범주에 속할 확률을 모델링하는 것입니다. 구체적으로, 이 모델은 응답 변수가 특정 범주에 속할 확률의 로그 확률을 예측 변수의 선형 함수로 모델링할 수 있다고 가정합니다:

log⁡(p(Y=k)p(Y=K))=β0k+β1kX1+⋯+βpkXp,k=1,2,…,K−1\log \left(\frac{p(Y=k)}{p(Y=K)}\right) = \beta\_{0k} + \beta\_{1k} X\_1 + \점 + \베타\_{pk} X\_p, \쿼드 k = 1,2,\dots,K-1log(p(Y=K)p(Y=k))=β0k+β1kX1+⋯+βpkXp,k=1,2,...,... ,K-1 여기서 p(Y=k)는 응답 변수가 k번째 범주에 속할 확률이고, p(Y=K) = 1 - ∑\_{k=1}^{K-1} p(Y=k)는 응답 변수가 K번째 범주에 속할 확률을 나타냅니다. 로그 함수 내부의 항을 확률 비율 또는 로짓이라고 하며, 이는 Y=k 확률에 대한 Y=K 확률의 비율을 나타냅니다.

계수 β\_{0k}, β\_{1k}, ..., β\_{pk}는 k번째 범주에 속하는 응답 변수의 로그 확률에 대한 예측 변수의 효과를 나타냅니다. 다중 클래스 로지스틱 회귀의 목표는 관찰된 데이터를 기반으로 이러한 계수를 추정하고 이를 사용하여 응답 변수가 특정 범주에 속할 확률을 예측하는 것입니다.

계수 추정은 모델이 주어졌을 때 관찰된 데이터의 가능성을 최대화하는 계수 값을 찾는 최대 가능성 추정(MLE)을 사용하여 수행할 수 있습니다. 확률 함수는 다음과 같이 작성할 수 있습니다:

L(β)=∏i=1n∏k=1K−1[p(Yi=k∣xi;β)]yikL(\beta) = \prod\_{i=1}^n \prod\_{k=1}^{K-1} [p(Y\_i=k|x\_i;\beta)]^{y\_{ik}}L(β)=i=1∏n​k=1∏K−1​[p(Yi​=k∣xi​; β)]yik 여기서 x\_i는 θ번째 관측치에 대한 예측 변수 벡터이고, y\_{ik}는 θ번째 관측치가 k번째 범주에 속하면 1, 그렇지 않으면 0을 취하는 지표 변수이며, n은 표본 크기입니다. 계수의 MLE 추정치는 이 확률 함수를 최대화하는 값입니다.

계수가 추정되면 이 모델을 사용하여 일련의 예측 변수 값이 주어졌을 때 응답 변수가 특정 범주에 속할 확률을 예측할 수 있습니다. 이 작업은 선형 예측 변수를 1로 합산되는 확률 벡터에 매핑하는 소프트맥스 함수를 사용하여 수행할 수 있습니다:

p(Y=k∣X)=exp⁡(β0k+β1kX1+⋯+βpkXp)1+∑j=1K−1exp⁡(β0j+β1jX1+⋯+βpjXp),k=1,2,… ,K-1p(Y=k|X) = \frac{\exp(\beta\_{0k} + \beta\_{1k} X\_1 + \dots + \beta\_{pk} X\_p)}{1 + \sum\_{j=1}^{K-1} \exp(\beta\_{0j} + \beta\_{1j} X\_1 + \dots + \beta\_{pj} X\_p)}, \쿼드 k = 1,2,\dots,K-1p(Y=k∣X)=1+∑j=1K-1exp(β0j+β1jX1+⋯+βpjXp)exp(β0k+β1kX1+⋯+βpkXp),k=1,2,...,... ,K-1 소프트맥스 함수는 단순히 확률의 비율이기 때문에 두 범주 k와 j에 대한 확률 비율 또는 로짓을 계산하는 데에도 사용할 수 있습니다:

\frac{p(Y=k|X)}{p(Y=j|X)} = \frac{\exp(\beta\_{0k} + \