m, i ) = { p i if y i = 1 1 - p i if y i = 0 { displaystyle Pr ( Y - { i } = y - { i } | x - { 1, i },..., x - { m, i } ) = { begin { cases } p - { i } & { mbox { if } } y - { i } = 1 1 - p - { i } & { mbox { if } } y - { i } = 0 end { cases } } } 베르누이 분포의 확률 질량 함수를 표현한 것으로서 2개의 경우에 대한 확률이 존재한다. P r ( Y i = y i | x 1, i,..., x m, i ) = p i y i ( 1 - p i ) ( 1 - y i ) { displaystyle Pr ( Y - { i } = y - { i } | x - { 1, i },..., x - { m, i } ) = p - { i } ^ { y - { i } } ( 1 - p - { i } ) ^ { ( 1 - y - { i } ) } } 확률 질량 함수를 다른 표현으로 적은 것으로, 그것은 3번의 식 두 개를
displaystyle chi - { mathit { s - p } } ^ { 2 } } ) 로 나타낼 수 있다. 그리고 이를 기준으로 F - test를 수행함으로써 최종적으로 회귀 계수의 유의성을 판단할 수 있다. D n u l l = - 2 ln Likelihoodofnullmodel Likelihood S { displaystyle D - { mathit { null } } = - 2 ln { frac { textrm { Likelihoodofnullmodel } } { { textrm { Likelihood } } - { S } } } } D f i t t e d = - 2 ln Likelihood i n Likelihood S { displaystyle D - { mathit { fitted } } = - 2 ln { frac { { textrm { Likelihood } } - { mathit { in } } } { { textrm { Likelihood } } - { S } } } } 라고 하면, D n u l l - D f i t t e d = - 2 ln Likelihoodof
비교함으로써 계산된다. D = - 2 ln Likelihood i n Likelihood S ( { displaystyle D = - 2 ln { frac { { textrm { Likelihood } } - { mathit { in } } } { { textrm { Likelihood } } - { S } } } quad ( } Likelihood i n : { displaystyle { textrm { Likelihood } } - { mathit { in } } : } 피팅된 모델의 가능도, Likelihood S : { displaystyle { textrm { Likelihood } } - { S } : } 포화 모델의 가능도 ) ( } Likelihood i n : { displaystyle { textrm { Likelihood } } - { mathit { in } } : } 피팅된 모델의 가능도, Likelihood S : { displaystyle { textrm { Likelihood } } - { S } : } 포화 모델의 가능도 ) { displaystyle )
##되어 있지 않고 많은 방법이 존재하는데, 이들 중 대표적인 세 가지는 McFadden ( 1974 ) 가 제안한 방법, Cox and Snell ( 1989 ) 가 제안한 방법, 그리고 Cox and Snell R2의 수정 버전이 존재한다. McFadden이 제안한 R2은 의사 - 결정계수라고도 불리는데, 이는 다음과 같이 정의된다. R L 2 = D n u l l - D f i t t i n g D f i t t i n g { displaystyle R - { L } ^ { 2 } = { frac { D - { mathit { null } } - D - { mathit { fitting } } } { D - { mathit { fitting } } } } } 이 공식은 " 잔차 분산 ( error variance ) " 의 감소 비율 ( proportionate reduction ) 에 해당한다. pseudo - R2의 단점은 오즈비와 직접적으로 ( monotonically ) 연관되어 있지 않다는 점이다. 즉, 오즈비가 증가한다고 해서 반드시 R2이 증가하거나, 오즈비가 감소한다고 해서 R2이 감소하지는 않는다는 것이다. Cox and Snell
mathbf { X } - { i } } } { e ^ { { boldsymbol { beta } } - { 0 } cdot mathbf { X } - { i } } e ^ { { boldsymbol { beta } } - { 1 } cdot mathbf { X } - { i } } } }, end { aligned } } } 또는, 일반적으로 Pr ( Y i = c ) = e beta c X i h e beta h X i { displaystyle Pr ( Y - { i } = c ) = { frac { e ^ { { boldsymbol { beta } } - { c } cdot mathbf { X } - { i } } } { sum - { h } e ^ { { boldsymbol { beta } } - { h } cdot mathbf { X } - { i } } } } } 위에서처럼 다항 로짓과 같은 둘 이상의 결과값에 대하여 일반화된 공식화를 보일 수 있다. 일반화된 공식화가 Softmax 함수와 정확히 일치함에 유의하자. Pr ( Y i = c
= e ^ { - e ^ { x } } } 이 중에 계산상의 편리성으로 인하여 로지스틱 모형이 널리 사용된다. 로지스틱 함수 [ 편집 ] 표준 로지스틱 함수 ( t ) { displaystyle sigma ( t ) } ; 모든 t { displaystyle t } 에 있어서 ( t ) [ 0, 1 ] { displaystyle sigma ( t ) in [ 0, 1 ] } 이다. 로지스틱 모형 식은 독립 변수가 [ - infinity, infinity ] 의 어느 숫자이든 상관 없이 종속 변수 또는 결과 값이 항상 범위 [ 0, 1 ] 사이에 있도록 한다. 이는 오즈 ( odds ) 를 로짓 ( logit ) 변환을 수행함으로써 얻어진다. [ 3 ] 식 [ 편집 ] 오즈 ( odds ) & 로짓 변환 성공 확률이 실패 확률에 비해 몇 배 더 높은가를 나타내며 그 식은 아래와 같다. odds = p ( y = 1 | x ) 1 - p ( y = 1 | x ) { displaystyle { text { odds } } = { frac { p ( y = 1 | x ) } { 1 - p ( y = 1 | x ) } } } 로짓 변환 오즈
{ X } - { i } ) = { frac { 1 } { 1e ^ { - { boldsymbol { beta } } cdot mathbf { X } - { i } } } } } 이다. 이를 확률 질량 함수로 표현하면 다음과 같다. Pr ( Y i = y i X i ) = p i y i ( 1 - p i ) 1 - y i = ( 1 1 e - beta X i ) y i ( 1 - 1 1 e - beta X i ) 1 - y i { displaystyle operatorname { Pr } ( Y - { i } = y - { i } mid mathbf { X } - { i } ) = { p - { i } } ^ { y - { i } } ( 1 - p - { i } ) ^ { 1 - y - { i } } = left ( { frac { 1 } { 1e ^ { - { boldsymbol { beta } } cdot mathbf { X } - { i } } } } right ) ^ { y - { i } } left ( 1 - { frac { 1 } { 1e ^ { - { boldsymbol {
frac { p ( y = 1 | x ) } { 1 - p ( y = 1 | x ) } } } 로짓 변환 오즈에 로그를 취한 함수로서 입력 값의 범위가 [ 0, 1 ] 일때 출력 값의 범위를 [ - infinity, infinity ] { displaystyle [ - infty, infty ] } 로 조정한다. logit ( p ) = log p 1 - p { displaystyle operatorname { logit } ( p ) = log { frac { p } { 1 - p } } } 로지스틱 함수 ( logistic function ) : 로지스틱 함수의 그래프는 Figure 1과 같고 이는 독립 변수 x가 주어졌을 때 종속 변수가 1의 범주에 속할 확률을 의미한다. 즉, p ( y = 1 | x ) { displaystyle { p ( y = 1 | x ) } } 를 의미한다. 로지스틱 함수는 로짓 변환을 통해 만들어지고, 그 형태는 다음과 같다. logistic function = e beta X i 1 e beta X i { displaystyle { text { logistic function } } = { frac { e ^ { beta
. 》. Belmont, CA ; Thomson Wadsworth. ISBN 978 - 0 - 495 - 59786 - 5. Peduzzi, P. ; J. Concato, E. Kemper, T. R. Holford, A. R. Feinstein ( 1996 ). " A simulation study of the number of events per variable in logistic regression analysis ". 《 Journal of Clinical Epidemiology 》 49 ( 12 ) : 1373 - 1379. PMID 8970487. doi : 10. 1016 / s0895 - 4356 ( 96 ) 00236 - 3. 더 이상 지원되지 않는 변수를 사용함 ( 도움말 ) 참조 [ 편집 ] ↑ Cox, DR ( 1958 ). " The regression analysis of binary sequences ( with discussion ) ". 《 J Roy Stat Soc B 》 20 : 215 - 242. ↑ SH, Walker. " Estimation of the probability of an event as a function of several independent variables ". ". 《 Biometrika 》 54 : 167 - 178. ↑ Hosmer
번째 차이점은 이항형인 데이터에 적용하였을 때 종속 변수 y의 결과가 범위 [ 0, 1 ] 로 제한된다는 것이고 두 번째 차이점은 종속 변수가 이진적이기 때문에 조건부 확률 ( P ( y│x ) ( y│x ) ) 의 분포가 정규분포 대신 이항 분포를 따른다는 점이다. 따라서, 대상이 되는 데이터의 종속 변수 y의 결과는 0과 1, 두 개의 경우만 존재하는 데 반해, 단순 선형 회귀를 적용하면 범위 [ 0, 1 ] 를 벗어나는 결과가 나오기 때문에 오히려 예측의 정확도만 떨어뜨리게 된다. 이를 해결하기 위해 로지스틱 회귀는 연속이고 증가함수이며 [ 0, 1 ] 에서 값을 갖는 연결 함수 g ( x ) 를 제안하였다. 연결함수의 형태는 다양하게 존재하는데 그 중 대표적인 두 개는 아래와 같다. 로지스틱 모형 : g ( x ) = e x 1 e x { displaystyle g ( x ) = { frac { e ^ { x } } { 1e ^ { x } } } } 검벨 모형 : g ( x ) = e - e x { displaystyle g ( x ) = e ^ { - e ^ { x } } } 이 중에 계산상의 편리성으로 인하여 로지스틱 모형이 널리 사용된다
로지스틱 회귀(영어: logistic regression)는 영국의 통계학자인 D. R. Cox가 1958년에 제안한 확률 모델로서 독립 변수의 선형 결합을 이용하여 사건의 발생 가능성을 예측하는 데 사용되는 통계 기법이다. 로지스틱 회귀의 목적은 일반적인 회귀 분석의 목표와 동일하게 종속 변수와 독립 변수간의 관계를 구체적인 함수로 나타내어 향후 예측 모델에 사용하는 것이다. 이는 독립 변수의 선형 결합으로 종속 변수를 설명한다는 관점에서는 선형 회귀 분석과 유사하다. 하지만 로지스틱 회귀는 선형 회귀 분석과는 다르게 종속 변수가 범주형 데이터를 대상으로 하며 입력 데이터가 주어졌을 때 해당 데이터의 결과가 특정 분류로 나뉘기 때문에 일종의 분류 (classification) 기법으로도 볼 수 있다. 흔히 로지스틱 회귀는 종속변수가 이항형 문제(즉, 유효한 범주의 개수가 두개인 경우)를 지칭할 때 사용된다. 이외에, 두 개 이상의 범주를 가지는 문제가 대상인 경우엔 다항 로지스틱 회귀 (multinomial logistic regression) 또는 분화 로지스틱 회귀 (polytomous logistic regression)라고 하고 복수의 범주이면서 순서가 존재하면 서수 로지스틱 회귀 (ordinal logistic regression) 라고 한다. 로지스틱 회귀 분석은 의료, 통신, 데이터마이닝과 같은 다양한 분야에서 분류 및 예측을 위한 모델로서 폭넓게 사용되고 있다.