utoencoder 딥 러닝 다층 퍼셉트론 순환 신경망 LSTM GRU Restricted Boltzmann machine 자기조직화지도 합성곱 신경망 강화 학습 Q 러닝 SARSA 시간차 학습 이론 편향 - 분산 트레이드오프 Computational learning theory Empirical risk minimization PAC learning Statistical learning VC theory v. d. e. h 로지스틱 회귀 ( 영어 : logistic regression ) 는 D. R. Cox가 1958년 [ 1 ] 에 제안한 확률 모델로서 독립 변수의 선형 결합을 이용하여 사건의 발생 가능성을 예측하는데 사용되는 통계 기법이다. 로지스틱 회귀의 목적은 일반적인 회귀 분석의 목표와 동일하게 종속 변수와 독립 변수간의 관계를 구체적인 함수로 나타내어 향후 예측 모델에 사용하는 것이다. 이는 독립 변수의 선형 결합으로 종속 변수를 설명한다는 관점에서는 선형 회귀 분석과 유사하다. 하지만 로지스틱 회귀는 선형 회귀 분석과는 다르게 종속 변수가 범주형 데이터를 대상으로 하며 입력 데이터가 주어졌을 때 해당 데이터의 결과가 특정 분류로 나뉘기 때문에 일종의 분류 ( classification ) 기법으로도 볼 수 있다. 흔히 로지스틱 회귀는 종속변수가 이항형 문제 ( 즉, 유효한 범주의
주어졌을 때 해당 데이터의 결과가 특정 분류로 나뉘기 때문에 일종의 분류 ( classification ) 기법으로도 볼 수 있다. 흔히 로지스틱 회귀는 종속변수가 이항형 문제 ( 즉, 유효한 범주의 개수가 두개인 경우 ) 를 지칭할 때 사용된다. 이외에, 두 개 이상의 범주를 가지는 문제가 대상인 경우엔 다항 로지스틱 회귀 ( multinomial logistic regression ) 또는 분화 로지스틱 회귀 ( polytomous logistic regression ) 라고 하고 복수의 범주이면서 순서가 존재하면 서수 로지스틱 회귀 ( ordinal logistic regression ) 라고 한다. [ 2 ] 로지스틱 회귀 분석은 의료, 통신, 데이터마이닝과 같은 다양한 분야에서 분류 및 예측을 위한 모델로서 폭넓게 사용되고 있다. 목차 1 기초 2 로지스틱 함수 2. 1 식 2. 2 수식 유도 2. 2. 1 가정 2. 2. 1. 1 독립 변수 2. 2. 1. 2 종속 변수 2. 2. 1. 3 선형 예측 변수 2. 2. 1. 4 로지스틱 함수 유도 3 형식적 수학 모델 3. 1 잠재변수 모델 ( latent - variable ) 3. 2 이중 ( two - way ) 잠재변수 모델 3. 3 로그 - 선형 모델 4
. 4 로지스틱 함수 유도 3 형식적 수학 모델 3. 1 잠재변수 모델 ( latent - variable ) 3. 2 이중 ( two - way ) 잠재변수 모델 3. 3 로그 - 선형 모델 4 모델 피팅 4. 1 추정 4. 1. 1 최대가능도 방법 4. 1. 2 집단 데이터의 최소 카이제곱 추정법 4. 2 검증 4. 2. 1 가능도비 검증 4. 2. 2 의사 - 결정계수 ( Pseudo - R2 ) 5 응용 6 확장 7 같이 보기 8 더 읽기 9 참조 기초 [ 편집 ] 로지스틱 회귀는 이항형 또는 다항형이 될 수 있다. 이항형 로지스틱 회귀 ( binomial logistic regression ) 의 경우 종속 변수의 결과가 ( 성공, 실패 ) 와 같이 2개의 카테고리가 존재하는 것을 의미하며 다항형 로지스틱 회귀는 종속형 변수가 ( 맑음, 흐림, 비 ) 와 같이 2개 이상의 카테고리로 분류되는 것을 가리킨다. 이항형 로지스틱의 회귀 분석에서 2개의 카테고리는 0과 1로 나타내어지고 각각의 카테고리로 분류될 확률의 합은 1이 된다. 로지스틱 회귀는 일반적인 선형 모델 ( generalized linear model ) 의 특수한 경우로 볼 수 있으므로 선형 회귀와 유사하다. 하지만,
i,..., x m, i { [UNK] displaystyle x - { 1, i },..., x - { m, i } } ) 을 포함하고 있고 이는 설명 변수, 예측 변수, 입력 변수, 특징, 속성이라고도 불린다. 그리고 독립 변수와 연관된 이진 값 형태의 종속 변수 Y i { [UNK] displaystyle Y - { i } } 가 존재한다. 이 종속 변수는 응답 변수, 결과 변수, 클래스 변수라고도 일컬어진다. 향후 수식 표현에서는 종속 변수에는 오직 2개의 가능한 값,'0'( 실패 또는 없음을 의미 ) 과'1'( 성공 또는 존재를 의미 ) 만이 존재한다고 가정한다. 로지스틱 회귀의 목적은 독립 변수와 종속 변수의 관계를 찾음으로써, 새로운 독립 변수의 집합이 주어졌을 때 종속 변수의 값을 예측할 수 있게 하는 것이다. 독립 변수 [ 편집 ] 예시에서 볼 수 있다시피, 독립 변수는 실제 값, 이진 값, 카테고리 등 어떤 형태든 될 수 있다. 종속 변수의 형태는 연속 변수 ( 수입, 나이, 혈압 ) 또는 이산 변수 ( 성별, 인종 ) 로 구분된다. 만약, 특정 이산 변수 값의 후보가 2개 이상이 존재한다면 일반적으로 해당 후보들을 임시 변수로 변환하여 로지스틱 회귀를 수행한다. 즉, 구분된 독립 변수들이
각각의 카테고리로 분류될 확률의 합은 1이 된다. 로지스틱 회귀는 일반적인 선형 모델 ( generalized linear model ) 의 특수한 경우로 볼 수 있으므로 선형 회귀와 유사하다. 하지만, 로지스틱 회귀의 모델은 종속 변수와 독립 변수 사이의 관계에 있어서 선형 모델과 차이점을 지니고 있다. 첫 번째 차이점은 이항형인 데이터에 적용하였을 때 종속 변수 y의 결과가 범위 [ 0, 1 ] 로 제한된다는 것이고 두 번째 차이점은 종속 변수가 이진적이기 때문에 조건부 확률 ( P ( y│x ) ( y│x ) ) 의 분포가 정규분포 대신 이항 분포를 따른다는 점이다. 따라서, 대상이 되는 데이터의 종속 변수 y의 결과는 0과 1, 두 개의 경우만 존재하는 데 반해, 단순 선형 회귀를 적용하면 범위 [ 0, 1 ] 를 벗어나는 결과가 나오기 때문에 오히려 예측의 정확도만 떨어뜨리게 된다. 이를 해결하기 위해 로지스틱 회귀는 연속이고 증가함수이며 [ 0, 1 ] 에서 값을 갖는 연결 함수 g ( x ) 를 제안하였다. 연결함수의 형태는 다양하게 존재하는데 그 중 대표적인 두 개는 아래와 같다. 로지스틱 모형 : g ( x ) = e x 1 e x { [UNK] displaystyle g
( 성별, 인종 ) 로 구분된다. 만약, 특정 이산 변수 값의 후보가 2개 이상이 존재한다면 일반적으로 해당 후보들을 임시 변수로 변환하여 로지스틱 회귀를 수행한다. 즉, 구분된 독립 변수들이 각각'0'또는'1'의 값을 갖도록 변환한다.'0'은 해당 변수가 특정 값을 지니지 않음으로 의미하고'1'은 해당 변수가 주어진 값과 동일하다는 것을 의미한다. 예를 들어, 혈액형의 종류는 4가지 ( A, B, AB, O ) 가 있는데 이를 로지스틱 회귀를 수행하기 위해서 데이터 변환을 하면 4가지 혈액형 중에 특정 사람의 혈액형과 같은 값만'1'이 되고 나머지는'0'의 값을 지닌다. 즉, A형인 사람의 데이터는 ( 1, 0, 0, 0 ) 이 되는 것이다. 이렇게 변환함으로써 구분된 회귀 계수가 이산적인 값을 지니게 할 수 있다. 종속 변수 [ 편집 ] 종속 변수 Y i { [UNK] displaystyle Y - { i } } 는 일반적으로 베르누이 분포의 데이터로서 표현한다. 각 종속 변수는 관찰되지 않은 확률 p i { [UNK] displaystyle p - { i } } 에 의해 결정된다. 이는 다음의 수학적 표현으로 표현할 수 있다. Y i | x
{ [UNK] frac { p } { 1 - p } } } 로지스틱 함수 ( logistic function ) : 로지스틱 함수의 그래프는 Figure 1과 같고 이는 독립 변수 x가 주어졌을 때 종속 변수가 1의 범주에 속할 확률을 의미한다. 즉, p ( y = 1 | x ) { [UNK] displaystyle { p ( y = 1 | x ) } } 를 의미한다. 로지스틱 함수는 로짓 변환을 통해 만들어지고, 그 형태는 다음과 같다. logistic function = e beta [UNK] X i 1 e beta [UNK] X i { [UNK] displaystyle { [UNK] text { logistic function } } = { [UNK] frac { e ^ { [UNK] beta [UNK] centerdot X - { i } } } { 1e ^ { [UNK] beta [UNK] centerdot X - { i } } } } } 수식 유도 [ 편집 ] 가정 [ 편집 ] N개의 관찰된 데이터 요소의 연속된 숫자가 존재한다고 가정하면, 각 데이터 요소는 m개의 독립 변수의 집합 ( x 1, i,..., x m, i { [UNK] displaystyle x - { 1, i },..., x - { m, i } } ) 을 포함하고 있고 이는 설명 변수, 예측 변수,
1 ] 사이에 있도록 한다. 이는 오즈 ( odds ) 를 로짓 ( logit ) 변환을 수행함으로써 얻어진다. [ 3 ] 식 [ 편집 ] 오즈 ( odds ) & 로짓 변환 성공 확률이 실패 확률에 비해 몇 배 더 높은가를 나타내며 그 식은 아래와 같다. odds = p ( y = 1 | x ) 1 - p ( y = 1 | x ) { [UNK] displaystyle { [UNK] text { odds } } = { [UNK] frac { p ( y = 1 | x ) } { 1 - p ( y = 1 | x ) } } } 로짓 변환 오즈에 로그를 취한 함수로서 입력 값의 범위가 [ 0, 1 ] 일때 출력 값의 범위를 [ - infinity, infinity ] { [UNK] displaystyle [ - [UNK] infty, [UNK] infty ] } 로 조정한다. logit ( p ) = log p 1 - p { [UNK] displaystyle [UNK] operatorname { logit } ( p ) = [UNK] log { [UNK] frac { p } { 1 - p } } } 로지스틱 함수 ( logistic function ) : 로지스틱 함수의 그래프는 Figure 1과 같고 이는 독립 변수 x가 주어졌을 때 종속 변수
} ( 1 - y - { i } ) [UNK] log { [UNK] frac { 1 } { 1 - [UNK] theta ( [UNK] beta [UNK] centerdot X - { i } ) } } ) } 로지스틱 회귀에서는 위의 식을 최소화하는 닫힌 형태 ( closed - form expression ) 를 바로 구하는 것이 불가능하다. 그래서 반복 처리 ( iterative process ) 를 통해 계수를 추정하는데, 이 과정은 임의의 계수에서 시작하여 해당 계수를 반복적으로 수정해가면서 결과 모델이 개선되는지를 확인한다. [ 5 ] 그리고 그 결과가 수렴할 때까지 모델의 개선을 반복함으로써 최종적으로 계수를 구할 수 있다. 하지만 특정 경우에는 모델이 수렴하지 않을 수도 있는데, 이는 반복 처리로써 적합한 해를 찾을 수 없기 때문으로 계수가 중요한 의미를 지니지 않음을 시사한다. 수렴에 실패하는 대표적인 이유로는 사건에 매우 큰 영향력을 미치는 예측변수의 사용, 다중 공선성 ( multicolinearity ), 희소성 ( sparseness ), 완분성 ( complete separation ) 들이 있다. 반복적으로 업데이트 하면서 지역적인 최솟값 ( local minimum ) 을 찾는 알고리즘 중 대표적인 방법으로는 경사 하강법 ( Gr
} 확률 질량 함수를 다른 표현으로 적은 것으로, 그것은 3번의 식 두 개를 한번에 표현한 것이다. 선형 예측 변수 [ 편집 ] 로지스틱 회귀의 기본적인 접근은 이미 개발되어 있는 선형 회귀의 방식을 사용하는 것이다. 즉, 독립 변수의 선형 결합과 회귀 계수에 관한 선형 예측 함수에서 비롯되었다. 선형 예측 함수 f ( i ) { [UNK] displaystyle f ( i ) } 는 특정 데이터 항에 대해 아래와 같이 표현된다. f ( i ) = beta 0 beta 1 x 1, i [UNK] beta m x m, i ( beta 0,..., beta m ) { [UNK] displaystyle f ( i ) = [UNK] beta - { 0 } [UNK] beta - { 1 } x - { 1, i } [UNK] cdots [UNK] beta - { m } x - { m, i } ( [UNK] beta - { 0 },..., [UNK] beta - { m } ) } 은 특정 독립 변수와 결과의 관계를 규정하는 회귀 계수를 의미한다. 이 모델은 다음의 간결한 형태로 표현될 수 있다. 회귀 계수 ( beta 0, [UNK], beta m ) { [UNK] displaystyle ( [UNK] beta - { 0 }, [UNK] cdots, [UNK] beta - { m } )
로지스틱 회귀(영어: logistic regression)는 영국의 통계학자인 D. R. Cox가 1958년에 제안한 확률 모델로서 독립 변수의 선형 결합을 이용하여 사건의 발생 가능성을 예측하는 데 사용되는 통계 기법이다. 로지스틱 회귀의 목적은 일반적인 회귀 분석의 목표와 동일하게 종속 변수와 독립 변수간의 관계를 구체적인 함수로 나타내어 향후 예측 모델에 사용하는 것이다. 이는 독립 변수의 선형 결합으로 종속 변수를 설명한다는 관점에서는 선형 회귀 분석과 유사하다. 하지만 로지스틱 회귀는 선형 회귀 분석과는 다르게 종속 변수가 범주형 데이터를 대상으로 하며 입력 데이터가 주어졌을 때 해당 데이터의 결과가 특정 분류로 나뉘기 때문에 일종의 분류 (classification) 기법으로도 볼 수 있다. 흔히 로지스틱 회귀는 종속변수가 이항형 문제(즉, 유효한 범주의 개수가 두개인 경우)를 지칭할 때 사용된다. 이외에, 두 개 이상의 범주를 가지는 문제가 대상인 경우엔 다항 로지스틱 회귀 (multinomial logistic regression) 또는 분화 로지스틱 회귀 (polytomous logistic regression)라고 하고 복수의 범주이면서 순서가 존재하면 서수 로지스틱 회귀 (ordinal logistic regression) 라고 한다. 로지스틱 회귀 분석은 의료, 통신, 데이터마이닝과 같은 다양한 분야에서 분류 및 예측을 위한 모델로서 폭넓게 사용되고 있다.