이 문서 요약 좀 해줄래?
여기에서는 전체 자료를 대상으로 기계학습 방법을 활용해 표면적으로 드러나지 않는 자료 속의 패턴에 대해서 분석해 보도록 한다. 우선적으로 연관성 분석 (association analysis)를 통해 앞에서 분석했던 단어들이 실질적으로 어떤 양태로 나타나는지 알아 볼 것인데, 연관성 분석이란 데이터 내에서 의미있는 상관관계를 찾아내는 방식이지만 앞에서 보인것과 같은 단순한 단어들간의 관계를 찾아내는 것이 아니라 이러한 관계들이 여러 단어들 사이의 ‘규칙(rule)’의 형태로 나타나는가를 보여주는 분석이다. 어떤 종류의 모델도 가정하지 않고 데이터에 내재해 있는 패턴을 찾아낸다는 점에서 ‘자율학습(unsupervised learning)’의 한 방법론으로 분류되며, 그 결과가 직관적으로 이해하기 쉽고 패턴의 보편성을 판단할 수 있는 지표도 간단하게 계산할 수 있다는 점에서 상당히 자주 쓰이는 기계학습 방법론의 하나이다(Lantz, 2015). 본격적인 분석에 앞서 본 분석의 결과를 간단하게 해설해 보면 분석의 결과는 어떤 단어의 군집들과 다른 단어의 관계를 나타내는 규칙과 이 규칙을 평가할 수 있는 세가지 지표로 구성된다. 이 세가지 지표는 지지도(support), 신뢰도(confidence), 향상도(lift)로 구성되며 각각의 설명은 다음과 같다.
연관성분석은 데이터 내에서 의미있는 상관관계를 찾아내는 방식인데, 단순한 관계가 아닌 규칙을 찾는 분석이다. 이는 '자율학습'의 방법론으로 분류되며 보편성을 판단할 수 있는 기계학습 방법론 중 하나이다. 그리고 분석의 결과는 세가지 지표 '지지도', '신뢰도', '향샹도'로 구성된다.