이 문서 요약해 줄래? 빨리 부탁해.
여기에서는 제주 강정마을 해군기지 건설과 관련된 상황들에 대한 사회의 전반적인 의견을 탐색하고 검토해 보기 위하여 웹 크롤링(web crawling) 방법을 적용하여 인터넷 상에서 제주 강정마을과 관련된 수많은 문서들을 모두 수집한 후 이를 분석해 보기로 한다. 본 분석을 위한 기초적인 자료는 웹 검색 서비스를 활용하여 “강정”, “제주 해군기지”, “강정마을” 등의 주제어를 검색하여 그 결과로 나타나는 모든 문서들을 수집하여 작성하였는데, 최초 수집된 문서의 총 수는 80만개가 넘었지만, 중복되는 문서들을 제거하고 분석 가능한 데이터로 변환하는 과정에서 대부분의 문서를 제거할 수 있었다. 이러한 과정을 거쳐 최종적으로 21,258개의 문서를 분석에 활용하였으며, 시간의 변화에 따른 변화를 관찰하기 위하여 2011년 이전 부터 1년 간격으로 문서들을 구분하여 다시 분석하였다. 문서들을 수집한 후 이를 문장 내에서의 위치, 단어의 길이 등을 고려하여 활용할 수 있는 자료로 만드는 사전처리 과정(preprocessing)을 거친 결과 총 58,337개의 주요 단어가 추출되었고, 이들 단어들과 문서들의 관계를 활용하여 다음의 기초적 통계들을 산출해 낼 수 있었다. 우선적으로 수집된 자료들 전체를 대상으로 하여 간단하게 데이터에 대해서 살펴본 후 앞에서 밝혔던 것처럼 시간에 따른 변화를 보다 상세하게 알기 위하여 수집된 자료를 그 문서들이 작성된 연도를 기준으로 구분하여 서로 다른 결과들이 나타나는지 알아보기로 한다.
강정마을 해군기지 관련 전반적 의견을 검토하기 위해 웹 크롤링 방법으로 분석할 것이다. 기초자료는 검색 서비스를 활용하여 총 21258개 문서를 분석하였다. 문서의 사전 처리과정을 통해 총 58337개 단어를 추출하고 관련 기초적 통계를 산출하였다. 우선 데이터를 간단히 살펴본 후 시간에 따른 변화를 상세히 알기 위해 작성 연도 기준으로 구분하여 결과를 파악할 것이다.