이 내용의 핵심을 빠르게 요약해 주실 수 있나요?
수집해야할 빅 데이터는 크게 내부 데이터와 외부 데이터로 구분할 수 있다. 내부 데이터는 조직이나 기관 내부에서 보관하고 있는 파일, 데이터베이스, 센서 등으로부터 수집하는 데이터이며, 외부 데이터는 게시판, 트위터, 블로그, 페이스북 등 외부로부터 수집하는 데이터를 의미한다. 특히, 빅 데이터는 기존의 데이터양보다 수십 수백 배 크기 때문에, 자동화된 소프트웨어를 이용하여 수집한다. 빅 데이터를 수집하는 방법에는 크게 로그 수집기, 크롤링 소프트웨어, RFID 센서 등을 사용하는 방법이 있다. 로그 수집기는 서버 컴퓨터의 운영 체제의 일부로 장착된 로그 기록 소프트웨어를 이용하여, 사용자의 웹 사용 기록, 웹 클릭 기록, 또는 데이터베이스 사용 기록을 수집하는 방법이다. 크롤링 소프트웨어는 사람이 개입하지 않아도 프로그램이 자동으로 인터넷 사이트를 돌아다니며, 게시판 데이터나 소셜 데이터를 수집하는 방식이다. RFID 센서를 이용하는 방법은 각종 기기에 장착되어 있는 센서에 입력되는 데이터를 수집하여, 중앙 서버로 보내고 이를 통합 수집하는 방식이다. 빅 데이터를 수집한 후, 이를 효과적으로 처리하기 위해서는 기존의 형태를 빅 데이터 처리에 적합한 형태의 데이터로 변경해 주어야 한다. 빅 데이터에서 주로 많이 사용하는 형태의 데이터 형식은 NoSQL형식이다.
빅 데이터는 내부 데이터와 외부 데이터로 분류되는데 내부 데이터는 조직,기관 내부의 파일, 데이터베이스, 센서 등 이며, 외부 데이터는 게시판, 트위터, 블로그, 페이스북 등을 말한다. 빅 데이터는 양이 방대하여 자동화프로그램으로 수집한다. 로그 수집기, 크롤링 소프트웨어, RFID 센서 등을 사용하여 수집하고 NoSQL형식으로 변경하여 사용한다.