<commit_before>---
layout: post
title: 서비스 분석에서의 대표성
---

# 샘플 수가 문제가 아니다.
신문 기사의 설문 통계 기사에서는 표본들을 자세히 보지 않으면 속는다는 이야기를 한다
(실생활에서의 통계 관련 고전 도서인 [새빨간 거짓말, 통계(How to lie with statistics)]에서 가장 먼저 등장하는 사례가 이 예제다(1)).  
일반적으로 흔히 이야기하는 부분은 이런 것이다.

>> ‘아니 겨우 몇 백명에게 물어본 결과를 가지고 무슨 기사를 써?’

이 말을 듣는 사람들은, 보통 ‘몇 천만명 중에 겨우 몇 백명 가지고…’ 라고 하지만, 사실 여기서 보통 문제가 되는 점은 **대표성** 이다. 
해당 설문을 한 몇 백명의 사람들을 어떻게 선정했는지에 따라, 우리 나라 전체 사람들의 특성을 그대로 가지고 있다고 볼 수 없는 경우가 다수 존재한다.

(숫자는 문제가 안 되느냐, 하면 모든 경우는 아니지만, 샘플링 관련 통계는 눈부시게 발전해 왔고, 다양한 경우에서 매우 적은 수로 매우 많은 양의 모집단을 대표할 수 있다. 간단한 사례로는 선거 방송을 예로 들 수 있다. 이에 대해서는 표본 통계 관련 서적(2)을 참고하면 된다.)

# 대표성 문제
서비스에 대한 데이터 분석을 하는 경우에는, 이런 경향이 더욱 더 두드러진다. 많은 경우에 있어서, 이에 대한 가장 큰 원인은 문제와 그에 따른 가설 정의와 관련되어 있다.

일반적으로 서비스에서의 분석이란 서비스를 사용하는 고객과 관련된 분석을 하게 된다.  
고객의 서비스 사용 특성이라든가, 많은 고객이 사용하는 기능이라든가 등등. 여기서 첫 번째 문제가 발생한다.

## 모든 범위의 고객
아무래도 서비스라는 것은 고객과 뗄래야 뗄 수 없는 특성을 가지고 있다. 따라서 이에 대한 분석을 할 때 고객을 직간접적으로 문제에 포함하게 된다.

여기에서 문제가 발생한다. 바로 해당 문제 및 가설에서 알고자 하는 정확한 전체 대상(모집단)이 누구인가, 에 대한 것이다. 
하지만 많은 경우 문제나 가설을 모호하게 설정하게 되고, 그 사이에서 그 ‘대상’은 더욱 더 모호하게 설정하고 넘어간다(3).

대부분의 경우는 어떤 ‘일반화된 결과’를 필요로 한다.  이런 ‘일반화된 결과’란 즉, 고객이 될 수 있는 모든 용자에게 해당되는 결과다.  <commit_msg>Update 2017-08-27-datarepresentative.md<commit_after>---
layout: post
title: 서비스 분석에서의 대표성
---

# 샘플 수가 문제가 아니다.
신문 기사의 설문 통계 기사에서는 표본들을 자세히 보지 않으면 속는다는 이야기를 한다
(실생활에서의 통계 관련 고전 도서인 [새빨간 거짓말, 통계(How to lie with statistics)]에서 가장 먼저 등장하는 사례가 이 예제다(1)).  
일반적으로 흔히 이야기하는 부분은 이런 것이다.

> ‘아니 겨우 몇 백명에게 물어본 결과를 가지고 무슨 기사를 써?’

이 말을 듣는 사람들은, 보통 ‘몇 천만명 중에 겨우 몇 백명 가지고…’ 라고 하지만, 사실 여기서 보통 문제가 되는 점은 **대표성** 이다. 
해당 설문을 한 몇 백명의 사람들을 어떻게 선정했는지에 따라, 우리 나라 전체 사람들의 특성을 그대로 가지고 있다고 볼 수 없는 경우가 다수 존재한다.

(숫자는 문제가 안 되느냐, 하면 모든 경우는 아니지만, 샘플링 관련 통계는 눈부시게 발전해 왔고, 다양한 경우에서 매우 적은 수로 매우 많은 양의 모집단을 대표할 수 있다. 간단한 사례로는 선거 방송을 예로 들 수 있다. 이에 대해서는 표본 통계 관련 서적(2)을 참고하면 된다.)

# 대표성 문제
서비스에 대한 데이터 분석을 하는 경우에는, 이런 경향이 더욱 더 두드러진다. 많은 경우에 있어서, 이에 대한 가장 큰 원인은 문제와 그에 따른 가설 정의와 관련되어 있다.

일반적으로 서비스에서의 분석이란 서비스를 사용하는 고객과 관련된 분석을 하게 된다.  
고객의 서비스 사용 특성이라든가, 많은 고객이 사용하는 기능이라든가 등등. 여기서 첫 번째 문제가 발생한다.

## 모든 범위의 고객
아무래도 서비스라는 것은 고객과 뗄래야 뗄 수 없는 특성을 가지고 있다. 따라서 이에 대한 분석을 할 때 고객을 직간접적으로 문제에 포함하게 된다.

여기에서 문제가 발생한다. 바로 해당 문제 및 가설에서 알고자 하는 정확한 전체 대상(모집단)이 누구인가, 에 대한 것이다. 
하지만 많은 경우 문제나 가설을 모호하게 설정하게 되고, 그 사이에서 그 ‘대상’은 더욱 더 모호하게 설정하고 넘어간다(3).

대부분의 경우는 어떤 ‘일반화된 결과’를 필요로 한다.  이런 ‘일반화된 결과’란 즉, 고객이 될 수 있는 모든 용자에게 해당되는 결과다.  
{'fraction_non_alphanumeric': 0.07109408258833547, 'fraction_numerical': 0.005959982971477224, 'mean_word_length': 2.6153846153846154, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 6, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '5614539', 'n_tokens_mistral': 2349, 'n_tokens_neox': 3126, 'n_words': 549}