<jupyter_start><jupyter_text>군집 알고리즘<jupyter_code>import numpy as np
import matplotlib.pyplot as plt
fruits = np.load('fruits_300.npy')
print(fruits.shape)<jupyter_output>(300, 100, 100)<jupyter_text>첫 번째 이미지의 첫 번째 행을 출력해보자<jupyter_code>print(fruits[0, 0, :])<jupyter_output>[  1   1   1   1   1   1   1   1   1   1   1   1   1   1   1   1   2   1
   2   2   2   2   2   2   1   1   1   1   1   1   1   1   2   3   2   1
   2   1   1   1   1   2   1   3   2   1   3   1   4   1   2   5   5   5
  19 148 192 117  28   1   1   2   1   4   1   1   3   1   1   1   1   1
   2   2   1   1   1   1   1   1   1   1   1   1   1   1   1   1   1   1
   1   1   1   1   1   1   1   1   1   1]<jupyter_text>matplotlib의 `imshow()` 함수로 넘파이 배열로 저장된 이미지를 한번 그려보자. 흑백이니까 `cmap`을 `gray`로 지정한다.<jupyter_code>plt.imshow(fruits[0], cmap='gray')
plt.show()<jupyter_output><empty_output><jupyter_text>이 사진은 넘파이 배열로 변환할 때 반전시킨것이다. 왜?- 컴퓨터는 유의미한 데이터에 집중할 것- 그러니 무의미한 데이터인 바탕을 0으로 변환하는 것이 유리- 이를 위해 색상을 반전 `cmap`을 다시 `gray_r`로 출력해서 우리 눈에 조금 더 보기 좋게 출력해보자. 아마 이건 `gray_reverse` 즉, 색상을 반전해서 출력하는 듯 하다.<jupyter_code>plt.imshow(fruits[0], cmap='gray_r')
plt.show()<jupyter_output><empty_output><jupyter_text>위의 그림에선 밝은 쪽이 데이터 상에선 0에 가깝다는 사실을 잊지 말자. 이 데이터에는 사과와 바나나, 파인애플이 각각 100개씩 들어있다. 바나나와 파인애플도 한번 출력해보자.<jupyter_code>fig, axs = plt.subplots(1, 2)
axs[0].imshow(fruits[100], cmap='gray_r')
axs[1].imshow(fruits[200], cmap='gray_r')
plt.show()<jupyter_output><empty_output><jupyter_text>matplotlib의 `subplots()`을 이용하면 여러개의 그래프를 배열처럼 쌓을 수 있게 도와준다. 이 함수의 두 매개변수는 그래프를 쌓을 행과 열을 지정한다.  여기서는 `subplots(1, 2)` 처럼 하나의 행과 두 개의 열을 지정했다.  이제 데이터가 준비됐다. 각 과일 사진의 평균을 내서 확인해보자.  픽셀값 분석하기 vectorize를 하고, 각 데이터를 과일별로 나눠보자.<jupyter_code>apple = fruits[0:100].reshape(-1, 100*100)
pineapple = fruits[100:200].reshape(-1, 100*100)
banana = fruits[200:300].reshape(-1, 100*100)<jupyter_output><empty_output><jupyter_text>형상을 확인하자<jupyter_code>apple.shape<jupyter_output><empty_output><jupyter_text>이제 각 샘플들의 픽셀 평균값을 계산해보자.  numpy의 `mean()` 메서드를 사용할 것이다.  샘플마다 픽셀의 평균값을 계산해야 하니, 축을 지정해 주어야 한다.  `axis=0`으로 지정하면 첫 번째 축인 행을 따라서 계산, `axis=1`로 지정하면 두 번째 축인 열을 따라서 계산한다. 우리는 샘플을 모두 가로로 나누었으니 `axis=1`로 계산하면 되겠다.<jupyter_code>print(apple.mean(axis=1))<jupyter_output>[ 88.3346  97.9249  87.3709  98.3703  92.8705  82.6439  94.4244  95.5999
  90.681   81.6226  87.0578  95.0745  93.8416  87.017   97.5078  87.2019
  88.9827 100.9158  92.7823 100.9184 104.9854  88.674   99.5643  97.2495
  94.1179  92.1935  95.1671  93.3322 102.8967  94.6695  90.5285  89.0744
  97.7641  97.2938 100.7564  90.5236 100.2542  85.8452  96.4615  97.1492
  90.711  102.3193  87.1629  89.8751  86.7327  86.3991  95.2865  89.1709
  96.8163  91.6604  96.1065  99.6829  94.9718  87.4812  89.2596  89.5268
  93.799   97.3983  87.151   97.825  103.22    94.4239  83.6657  83.5159
 102.8453  87.0379  91.2742 100.4848  93.8388  90.8568  97.4616  97.5022
  82.446   87.1789  96.9206  90.3135  90.565   97.6538  98.0919  93.6252
  87.3867  84.7073  89.1135  86.7646  88.7301  86.643   96.7323  97.2604
  81.9424  87.1687  97.2066  83.4712  95.9781  91.8096  98.4086 100.7823
 101.556  100.7027  91.6098  88.8976]<jupyter_text>이를 matplotlib의 `hist()` 함수를 이용해 히스토그램으로 그려보자.  사과, 파인애플, 바나나에 대한 히스토그램을 모두 겹쳐서 그려보겠다.  이렇게 하면 `alpha`를 조절하여 살짝 투명한 것이 겹친 부분을 알아보기 좋을 것이다.  그리고 matplotlib의 `legend()` 함수를 이용해 어떤 과일의 히스토그램인지 범례도 만들어보자.<jupyter_code>plt.hist(np.mean(apple, axis=1), alpha=0.8)
plt.hist(np.mean(pineapple, axis=1), alpha=0.8)
plt.hist(np.mean(banana, axis=1), alpha=0.8)
plt.legend(['apple', 'pineapple', 'banana'])
plt.show()<jupyter_output><empty_output><jupyter_text>음.. 바나나는 괜찮은데 나머지가 너무 겹쳐서 좀 그렇다.  그러면 각 픽셀별로 평균값을 비교하면 어떨까?  픽셀의 평균을 재보려면 간단히 `axis=0`으로 지정하면 된다.  이번에는 matplotlib의 `bar()` 함수로 픽셀 10,000개에 대한 평균값을 막대 그래프로 살펴보자.  `subplots()` 함수로 3개의 서브 그래프를 그려보자.<jupyter_code>fig, axs = plt.subplots(1, 3, figsize=(20, 5))
axs[0].bar(range(10000), np.mean(apple, axis=0))
axs[1].bar(range(10000), np.mean(pineapple, axis=0))
axs[2].bar(range(10000), np.mean(banana, axis=0))
plt.show()<jupyter_output><empty_output><jupyter_text>확실히 과일마다 높은 구간이 조금씩 다르긴 하다. 사과는 사진 아랫쪽으로 갈수록 값이 높은 경향을, 파인애플은 거의 비슷비슷한 경향을, 바나나는 확실히 가운데가 픽셀값이 높다. 이 평균값을 100 * 100 이미지로 한번 출력해보자. 평균 대표 이미지? 라고 볼 수 있다.<jupyter_code>apple_mean = np.mean(apple, axis=0).reshape(100, 100)
pineapple_mean = np.mean(pineapple, axis=0).reshape(100, 100)
banana_mean = np.mean(banana, axis=0).reshape(100, 100)
fig, axs = plt.subplots(1, 3, figsize=(20, 5))
axs[0].imshow(apple_mean, cmap='gray_r')
axs[1].imshow(pineapple_mean, cmap='gray_r')
axs[2].imshow(banana_mean, cmap='gray_r')
plt.show()<jupyter_output><empty_output><jupyter_text>평균값에 가까운 사진 고르기 3장에서 배운 절댓값 오차로 사과의 평균과 가장 가까운 사진을 골라보자.<jupyter_code>abs_diff = np.abs(fruits - apple_mean)
abs_mean = np.mean(abs_diff, axis=(1, 2))
print(abs_mean.shape)<jupyter_output>(300,)<jupyter_text>이 중에서 가장 오차가 적은 놈들을 100개 골라서 한번 그려보자.<jupyter_code>apple_index = np.argsort(abs_mean)[:100]
fig, axs = plt.subplots(10, 10, figsize=(10, 10))
for i in range(10):
    for j in range(10):
        axs[i, j].imshow(fruits[apple_index[i * 10 + j]], cmap='gray_r')
        axs[i, j].axis('off')
plt.show()<jupyter_output><empty_output>
{'fraction_non_alphanumeric': 0.12970143466459869, 'fraction_numerical': 0.17157813105854983, 'mean_word_length': 3.386904761904762, 'pattern_counts': {'":': 0, '<': 49, '<?xml version=': 0, '>': 49, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 10, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '13', 'dir': 'jupyter-structured-clean-dedup', 'id': '658960', 'license': 'MIT', 'n_tokens_mistral': 3707, 'n_tokens_neox': 3705, 'n_words': 621, 'path': '06/6-1.ipynb', 'repo_name': 'd0lim/ml-alone', 'size': '5158'}