<jupyter_start><jupyter_text>--------<jupyter_code># 데이터 보기
pro_2016 = pd.read_csv("C:\\dss\\team_project\\first\data\\properties_2016.csv")
pro_2016.tail()
# 데이터 보기
train_2016 = pd.read_csv("C:\\dss\\team_project\\first\data\\train_2016_v2.csv")
train_2016.tail()
# 우리의 목적은 데이터에 따른 logerror를 회귀로 구하는 것임으로 loggerror가 없는 id는 다빼버리고 기존 pro데이터랑 합쳤음
test2 = pd.merge(pro_2016, train_2016)
result2 = test2.sort_values(by=["transactiondate"]).reset_index(drop=True)
result2
# 회귀분석 (x, w, y)을 위해 데이터를 x, y 로 나눔 
result2_x = result2[result2.columns[0:58]]
result2_y = result2[result2.columns[58]]
print(result2_x, result2_y)
# logerror 에 대한 시간에 따른 그래프 (단순관찰)
plt.figure(figsize=(15,10))
plt.plot(result2["logerror"])
plt.show()
# 여러가지 넣어보면서 어떤것과 어떤것이 상관관계가 있는지 살펴봄
plt.scatter(result2["buildingclasstypeid"], result2["logerror"])
plt.show()
# log error에 대한 평균과 분산(표준편차) 단순관찰
mu2 = sum(result2["logerror"])/len(result2)
Var2 = sum((result2["logerror"] - sum(result2["logerror"])/len(result2))*(result2["logerror"] - sum(result2["logerror"])/len(result2)))/len(result2["logerror"])
std2 = Var2**0.5
print(mu2, Var2, std2)
# 원래 모델(집값 예측모델)의 오차값 = 잔차^2의 합  + alpha로 원래의 집값에 대한 정규분포를 그릴수 있지 않을까해서....
print(sum(result2["logerror"]*result2["logerror"])) 
pro_2017["regionidneighborhood"].nunique(), pro_2017["regionidzip"].nunique()<jupyter_output><empty_output>
{'fraction_non_alphanumeric': 0.17743132887899035, 'fraction_numerical': 0.06384558277654045, 'mean_word_length': 6.488888888888889, 'pattern_counts': {'":': 0, '<': 5, '<?xml version=': 0, '>': 5, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '1', 'dir': 'jupyter-structured-clean-dedup', 'id': '57598', 'license': 'MIT', 'n_tokens_mistral': 746, 'n_tokens_neox': 825, 'n_words': 102, 'path': 'test1_for_dataprecleaning.ipynb', 'repo_name': 'tmdgms/ZillowsHomeValuePrediction', 'size': '1347'}