<jupyter_start><jupyter_text>Raw Layer<jupyter_code>df["AddDt"] = pd.to_datetime(df["AddDt"])
df = df[df["AddDt"] > "2021-07-26"]
df = df.iloc[:, [1, 3, 4, 5, 6]]
show(df, "raw data graph", save=True)<jupyter_output><empty_output><jupyter_text>Feature Layer<jupyter_code>feature_df = df.copy()<jupyter_output><empty_output><jupyter_text>조도센서- 빈도수의 최고점 다음으로 0이 되는 수를 threshold로 잡아 디지털 신호로 변환<jupyter_code>feature_df["LIG"].plot()
sns.kdeplot(feature_df['LIG'])
plt.grid()
tik = np.arange(0, 700, 50)
plt.title("조도센서 밀도추정")
_ = plt.xticks(ticks=tik, labels=tik, rotation=90)
plt.axvline(x=150, linewidth=1, color='r')
feature_df.loc[feature_df["LIG"] < 150, "LIG"] = 0
feature_df.loc[feature_df["LIG"] >= 150, "LIG"] = 1
feature_df["LIG"].plot()<jupyter_output><empty_output><jupyter_text>초음파센서- 25와 17.5 사이의 값인 21.25를 기준으로 함<jupyter_code>feature_df["SSO"].plot()
sns.kdeplot(feature_df['SSO'])
plt.grid()
tik = np.arange(0, 30, 2)
plt.title("초음파 센서 밀도추정")
_ = plt.xticks(ticks=tik, labels=tik, rotation=90)
plt.axvline(x=22, linewidth=1, color='r')

feature_df.loc[feature_df["SSO"] < 22, "SSO"] = 1
feature_df.loc[feature_df["SSO"] >= 22, "SSO"] = 0
feature_df["SSO"].plot()<jupyter_output><empty_output><jupyter_text>압력센서- 값의 변동폭이 너무 커서 threshold값을 책정할 수 없다.- 일단 테스트단계로 170<jupyter_code>feature_df["FSR"].plot()
feature_df.loc[feature_df["FSR"] < 160, "FSR"] = 0
feature_df.loc[feature_df["FSR"] >= 160, "FSR"] = 1

feature_df["FSR"].plot()<jupyter_output><empty_output><jupyter_text>홀 센서 (자기 센서)- 기존의 디지털 신호 그대로 차용<jupyter_code>feature_df["HAL"].plot()<jupyter_output><empty_output><jupyter_text>디지털신호 확인<jupyter_code>show(feature_df, "feature data graph", save=True)<jupyter_output><empty_output><jupyter_text>조도센서와 자기센서 혼합- 조도센서와 자기센서는 값이 매우 유사하다.<jupyter_code>feature_df.iloc[23000:24000, [3, 4]].plot()<jupyter_output><empty_output><jupyter_text>압력센서와 초음파센서의 혼합 그래프압력센서와 초음파센서의 값은 항상 같아야 한다.인덱스가 `30000`근처에는 데이터가 겹쳐있는 걸로 보아 압력센서간 문제가 발생한 것으로 보인다.<jupyter_code>feature_df.loc[:, ["FSR", "SSO"]].plot()<jupyter_output><empty_output><jupyter_text>조도센서와 초음파센서 혼합 그래프<jupyter_code>feature_df.loc[20000:30000, ["LIG", "SSO"]].plot()<jupyter_output><empty_output>
{'fraction_non_alphanumeric': 0.18362627197039777, 'fraction_numerical': 0.04440333024976873, 'mean_word_length': 8.613333333333333, 'pattern_counts': {'":': 0, '<': 44, '<?xml version=': 0, '>': 45, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '10', 'dir': 'jupyter-structured-clean-dedup', 'id': '112987', 'license': 'MIT', 'n_tokens_mistral': 1280, 'n_tokens_neox': 1319, 'n_words': 152, 'path': 'thesis/thesis.ipynb', 'repo_name': 'WhiteHyun/Lab', 'size': '2162'}