test

polls/databases/insert_line.py

@@ -0,0 +1,78 @@
+import pandas as pd
+import re
+from sqlalchemy import create_engine, inspect, Table, MetaData, Column, String, text
+import psycopg2
+
+# チャット履歴ファイルを読み込む関数（最初の3行をスキップ）
+def load_chat_history(file_path):
+    return pd.read_csv(file_path, skiprows=3)
+
+# 個人情報をマスクする関数
+def mask_personal_info(text):
+    # 電話番号のマスク
+    text = re.sub(r'\b\d{2,4}-\d{2,4}-\d{4}\b', '[電話番号]', text)
+    
+    # メールアドレスのマスク
+    text = re.sub(r'\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}\b', '[メールアドレス]', text)
+    
+    # 名前のマスク（例として"えみいわし"をマスク）
+    names = ['えみいわし']
+    for name in names:
+        text = re.sub(r'\b' + name + r'\b', '[名前]', text)
+    
+    return text
+
+# データフレームの特定の列の個人情報をマスクする関数
+def mask_specific_columns(df, columns):
+    for column in columns:
+        df[column] = df[column].astype(str).apply(mask_personal_info)
+    return df
+
+# データベースに接続する関数
+def connect_to_db():
+    conn = psycopg2.connect(
+        dbname="neondb",
+        user="miyataken999",
+        password="yz1wPf4KrWTm",
+        host="ep-odd-mode-93794521.us-east-2.aws.neon.tech",
+        port=5432,
+        sslmode="require"
+    )
+    return conn
+
+# ファイルパスの設定
+input_file_path = '/home/user/app/polls/databases/test.csv'  # エクスポートされたチャット履歴ファイルのパス
+
+# チャット履歴を読み込み、特定の列の個人情報をマスク
+chat_history_df = load_chat_history(input_file_path)
+columns_to_mask = ['送信者タイプ', '送信者名', '送信日', '送信時刻', '内容']
+masked_chat_history_df = mask_specific_columns(chat_history_df, columns_to_mask)
+
+# データベースの接続設定
+engine = create_engine('postgresql+psycopg2://miyataken999:[email protected]:5432/neondb')
+
+# テーブルが存在しない場合に作成
+if not inspect(engine).has_table("fasis_chat_history"):
+    metadata = MetaData()
+    Table('fasis_chat_history', metadata,
+          *(Column(name, String) for name in masked_chat_history_df.columns))
+    metadata.create_all(engine)
+
+# マスクされたデータをPostgreSQLにインポート
+masked_chat_history_df.to_sql('fasis_chat_history', engine, if_exists='replace', index=False)
+
+print("データのインポートが完了しました。")
+
+# データベースに接続してクエリを実行する関数
+def execute_query(query, engine):
+    with engine.connect() as connection:
+        result = connection.execute(text(query))
+        return result.fetchall()
+
+# クエリの例: マスクされたデータを取得
+query = "SELECT * FROM fasis_chat_history LIMIT 10;"
+results = execute_query(query, engine)
+
+# クエリ結果を表示
+for row in results:
+    print(row)

polls/databases/test.csv

@@ -0,0 +1,200 @@
+アカウント名,リファスタ
+タイムゾーン,'+09:00
+ダウンロード日時,2024/06/16 22:01
+送信者タイプ,送信者名,送信日,送信時刻,内容
+Account,応答メッセージ,2024/03/02,10:48:01,【LINE査定方法】お気軽にお写真をお送り願えますでしょうか。
+Account,応答メッセージ,2024/03/02,10:48:01,"げっとさま お友だち追加いただき誠にありがとうございます(moon big smile)(three hearts)
+
+お品物のお写真(smartphone)はいつでもお気軽にお送りくださいませ(sparkle)
+
+営業時間 11:00～20:00 年中無休"
+Account,応答メッセージ,2024/03/02,10:48:01,【3月】買取強化キャンペーン
+User,げっと,2024/03/02,10:50:32, 電話番号
+Account,応答メッセージ,2024/03/02,10:50:32,"フリーダイヤル
+お気軽にお電話くださいませ(sparkle)
+10:30〜20:00 年中無休
+
+オンライン買取も受付中
+https://kinkaimasu.jp/online-promise/?openExternalBrowser=1&utm_source=LINE 
+
+(smartphone) 電話番号
+0120-954-679
+
+(LINE messenger) LINE通話
+https://lin.ee/c6inM4V"
+User,げっと,2024/03/02,10:50:32,【リッチメニュー】本日の金価格
+Account,応答メッセージ,2024/03/02,10:50:33,【リッチメニュー】本日の金価格
+Account,Unknown,2024/03/03,11:59:59,"【LINEで解決しましたか？】(handshake)News(handshake)
+お客さま、お困りごとは24時間365日送信可能(LINE messenger)必ず解決いたします(moon laugh)
+
+【買取サービス概要等】 　
+「ヘルプ」とご投稿ください。Keyword応答にて98%解決いたします。
+
+(diamond)ダイヤ売却は3月迄が勝負(diamond)
+※詳しくはYoutubeで！
+https://t.ly/BH1uT
+
+(dragon)遠方のお客様へ(dragon)
+オンライン買取 “Promise”をリリース！ご自宅で簡単に宝飾品やブランド品の査定が可能なサービスです。
+
+POINTは(handshake)その場でお買取価格を確定(handshake)
+
+24時間365日査定予約可能。品物を送るのに心配な方は是非ご検討いただければ幸いです。
+https://kinkaimasu.jp/online-promise/?openExternalBrowser=1&utm_source=LINE
+
+フリーダイヤル：0120-954-679
+営業時間 11:00〜20:00 年中無休"
+User,げっと,2024/03/06,10:33:13,買取方法
+Account,応答メッセージ,2024/03/06,10:33:14,か：買取方法
+User,げっと,2024/03/06,10:33:14, 電話番号
+Account,応答メッセージ,2024/03/06,10:33:15,"フリーダイヤル
+お気軽にお電話くださいませ(sparkle)
+10:30〜20:00 年中無休
+
+オンライン買取も受付中
+https://kinkaimasu.jp/online-promise/?openExternalBrowser=1&utm_source=LINE 
+
+(smartphone) 電話番号
+0120-954-679
+
+(LINE messenger) LINE通話
+https://lin.ee/c6inM4V"
+User,げっと,2024/03/06,18:41:09,【リッチメニュー】取扱商材
+User,げっと,2024/03/06,18:41:10,【リッチメニュー】取扱商材
+Account,応答メッセージ,2024/03/06,18:41:10,【リッチメニュー】取扱商材
+Account,応答メッセージ,2024/03/06,18:41:10,【リッチメニュー】取扱商材
+User,げっと,2024/03/06,18:41:11,買取方法
+Account,応答メッセージ,2024/03/06,18:41:11,か：買取方法
+User,げっと,2024/03/07,10:45:15,買取強化キャンペーン
+Account,応答メッセージ,2024/03/07,10:45:15,【3月】買取強化キャンペーン
+User,げっと,2024/03/07,10:45:16,買取強化キャンペーン
+Account,応答メッセージ,2024/03/07,10:45:17,【3月】買取強化キャンペーン
+Account,Unknown,2024/03/10,10:22:50,"【LINEで解決しましたか？】
+お客さま、お困りごとは24時間365日送信可能❗必ず解決いたします(moon laugh)
+
+(ring)ダイヤ売却は3月迄が勝負(fist bump)
+※詳しくはYoutubeで！(looking right)
+https://t.ly/BH1uT
+
+(running)遠方のお客様へ(ok gesture)
+ビデオ通話で宝飾品やブランド品の査定が可能なオンライン買取をリリース！POINT(index finger raised)はその場でお買取価格を確定(handshake)
+https://kinkaimasu.jp/online-promise/?openExternalBrowser=1&utm_source=LINE
+
+(sparkle)金国内IG高単価(increasing graph)
+10日から17日まで期間限定で金のインゴットの価格を(sparkle)国内超絶価格(dash)で提供！他店とは違い「預かりません、買うまでは。」(moon stone face)手数料無料・即日現金払いです！
+https://kinkaimasu.jp/ingot/?openExternalBrowser=1&utm_source=LINE
+
+フリーダイヤル：0120-954-679
+営業時間 11:00〜20:00 年中無休"
+User,げっと,2024/03/21,10:23:52, 電話番号
+Account,応答メッセージ,2024/03/21,10:23:52,"フリーダイヤル
+お気軽にお電話くださいませ(sparkle)
+10:30〜20:00 年中無休
+
+オンライン買取も受付中
+https://kinkaimasu.jp/online-promise/?openExternalBrowser=1&utm_source=LINE 
+
+(smartphone) 電話番号
+0120-954-679
+
+(LINE messenger) LINE通話
+https://lin.ee/c6inM4V"
+User,げっと,2024/03/21,10:23:53, 電話番号
+Account,応答メッセージ,2024/03/21,10:23:53,"フリーダイヤル
+お気軽にお電話くださいませ(sparkle)
+10:30〜20:00 年中無休
+
+オンライン買取も受付中
+https://kinkaimasu.jp/online-promise/?openExternalBrowser=1&utm_source=LINE 
+
+(smartphone) 電話番号
+0120-954-679
+
+(LINE messenger) LINE通話
+https://lin.ee/c6inM4V"
+Account,Ayano Mitsui,2024/03/21,10:50:10,リファスタが通話リクエストを送信しました。
+Account,Ayano Mitsui,2024/03/21,10:50:11,お電話でのご相談も喜んで受け賜わります。お気軽にお問い合わせくださいませ。
+User,げっと,2024/03/21,12:31:45,買取方法
+Account,応答メッセージ,2024/03/21,12:31:46,か：買取方法
+Account,Ayano Mitsui,2024/03/21,12:34:38,"【宅配申込フォーム】
+げっとさま
+　
+https://kinkaimasu.jp/delivery/?openExternalBrowser=1&utm_source=LINE
+お差し支えなければコチラより宅配買取へお申し込みくださいませ。
+　
+※査定金額にご満足いただけずご返却の場合は、キャンセル料は無料・返送費用は弊社負担でございます。
+
+※お申込み後、ラインにてお名前+メールアドレス(or電話番号)の2投稿をお願いします。　
+
+▼梱包キットなし▼
+弊社にて配送業者を手配いたします。
+ご自宅にて梱包を済ませていただき、集荷をお待ちください。
+
+▼梱包キットあり▼
+梱包材を無料で発送いたします。
+※お受取り後着払いでお送りください。
+
+◆宅配買取システムガイド◆
+https://kinkaimasu.jp/choice/navi/?openExternalBrowser=1&utm_source=LINE
+無料宅配買取をご利用いただく前に気になるアレコレをまとめたリストページでございます。
+買取の流れはもちろん、買取品目、身分証についてなど、こちらのページから各詳細ページへアクセス可能でございます。"
+User,げっと,2024/03/21,16:33:57,【リッチメニュー】取扱商材
+Account,応答メッセージ,2024/03/21,16:33:58,【リッチメニュー】取扱商材
+Account,kenta-low-,2024/03/22,13:25:32,"【LINEで解決しましたか？】
+げっとさま、お困りごとは24時間365日送信可能❗必ず解決いたします(moon laugh)
+
+(ring)ダイヤ売却は3月迄が勝負(fist bump)
+※詳しくはYoutubeで！(looking right)
+https://t.ly/BH1uT
+
+(running)遠方のお客様へ(ok gesture)
+ビデオ通話で宝飾品やブランド品の査定が可能なオンライン買取をリリース！POINT(index finger raised)はその場でお買取価格を確定(handshake)
+https://kinkaimasu.jp/online-promise/?openExternalBrowser=1&utm_source=LINE
+
+フリーダイヤル：0120-954-679
+営業時間 11:00〜20:00 年中無休"
+User,げっと,2024/05/21,10:04:15,買取強化キャンペーン
+Account,応答メッセージ,2024/05/21,10:04:16,【5月】買取強化キャンペーン
+Account,Unknown,2024/05/22,19:24:28,"【LINEで解決しましたか？】
+お客さま、お困りごとは24時間365日送信可能❗必ず解決いたします(moon laugh)
+
+(diamond)今月はダイヤモンドのキャンペーンを実施中(diamond)
+
+(ring)金やダイヤの相場をチェック(fist bump)
+※詳しくはYoutubeで！(looking right)
+https://www.youtube.com/@refastaofficial
+
+(running)遠方のお客様へ(ok gesture)
+3Daysをリリース！
+
+POINT(index finger raised)は発送日から地金価格を1番高いところで買取補償定(handshake)
+https://kinkaimasu.jp/gold/price-guarantee/?openExternalBrowser=1&utm_source=LINE
+
+フリーダイヤル：0120-954-679
+営業時間 11:00〜20:00 年中無休"
+User,げっと,2024/06/10,18:03:31,【リッチメニュー】取扱商材
+Account,応答メッセージ,2024/06/10,18:03:31,【リッチメニュー】取扱商材
+Account,応答メッセージ,2024/06/10,18:03:31,"💎鑑定書発行代行サービス💎
+https://kinkaimasu.jp/diamond/certificate-agency/?openExternalBrowser=1&utm_source=LINE"
+Account,shin,2024/06/10,18:06:52,リファスタが通話リクエストを送信しました。
+Account,kenta-low-,2024/06/11,09:22:35,"【LINEで解決しましたか？】
+げっとさま、お困りごとは24時間365日送信可能❗必ず解決いたします(moon laugh)
+
+(diamond)6月は宝石キャンペーン実施中(diamond)
+※出張買取強化中※
+代表が日本行脚中：https://posts.gle/32PAec
+※本日鹿児島最南端〜熊本エリア
+
+(ring)金やダイヤの相場をチェック(fist bump)
+※詳しくはYoutubeで！(looking right)
+https://www.youtube.com/@refastaofficial
+
+(running)遠方のお客様へ(ok gesture)
+5Daysをリリース！
+
+POINT(index finger raised)は申込日から地金価格を1番高いところで買取補償定(handshake)
+※2回目以降のお客様でお申込がない場合は発送日
+https://kinkaimasu.jp/gold/price-guarantee/?openExternalBrowser=1&utm_source=LINE
+
+フリーダイヤル：0120-954-679
+営業時間 11:00〜20:00 年中無休"