Add application file

.gitignore

@@ -0,0 +1 @@
+venv/

app.py

@@ -0,0 +1,139 @@
+import os
+import re
+
+import gradio as gr
+import requests
+from bs4 import BeautifulSoup as bs
+from openai import OpenAI
+
+from util import (fact_opinion_classifer, fact_summarizer,
+                  opinion_reason_classifer)
+
+client = OpenAI(api_key=os.getenv('OPENAI_API_KEY'))
+
+
+def main(url):
+    response = requests.get(url)
+    soup = bs(response.text, 'html.parser')
+    article_elems = soup.select('#uamods > .article_body > div > p')
+    sentence_text = "\n".join([article_elem.text for article_elem in article_elems])
+    message = '' + sentence_text
+    sentences = [line.strip() for line in re.split('。|？|\n|!', message) if line.strip() != ""]
+
+    fact_opinion_list = fact_opinion_classifer(client, sentences)
+
+    if len(sentences) != len(fact_opinion_list):
+        raise ValueError(f'GPTの回答の数が一致しませんでした。: {fact_opinion_list}, {sentences}')
+
+    opinions = []
+    facts = []
+    for sentence, fact_opinion in zip(sentences, fact_opinion_list):
+        if fact_opinion == "Opinion":
+            message = message.replace(sentence, f'<span style="opacity:0.6;">{sentence}</span>')
+            opinions.append(sentence)
+        elif fact_opinion == "Fact":
+            facts.append(sentence)
+        else:
+            print(f'error: not known fact_opinion option: {fact_opinion}')
+
+    message = '<p>' + message.replace('\n', '</p>\n<p>') + '</p>'
+
+    fact_sentence = fact_summarizer(client, sentence_text)
+
+    if len(opinions) == 0:
+        opinion_reason_text = "<h3>この文章には意見に関する文が見つかりませんでした。</h3>"
+    else:
+        opinion_reasons = opinion_reason_classifer(client, opinions)
+        opinion_reason_text = ""
+        for opinion, reason in zip(opinions, opinion_reasons):
+            opinion_reason_text += f'<p>- {opinion}<p><p>   →{reason}</p><br><hr>'
+
+    html_txt = f"""<div style="padding: 10px; overflow-x: scroll; border: 1px #999999 solid; height: 500px;"> {message}</div>"""
+    opinion_reason_text = f"""<div style="padding: 10px; overflow-x: scroll; border: 1px #999999 solid; height: 450px;"> {opinion_reason_text}</div>"""
+    return html_txt, opinion_reason_text, fact_sentence, "None"
+
+
+if __name__ == "__main__":
+    '''main'''
+    with gr.Blocks(
+        title='東京大学 | 情報リテラシーサポートツール',
+        theme='shivi/calm_seafoam',
+        css='''
+        #title_{
+            text-align: center;
+        }
+        #lightblue_img{
+            display: inline-block;
+            width:15%;
+        }
+        #lightblue_img img{
+            width:100%;
+        }
+        @media screen and (max-width:480px) {
+            #lightblue_img{
+                width:50%;
+            }
+        }
+        '''
+    ) as demo:
+        with gr.Row():
+            with gr.Column():
+                gr.HTML(value='''
+                <h2 id="title_">情報リテラシーサポートツール</h2>
+                ''')
+                gr.Markdown('### ※意見文の抽出精度は <u>93.3%</u> です。誤っている可能性には十分注意してください。')
+                inp = gr.Textbox(label='',placeholder="こちらに記事のURLをコピペしてください。")
+
+                btn = gr.Button("Enter")
+        with gr.Row():
+            with gr.Column(scale=1):
+                out1 = gr.HTML("""<div style="padding: 10px; overflow-x: scroll; border: 1px #999999 solid; height: 500px;"><span style="opacity: 0.5;">こちらに本文が表示されます。</span></div>""")
+            with gr.Column(scale=1):
+                with gr.Tab('意見についての文章'):
+                    out2 = gr.HTML()
+                with gr.Tab('本文から確実に言えること'):
+                    out3 = gr.Markdown()
+                with gr.Tab('使用されているデータの詳細'):
+                    out4 = gr.Markdown()
+        with gr.Row():
+            with gr.Column():
+                gr.Markdown(value='''
+                ⚠︎実行には10~30秒ほどかかります。ご了承ください。
+                ***
+                ''')
+
+                description_jp = gr.Markdown(value='''
+## ニュース記事を読むにあたって総合的な情報リテラシーの不足のサポートを行うツールです
+
+### ※情報リテラシーとは
+1. 加工されていない生のデータが何か分かる
+2. 事実と意見の区別がつく
+3. 文章中から確実に言えることが何か分かる
+
+***
+''')
+
+                gr.HTML(value='''
+                <h1>本デモについて</h1>
+                <fieldset style="border: 1px dashed #000000; padding: 10px;">
+                    <legend><h2>作成意図</h2></legend>
+                    <p>偽情報や誤情報といった情報は通常の20倍もの速度で拡散されるといいます。このとき拡散する人はどうやら情報リテラシーが低い人が多いそうです。</p>
+                    <p>情報リ��ラシーの改善には教育が急務ですがなかなか教材だけでは追いつかないことがあるかと思います。</p>
+                    <p>本デモがそういった皆様の情報リテラシー向上の一助となれば幸いです。</p>
+                </fieldset>
+
+
+
+                <h2>作成者</h2>
+                <img src="https://tegakisozai.com/wp-content/uploads/2021/04/doubutu_penguin.png" width=150px>
+                東京大学工学部システム創成学科4年
+                <p>堀川祐生</p>
+                <p>
+                    &#x1f517;
+                    <a href= "https://www.linkedin.com/in/祐生-堀川-a0a7a328b/" >LinkedIn</a>
+                </p>
+                ''')
+
+        inp.submit(main, [inp], [out1, out2, out3, out4])
+        btn.click(main, [inp], [out1, out2, out3, out4])
+    demo.launch(auth=(os.getenv('USER_NAME'), os.getenv('PASSWORD')))

requirements.txt

@@ -0,0 +1,3 @@
+openai==1.50.2
+gradio==4.44.0
+beautifulsoup4==4.12.3

util/__init__.py

@@ -0,0 +1,3 @@
+from .fact_opinion_classifer import fact_opinion_classifer
+from .fact_summarizer import fact_summarizer
+from .opinion_reason_classifer import opinion_reason_classifer

util/fact_opinion_classifer.py

@@ -0,0 +1,44 @@
+from openai import OpenAI
+
+MESSAGE_FORMAT = """あなたは文章を「事実(Fact))」か「意見(Opinion)」かを判定する熟練の判定者です。以下に箇条書きで与える文章がそれぞれ事実か意見かを判定してください。なお回答は以下の例の形式で行なってください。
+### 回答形式例
+- Fact
+- Fact
+- Opinion
+
+### 文章
+- {}
+"""
+
+
+def fact_opinion_classifer(client: OpenAI, questions, chunk_size=5, model_name='gpt-4o-mini-2024-07-18'):
+    chunk_num = len(questions) // chunk_size
+    if len(questions) % chunk_size != 0:
+        chunk_num += 1
+    chunked_questions = [[] for i in range(chunk_num)]
+
+    for i in range(len(questions)):
+        chunked_questions[i // chunk_size].append(questions[i])
+
+    responses = []
+    for chunk in chunked_questions:
+        # print('chunk_size', len(chunk))
+        message = MESSAGE_FORMAT.format('\n- '.join(chunk))
+        response = client.chat.completions.create(
+            messages=[
+                {
+                    "role": "user",
+                    "content": message
+                }
+            ],
+            model=model_name,
+            temperature=0
+        )
+        responses.append(response.choices[0].message.content)
+
+    gpt_answers = []
+    for gpt_answers_text in responses:
+        # print(len(gpt_answers_text.split('\n')))
+        gpt_answers.extend([ans[2:] for ans in gpt_answers_text.split('\n')])
+
+    return gpt_answers

util/fact_summarizer.py

@@ -0,0 +1,24 @@
+from openai import OpenAI
+
+FACT_MESSAGE_FORMAT = """あなたはニュース記事に含まれる意見に惑わされず「事実のみ」をまとめる読解サポーターです。以下の文章をもとに確実に言えることを5つ箇条書きで答えてください。
+
+### 文章
+{}
+
+### 回答"""
+
+
+def fact_summarizer(client: OpenAI, sentence: str, model_name='gpt-4o-mini-2024-07-18'):
+    message = FACT_MESSAGE_FORMAT.format(sentence)
+    response = client.chat.completions.create(
+        messages=[
+            {
+                "role": "user",
+                "content": message
+            }
+        ],
+        model=model_name,
+        temperature=0
+    )
+
+    return response.choices[0].message.content

util/opinion_reason_classifer.py

@@ -0,0 +1,41 @@
+from openai import OpenAI
+
+REASON_MESSAGE_FORMAT = """あなたは意見に関する文章をどの箇所から意見と読み取れるかを判定する熟練の判定者です。以下に箇条書きで与える文章が事実ではなく意見と判断できる理由をそれぞれ簡潔に30字以内で記述してください
+
+### 文章
+- {}
+
+### 意見と読み取れる理由"""
+
+
+def opinion_reason_classifer(client: OpenAI, questions, chunk_size=5, model_name='gpt-4o-mini-2024-07-18'):
+    chunk_num = len(questions) // chunk_size
+    if len(questions) % chunk_size != 0:
+        chunk_num += 1
+    chunked_questions = [[] for i in range(chunk_num)]
+
+    for i in range(len(questions)):
+        chunked_questions[i//chunk_size].append(questions[i])
+
+    responses = []
+    for chunk in chunked_questions:
+        # print('chunk_size', len(chunk))
+        message = REASON_MESSAGE_FORMAT.format('\n- '.join(chunk))
+        response = client.chat.completions.create(
+            messages=[
+                {
+                    "role": "user",
+                    "content": message
+                }
+            ],
+            model=model_name,
+            temperature=0
+        )
+        responses.append(response.choices[0].message.content)
+
+    gpt_answers = []
+    for gpt_answers_text in responses:
+        # print(len(gpt_answers_text.split('\n')))
+        gpt_answers.extend([ans[2:] for ans in gpt_answers_text.split('\n')])
+
+    return gpt_answers