File size: 8,276 Bytes
3b44ece
 
 
651d696
 
 
 
3b44ece
651d696
3b44ece
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
651d696
 
 
 
3b44ece
651d696
3b44ece
651d696
3b44ece
 
 
651d696
 
 
 
 
 
3b44ece
 
 
651d696
3b44ece
651d696
3b44ece
651d696
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
3b44ece
651d696
 
 
 
3b44ece
 
 
 
651d696
 
 
 
3b44ece
 
 
 
 
651d696
 
 
 
 
 
 
 
 
536f374
651d696
 
3b44ece
 
651d696
 
 
3b44ece
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
651d696
4e296b6
3b44ece
651d696
 
 
 
4e296b6
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
import gradio as gr
from io import BytesIO
import torch
import os
import pdfplumber
import re
from transformers import pipeline, AutoModelForQuestionAnswering, AutoTokenizer
from transformers import BertTokenizer, EncoderDecoderModel

def process_pdf(path):
    results_dict = {}
    results_dict["1. Kurzbeschreibung"] = \
        read_section(path, "1. Kurzbeschreibung", "2. Einordnung des Moduls")
    # results_dict["2. Einordnung des Moduls"] = \
    #     read_section(path, "Einordnung des Moduls",
    #                 "Entwicklungsmaßnahmen im konkreten Interventionsbereich des Moduls")
    # results_dict["2.2 Andere Entwicklungsmaßnahmen im konkreten Interventionsbereich des Moduls"] = \
    #     read_section(path, "Entwicklungsmaßnahmen im konkreten Interventionsbereich des Moduls",
    #                 "3. Entwicklungen im Interventionsbereich")
    results_dict["3. Entwicklungen im Interventionsbereich"] = \
        read_section(path, "3. Entwicklungen im Interventionsbereich",
                    "4.1 Bewertungen von Zielen, Zielgruppen, Wirkungshypothesen und Indikatoren")
    results_dict["4.1 Bewertungen von Zielen, Zielgruppen, Wirkungshypothesen und Indikatoren"] = \
        read_section(path, "4.1 Bewertungen von Zielen, Zielgruppen, Wirkungshypothesen und Indikatoren",
                    "4.2")
    results_dict["4.2 Umgesetzte Maßnahmen / Aktivitäten während des Berichtszeitraums"] = \
        read_section(path, "4.2", "4.3")
    results_dict["4.3 Umsetzung von Maßnahmen zur Sicherstellung der nachhaltigen Wirksamkeit des Vorhabens"] = \
        read_section(path, "4.3",
                    "4.4 Laufzeit und Zeitplan")
    results_dict["4.4 Laufzeit und Zeitplan"] = \
        read_section(path, "4.4 Laufzeit und Zeitplan", "4.5")
    results_dict["4.5 Entstandene Kosten und Kostenverschiebungen"] = \
        read_section(path, "4.5", "4.6")
    results_dict["4.6 Bewertung der Wirkungen und Risiken"] = \
        read_section(path, "4.6", "5. Übergeordnete Empfehlungen")
    results_dict["5. Übergeordnete Empfehlungen"] = \
        read_section(path, "5. Übergeordnete Empfehlungen",
                    "5.2 Lernerfahrungen, die für die Länderstrategie und zukünftige")
    results_dict["5.2 Lernerfahrungen, die für die Länderstrategie und zukünftige EZ-Programme interessant sein könnten"] = \
        read_section(path, "5.2 Lernerfahrungen", "6. Testat")
    # results_dict["6. Testat (TZ)"] = \
    #     read_section(path, "6. Testat", "Anlage 1: Wirkungsmatrix des Moduls")
    return results_dict

def read_section(path, wanted_section, next_section):

    doc = pdfplumber.open(path)
    start_page = []
    end_page = []

    for page in range(len(doc.pages)):
        if len(doc.pages[page].search(wanted_section, return_chars = False, case = False)) > 0:
            start_page.append(page)
        if len(doc.pages[page].search(next_section, return_chars = False, case = False)) > 0:
            end_page.append(page)
    # print(wanted_section)
    # print(max(start_page))
    # print(max(end_page)+1)

    text = []
    for page_num in range(max(start_page), max(end_page)+1):
        page = doc.pages[page_num]
        text.append(page.extract_text())
    text = " ".join(text)
    text.replace("\n", " ")
    # print(wanted_section + str(extract_between(text, wanted_section, next_section)))
    return wanted_section + str(extract_between(text, wanted_section, next_section))

def extract_between(text, start_string, end_string):
    pattern = re.escape(start_string) + '(.*?)' + re.escape(end_string)
    match = re.search(pattern, text, re.DOTALL)
    if match:
        return match.group(1)
    else:
        return None

def format_section1(section1_text):
    result_section1_dict = {}
    result_section1_dict['TOPIC'] = extract_between(section1_text, "Sektor", "EZ-Programm")
    result_section1_dict['PROGRAM'] = extract_between(section1_text, "Sektor", "EZ-Programm")
    result_section1_dict['PROJECT DESCRIPTION'] = extract_between(section1_text, "EZ-Programmziel", "Datum der letzten BE")
    result_section1_dict['PROJECT NAME'] = extract_between(section1_text, "Modul", "Modulziel")
    result_section1_dict['OBJECTIVE'] = extract_between(section1_text, "Modulziel", "Berichtszeitraum")
    result_section1_dict['PROGRESS'] = extract_between(section1_text, "Zielerreichung des Moduls", "Massnahme im Zeitplan")
    result_section1_dict['STATUS'] = extract_between(section1_text, "Massnahme im Zeitplan", "Risikoeinschätzung")
    result_section1_dict['RECOMMENDATIONS'] = extract_between(section1_text, "Vorschläge zur Modulanpas-", "Voraussichtliche")
    return result_section1_dict

def initialize_question_answering():
    model_name = "deepset/gelectra-large-germanquad"
    model = AutoModelForQuestionAnswering.from_pretrained(model_name)
    tokenizer = AutoTokenizer.from_pretrained(model_name)
    qa_pipeline = pipeline("question-answering", model=model, tokenizer=tokenizer)
    return qa_pipeline

def answer_questions_section_1(text, language="de"):
    qa_pipeline = initialize_question_answering()
    questions = [
        "Welches ist das Titel des Moduls?",
        "Welches ist das Sektor oder das Kernthema?",
        "Welches ist das Land?",
        "Zu welchem Program oder Programm gehort das Projekt?",
        # "Welche Durchführungsorganisation aus den 4 Varianten 'giz', 'kfw', 'ptb' und 'bgr' implementiert das Projekt?"
        "Wurde das Ziel des Moduls erreicht?", # "In dem Dokument was steht bei Zielerreichung des Moduls?",
        "Welche ist die Risikoeinschätzung des Moduls?",
        "Ist die Maßnahme im Zeitplan?"
        # "In dem Dokument was steht bei Sektor?",
        # "In dem Dokument was steht von 'EZ-Programm' bis 'EZ-Programmziel'?",
        # "In dem Dokument was steht bei EZ-Programmziel?",
        # "In dem Dokument in dem Abschnitt '1. Kurzbeschreibung' was steht bei Modul?",
        # "In dem Dokument in dem Abschnitt '1. Kurzbeschreibung' was steht bei Maßnahme im Zeitplan?",
        # "In dem Dokument was steht bei Vorschläge zur Modulanpassung?",
        # "In dem Dokument in dem Abschnitt 'Anlage 1: Wirkungsmatrix des Moduls' was steht unter Laufzeit als erstes Datum?",
        # "In dem Dokument in dem Abschnitt 'Anlage 1: Wirkungsmatrix des Moduls' was steht unter Laufzeit als zweites Datum?"
    ]
    answers_dict = {}
    for question in questions:
        result = qa_pipeline(question=question, context=text)
        print(f"Question: {question}")
        print(f"Answer: {result['answer']}\n")
        answers_dict[question] = result['answer']
    return answers_dict

def summarize_german_text(text):
    model_name = "mrm8488/bert2bert_shared-german-finetuned-summarization"
    tokenizer = BertTokenizer.from_pretrained(model_name)
    model = EncoderDecoderModel.from_pretrained(model_name)
    inputs = tokenizer(text, padding="max_length", truncation=True, max_length=512, return_tensors="pt")
    summary_ids = model.generate(inputs['input_ids'], num_beams=4, max_length=200, early_stopping=True)
    summary = tokenizer.decode(summary_ids[0], skip_special_tokens=True)
    return summary

def extact_details():
    sections_dict = process_pdf(path)
    results = answer_questions_section_1(sections_dict["1. Kurzbeschreibung"])
    results["Section 4.1 summary"] = summarize_german_text(sections_dict["4.1 Bewertungen von Zielen, Zielgruppen, Wirkungshypothesen und Indikatoren"])
    results["Section 4.2 summary"] = summarize_german_text(sections_dict["4.2 Umgesetzte Maßnahmen / Aktivitäten während des Berichtszeitraums"])
    results["Section 4.6 summary"] = summarize_german_text(sections_dict["4.6 Bewertung der Wirkungen und Risiken"])
    results["Section 5.1 summary"] = summarize_german_text(sections_dict["5. Übergeordnete Empfehlungen"])
    # for key, answer in results.items():
    #     print(f"{key}: {answer}")

if __name__ == "__main__":
    demo = gr.Interface(fn=extact_details, 
                     inputs=gr.File(type="binary", label="Upload PDF"),
                     outputs=gr.Textbox(label="Extracted Text"),
                     title="PDF Text Extractor",
                     description="Upload a PDF file to extract.")
    demo.launch()