<jupyter_start><jupyter_text>Projekt ArchivstatistikThese/Fragestellung: "Wieviel Geschichte hat dein Kanton?"Spannend wäre es natürlich zu schauen, wieviel Dokumente zu einem Kanton überhaupt in den diversen Archiven lagern. Da wäre von den Daten her - zumindest theoretisch - schon etwas möglich. Da die Daten aber sehr dezentral und heterogen voliegen, wäre das ein Megaprojekt. Hier dehalb einmal eine Begrenzung auf die kantonalen Staatsarchive: Wieviele historische Dokumente sind hier für die Öffentlichkeit zugänglich? Wieviele kommen jährlich hinzu? Wie unterscheiden sich die Kantone?Als Datengrundlage dienen die Archivstatistik, Jahresrechnungen der Kantonsarchive und die Bevölkerungsstatistik.<jupyter_code># from bs4 import BeautifulSoup
# import requests
import pandas as pd
import numpy as np
import matplotlib
import matplotlib.pyplot as plt
%matplotlib inline
import geopandas as gpd

df_archive = pd.read_excel("Zahlentabelle_2013-2016.xlsx")
#Schauen wir uns die Daten zusammenfassend an
df_archive.info()
#Schauen wir uns die Details in einem Auszug an. Was ist da mit dem Index los?
df_archive.head(5)
#Machen wir einen Index Reset
df_archive = df_archive.reset_index()
df_archive.head(5)
#Aber warum kippen wir das nicht? Und machen die 2. Zeile zum Header
df_archive = df_archive.transpose()
df_archive
#Machen wir die 2. Zeile zum Header 
df_archive.columns = df_archive.iloc[1]
#Setzen wir wieder einen neuen Index
df_archive = df_archive.reset_index()
#Schneiden wir die ersten beiden Reihen ab
df_archive = df_archive[2:]
#Bearbeiten wir den Index
#Zunächst füllen wir alle Felder mit unnnamed mit Nones
def nones(elem):
    if "named" in elem:
        return None
    else:
        return elem
df_archive['index'] = df_archive['index'].apply(nones)
df_archive['index'] = df_archive['index'].fillna(method='ffill')
#Cleanin numbers
def numbercleaning(elem):
    try:
        elem = int(elem.replace("’",""))
        return elem
    except:
        return elem
df_archive = df_archive.applymap(numbercleaning)
df_archive
#Machen wir das Jahr zum Index
df_archive.index = df_archive['Jahr']<jupyter_output><empty_output>
{'fraction_non_alphanumeric': 0.06846762925011644, 'fraction_numerical': 0.0069864927806241265, 'mean_word_length': 5.373887240356083, 'pattern_counts': {'":': 0, '<': 5, '<?xml version=': 0, '>': 5, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '1', 'dir': 'jupyter-structured-clean-dedup', 'id': '631062', 'license': 'MIT', 'n_tokens_mistral': 713, 'n_tokens_neox': 725, 'n_words': 238, 'path': 'Vertiefungstage1_2/pandas_reinigung.ipynb', 'repo_name': 'Priskawa/kurstag2', 'size': '2147'}