<jupyter_start><jupyter_text>Mangelfulle spørringer mot NVDB api V3? her sammenligner vi resultatet av spørringen `/vegobjekter/904?kommune=5001&veg(system)referanse=K` mot NVDB api V2 og V3.<jupyter_code>import json
import pandas as pd
import os
mappe = 'stavanger_904'
filer = os.listdir(mappe)
manglergeom = []
fasit = []        

etterspurt_E = []
etterspurt_R = []
etterspurt_F = []
etterspurt_K = []
etterspurt_P = []
etterspurt_S = []


for eifil in filer: 
    if 'json' in eifil: 
        spurt_vegkat = eifil.split( '.')[0].split( '_')[-1]
        with open( os.path.join( mappe, eifil), encoding='utf-8') as f:
            data = json.load( f)
        for rad in data: 
            rad['spurt_vegkat'] = spurt_vegkat
        
        if 'mengdeuttak_v2' in eifil:
            fasit.extend( data)
        elif 'mangler_geometriv3' in eifil: 
            manglergeom.extend( data )            
            

manglergeom = pd.DataFrame( manglergeom )
fasit = pd.DataFrame( fasit )<jupyter_output><empty_output><jupyter_text>Har vi duplikater i de ugyldige V3-objektene?<jupyter_code>duplikat = manglergeom[ manglergeom.duplicated(subset='id', keep=False) ]
print( len( duplikat), 'duplikater av', len( manglergeom), 'ugyldige og', len(fasit), 'totalt')<jupyter_output>4 duplikater av 155 ugyldige og 5648 totalt<jupyter_text>Relativt uinteressant, iallfall inntil  videre  Lær mer om ugyldige data  Stemmer ønsket vegkategori med det vi fant?<jupyter_code>mangler = pd.merge( left=manglergeom, right=fasit, left_on='id', right_on='vegobjektid', how='inner')
mangler.columns
mangler[ mangler['spurt_vegkat_x'] == mangler['vegkat']]<jupyter_output><empty_output><jupyter_text>Er det en vegkategori som peker seg ut?<jupyter_code>mangler.vegkat.value_counts()<jupyter_output><empty_output>
{'fraction_non_alphanumeric': 0.11705685618729098, 'fraction_numerical': 0.015050167224080268, 'mean_word_length': 4.248538011695906, 'pattern_counts': {'":': 0, '<': 16, '<?xml version=': 0, '>': 16, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '4', 'dir': 'jupyter-structured-clean-dedup', 'id': '667808', 'license': 'MIT', 'n_tokens_mistral': 756, 'n_tokens_neox': 733, 'n_words': 146, 'path': 'debug_nvdbapilesv3/vegobjekter/sjekkmangler.ipynb', 'repo_name': 'LtGlahn/diskusjon_diverse', 'size': '1794'}