<commit_before>#!/usr/bin/python
# vim: set fileencoding=UTF-8 :
"""
koulutustarjonta_hakukohde

todo doc
"""
import sys, os, getopt
import httplib
import json
from time import localtime, strftime

import dboperator

def show(message):
  print strftime("%Y-%m-%d %H:%M:%S", localtime())+" "+message

def makerow():
  return {
    #-- tietojen lähde: https://virkailija.opintopolku.fi/tarjonta-service/swagger/index.html#!/hakukohde/findByOid_get_1
    #--organisaatioRyhmaOids (array[string], optional),
    "hakuaikaAlkuPvm": None, # nvarchar(max) null, --(string, optional),
    "hakuaikaLoppuPvm": None, # nvarchar(max) null, --(string, optional),
    #--ryhmaliitokset (array[RyhmaliitosV1RDTO], optional),
    "koulutuksenAlkamiskausiUri": None, # nvarchar(max) null, --(string, optional),
    "aloituspaikatLkm": None, # int null, --(integer): Hakukohde's aloituspaikat amount,
    "ensikertalaistenAloituspaikat": None, # int null, --(integer, optional),
    "valintojenAloituspaikatLkm": None, # int null, --(integer, optional),
    #--koulutukset (Set[KoulutusIdentification], optional): Hakukohde's related koulutukset (same as hakukohdeKoulutusOids but different format),
    #--yhteystiedot (array[YhteystiedotV1RDTO], optional),
    "hakukohdeKoulutusOids": None, # (array[string]): Hakukohde's related koulutus oids,
    #--valintakokeet (array[ValintakoeV1RDTO], optional),
    "hakukohteenNimiUri": None, # nvarchar(max) null, --(string, optional),
    "lukioKoulutus": None, # bit null, --(boolean, optional),
    "alinHyvaksyttavaKeskiarvo": None, # float null, --(number, optional),
    #--painotettavatOppiaineet (array[PainotettavaOppiaineV1RDTO], optional),
    #--hakukohteenNimet": None, #nvarchar (max) (Map[string,string], optional): Hashmap containing hakukohde names and name language,
    #--aloituspaikatKuvaukset (Map[string,string], optional),
    "hakukohteenNimet_kieli_fi": None, 
    "hakukohteenNimet_kieli_sv": None, 
    "hakukohteenNimet_kieli_en": None, 
    "ammatillinenPerustutkinto": None, # bit null, --(boolean, optional),
    "hakulomakeUrl": None, # nvarchar(max) null, --(string, optional): Hakulomakkeen www-osoite,
    "koulutuksenAlkamisvuosi": None, # int null, --(integer, optional),
    "tarjoajaOids": None, # nvarchar(max) null, --(Set[string], optional),
    "koulutusmoduuliTyyppi": None, # nvarchar(max) null, --(string, optional),
    "hakuOid": None, # nvarchar(max) null, --(string): Hakukohde's haku's oid,
    "koulutuslaji": None, # nvarchar(max) null, --(string, optional),
    #--koulutusmoduuliToteutusTarjoajatiedot (Map[string,KoulutusmoduuliTarjoajatiedotV1RDTO], optional),
    "uniqueExternalId": None, # nvarchar(max) null, --(string, optional): Oppilaitoksen globaalisti uniikki tunniste hakukohteelle,
    "ulkoinenTunniste": None, # nvarchar(max) null, --(string, optional),
    #--hakukohteenLiitteet (array[HakukohdeLiiteV1RDTO], optional),
    "ataruLomakeAvain": None, # nvarchar(max) null, --(string, optional): Atarulomakkeen avain,
    "ylioppilastutkintoAntaaHakukelpoisuuden": None, # bit null, --(boolean, optional),<commit_msg>edit koulutustarjonta_hakukohde<commit_after>#!/usr/bin/python
# vim: set fileencoding=UTF-8 :
"""
koulutustarjonta_hakukohde

todo doc
"""
import sys, os, getopt
import httplib
import json
from time import localtime, strftime

import dboperator

def show(message):
  print strftime("%Y-%m-%d %H:%M:%S", localtime())+" "+message

def makerow():
  return {
    #-- tietojen lähde: https://virkailija.opintopolku.fi/tarjonta-service/swagger/index.html#!/hakukohde/findByOid_get_1
    #--organisaatioRyhmaOids (array[string], optional),
    "hakuaikaAlkuPvm": None, # nvarchar(max) null, --(string, optional),
    "hakuaikaLoppuPvm": None, # nvarchar(max) null, --(string, optional),
    #--ryhmaliitokset (array[RyhmaliitosV1RDTO], optional),
    "koulutuksenAlkamiskausiUri": None, # nvarchar(max) null, --(string, optional),
    "aloituspaikatLkm": None, # int null, --(integer): Hakukohde's aloituspaikat amount,
    "ensikertalaistenAloituspaikat": None, # int null, --(integer, optional),
    "valintojenAloituspaikatLkm": None, # int null, --(integer, optional),
    #--koulutukset (Set[KoulutusIdentification], optional): Hakukohde's related koulutukset (same as hakukohdeKoulutusOids but different format),
    #--yhteystiedot (array[YhteystiedotV1RDTO], optional),
    "hakukohdeKoulutusOids": None, # (array[string]): Hakukohde's related koulutus oids,
    #--valintakokeet (array[ValintakoeV1RDTO], optional),
    "hakukohteenNimiUri": None, # nvarchar(max) null, --(string, optional),
    "lukioKoulutus": None, # bit null, --(boolean, optional),
    "alinHyvaksyttavaKeskiarvo": None, # float null, --(number, optional),
    #--painotettavatOppiaineet (array[PainotettavaOppiaineV1RDTO], optional),
    #--hakukohteenNimet": None, #nvarchar (max) (Map[string,string], optional): Hashmap containing hakukohde names and name language,
    #--aloituspaikatKuvaukset (Map[string,string], optional),
    
    "ammatillinenPerustutkinto": None, # bit null, --(boolean, optional),
    "hakulomakeUrl": None, # nvarchar(max) null, --(string, optional): Hakulomakkeen www-osoite,
    "koulutuksenAlkamisvuosi": None, # int null, --(integer, optional),
    "tarjoajaOids": None, # nvarchar(max) null, --(Set[string], optional),
    "koulutusmoduuliTyyppi": None, # nvarchar(max) null, --(string, optional),
    "hakuOid": None, # nvarchar(max) null, --(string): Hakukohde's haku's oid,
    "koulutuslaji": None, # nvarchar(max) null, --(string, optional),
    #--koulutusmoduuliToteutusTarjoajatiedot (Map[string,KoulutusmoduuliTarjoajatiedotV1RDTO], optional),
    "uniqueExternalId": None, # nvarchar(max) null, --(string, optional): Oppilaitoksen globaalisti uniikki tunniste hakukohteelle,
    "ulkoinenTunniste": None, # nvarchar(max) null, --(string, optional),
    #--hakukohteenLiitteet (array[HakukohdeLiiteV1RDTO], optional),
    "ataruLomakeAvain": None, # nvarchar(max) null, --(string, optional): Atarulomakkeen avain,
    "ylioppilastutkintoAntaaHakukelpoisuuden": None, # bit null, --(boolean, optional),
{'fraction_non_alphanumeric': 0.1508880560534463, 'fraction_numerical': 0.002607137037640541, 'mean_word_length': 5.39375, 'pattern_counts': {'":': 47, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 2, 'lorem ipsum': 0, 'www.': 2, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '2543059', 'n_tokens_mistral': 2402, 'n_tokens_neox': 2376, 'n_words': 454}