<commit_before>[read]
master.db=csv
master.filename=_produto_loteexpedicao_referencias.sort.codigos.csv
master.select={"keys": ["REFMASTER", "REFERENCIA"]}

db=f1
sql=
  select
    p.P_COD
  , p.P_DESC descricao
  , case when p.P_DESC like '%COSTURA%' or p.P_DESC like '%S/COS%'
    then '11' -- TECELAGEM
    else '12' -- COSTURA
    end linha_produto
  , case when ' ' || p.p_desc || ' ' like '% KIT %'
    then 10
    else 11
    end conta_estoque
  , (
    select
      case when max(pn.P_NCM) = ''
      then
        case
        when substr(trim(max(pn.P_CFISCAL)),1,1) = 'A' then '61071100'
        when substr(trim(max(pn.P_CFISCAL)),1,1) = 'B' then '61071200'
        when substr(trim(max(pn.P_CFISCAL)),1,1) = 'C' then '61082100'
        when substr(trim(max(pn.P_CFISCAL)),1,1) = 'D' then '61051000'
        when substr(trim(max(pn.P_CFISCAL)),1,1) = 'F' then '61123100'
        when substr(trim(max(pn.P_CFISCAL)),1,1) = 'M' then '61159500'
        when substr(trim(max(pn.P_CFISCAL)),1,1) = 'P' then '61072100'
        when substr(trim(max(pn.P_CFISCAL)),1,1) = 'R' then '61052000'
        else '61071100'
        end
      else max(pn.P_NCM)
      end
    from dis_pro pn
    where pn.P_COD like ? || '%'
      and substr(pn.P_COD, strlen(pn.P_COD)+1, 1) not in ('1', '2', '3', '4', '5', '6', '7', '8', '9', '0')
    ) classific_fiscal
  , case when p.P_DESC like '%SUNGA%'
    then 3 -- SUNGA
    else 1 -- P-GG
    end serie_tamanho
  from dis_pro p
  where p.P_COD = ?

[variables]
nivel_estrutura={"value": "1"}
unidmedida={"value": "UN"}
codigo_contabil={"value": "99", "type": "n"}

[functions]
descricao={"str": {"method": "strip"}}
cod_antigo={"trim": {"field": "p_cod"}}
referencia={"translate":
  { "select": "PA"
  , "type": "t"
  , "default": ""
  , "from": "_produto_loteexpedicao_referencias.sort.codigos.csv"
  , "where": [["REFERENCIA", "cod_antigo"]]
  }}
geracao={"translate":
  { "select": "CODFAMILIA"
  , "type": "t"
  , "default": "500001"
  , "from": "_produto_fabric_pa_capa.csv"
  , "where": [["REFERENCIA", "cod_antigo"]]
  }}
faixa_etaria={"translate":
  { "select": "FAIXA_ETARIA"
  , "type": "n"
  , "default": ""
  , "from": "conv_produto_geracao-faixa_etaria.csv"
  , "where": [["GERACAO", "geracao"]]
  }}
tipo_exp={"translate":
  { "select": "TIPOEXP"
  , "type": "t"
  , "default": ""
  , "from": "_produto_fabric_pa_capa.csv"
  , "where": [["REFERENCIA", "cod_antigo"]]
  }}
artigo={"translate":
  { "select": "ARTIGO"
  , "type": "t"
  , "default": "0"
  , "from": "conv_produto_tipoexp-artigoproduto.csv"
  , "where": [["TIPOEXP", "tipo_exp"]]
  }}
codcolecao={"translate":
  { "select": "CODCOLECAO"
  , "type": "t"
  , "default": ""
  , "from": "_produto_fabric_pa_capa.csv"
  , "where": [["REFERENCIA", "cod_antigo"]]
  }}

[columns]
nivel_estrutura=t
referencia=t
descricao=t
unidmedida=t
conta_estoque=n
codigo_contabil=n
linha_produto=t
artigo=t
codcolecao=t
classific_fiscal=t
serie_tamanho=n<commit_msg>Rethinking for official load<commit_after>[read]
master.db=csv
master.filename=_produto_loteexpedicao_referencias.sort.codigos.csv
master.select={"keys": ["REFMASTER", "REFERENCIA"]}

db=f1
sql=
  select
    p.P_COD
  , p.P_DESC descricao
  , case when p.P_DESC like '%COSTUR%' or p.P_DESC like '%S/CO%' or p.P_DESC like '%SEM CO%'
    then '11' -- TECELAGEM
    else '12' -- COSTURA
    end linha_produto
  , case when p.p_desc like '%KIT%'
    then 2
    else 4
    end conta_estoque
  , case when p.p_desc like '%KIT%'
    then
      case when p.p_desc like '%3%'
      then '1008'
      else '1004'
      end
    else '1001'
    end artigo
  , case when p.p_desc like '%KIT%'
    then
      CASE
      when p.p_desc like '%BOX%' then 13
      when p.p_desc like '%SAMBA%' then 14
      -- when p.p_desc like '%SLIP%' then 15
      when p.P_DESC like '%COSTUR%' or p.P_DESC like '%S/CO%' or p.P_DESC like '%SEM CO%' THEN 16
      else 15
      END
    when p.P_DESC like '%COSTUR%' or p.P_DESC like '%S/CO%' or p.P_DESC like '%SEM CO%' THEN 9
    when p.p_desc like '%BOX%' THEN 1
    when p.p_desc like '%SLIP%' THEN 2
    when p.p_desc like '%SAMB%' THEN 3
    when p.p_desc like '%SUNGAO%' THEN 4
    when p.p_desc like '%SUNGA%' THEN 8
    else 0
    end codcolecao
  , (
    select
      case when max(pn.P_NCM) = ''
      then
        case
        when substr(trim(max(pn.P_CFISCAL)),1,1) = 'A' then '61071100'
        when substr(trim(max(pn.P_CFISCAL)),1,1) = 'B' then '61071200'
        when substr(trim(max(pn.P_CFISCAL)),1,1) = 'C' then '61082100'
        when substr(trim(max(pn.P_CFISCAL)),1,1) = 'D' then '61051000'
        when substr(trim(max(pn.P_CFISCAL)),1,1) = 'F' then '61123100'
        when substr(trim(max(pn.P_CFISCAL)),1,1) = 'M' then '61159500'
        when substr(trim(max(pn.P_CFISCAL)),1,1) = 'P' then '61072100'
        when substr(trim(max(pn.P_CFISCAL)),1,1) = 'R' then '61052000'
        else '61071100'
        end
      else max(pn.P_NCM)
      end
    from dis_pro pn
    where pn.P_COD like ? || '%'
      and substr(pn.P_COD, strlen(pn.P_COD)+1, 1) not in ('1', '2', '3', '4', '5', '6', '7', '8', '9', '0')
    ) classific_fiscal
  , case when p.P_DESC like '%SUNGA%'
    then 3 -- SUNGA
    else 1 -- P-GG
    end serie_tamanho
  from dis_pro p
  where p.P_COD = ?

[variables]
nivel_estrutura={"value": "1"}
unidmedida={"value": "UN"}
codigo_contabil={"value": "0", "type": "n"}

[functions]
descricao={"str": {"method": "strip"}}
cod_antigo={"trim": {"field": "p_cod"}}
referencia={"translate":
  { "select": "PA"
  , "type": "t"
  , "default": ""
  , "from": "_produto_loteexpedicao_referencias.sort.codigos.csv"
  , "where": [["REFERENCIA", "cod_antigo"]]
  }}
geracao={"translate":
  { "select": "CODFAMILIA"
  , "type": "t"
  , "default": "500001"
  , "from": "_produto_fabric_pa_capa.csv"
  , "where": [["REFERENCIA", "cod_antigo"]]
  }}
faixa_etaria={"translate":
  { "select": "FAIXA_ETARIA"
  , "type": "n"
  , "default": ""
  , "from": "conv_produto_geracao-faixa_etaria.csv"
  , "where": [["GERACAO", "geracao"]]
  }}
tipo_exp={"translate":
  { "select": "TIPOEXP"
  , "type": "t"
  , "default": ""
  , "from": "_produto_fabric_pa_capa.csv"
  , "where": [["REFERENCIA", "cod_antigo"]]
  }}

[columns]
nivel_estrutura=t
referencia=t
descricao=t
unidmedida=t
conta_estoque=n
codigo_contabil=n
linha_produto=t
artigo=t
codcolecao=n
classific_fiscal=t
serie_tamanho=n
{'fraction_non_alphanumeric': 0.18824451410658308, 'fraction_numerical': 0.04200626959247649, 'mean_word_length': 3.490499648135116, 'pattern_counts': {'":': 78, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 2, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '3358955', 'n_tokens_mistral': 2953, 'n_tokens_neox': 2798, 'n_words': 554}