<jupyter_start><jupyter_text>Hyperopt<jupyter_code>def obj_func(params):
  print("Training with params: ")
  print(params)
  
  # trenujemy model z użyciem cross walidacji
  mean_mae, score_std = run_model(xgb.XGBRegressor(**params), feats)

  #  zwracamy słownik
  # status_ok - mowi o tym, ze udalo sie wyliczyc dana iteracje
  return {'loss': np.abs(mean_mae), 'status': STATUS_OK}

# space - przestrzen gdzie definujemy dla optymalizatora (hyperopt) granice poszukiwania rozsądnych wartości
xgb_reg_params = {
    'learning_rate':    hp.choice('learning_rate',  np.arange(0.05, 0.31, 0.05)),
    'max_depth':        hp.choice('max_depth',      np.arange(5, 16, 1, dtype=int)),
    'subsample':        hp.quniform('subsample', 0.5, 1, 0.05),
    'colsample_bytree': hp.quniform('colsample_bytree', 0.5, 1, 0.05),
    'objective':        'reg:squarederror',
    'n_estimators':     100,
    'seed':             0
}

#run
best = fmin(obj_func, xgb_reg_params, algo=tpe.suggest, max_evals=25)

best
feats = [ 'param_napęd__cat','param_rok-produkcji','param_stan__cat','param_skrzynia-biegów__cat','param_faktura-vat__cat','param_moc','param_marka-pojazdu__cat','feature_kamera-cofania__cat','param_typ__cat','param_pojemność-skokowa','seller_name__cat','feature_wspomaganie-kierownicy__cat','param_model-pojazdu__cat','param_wersja__cat','param_kod-silnika__cat','feature_system-start-stop__cat','feature_asystent-pasa-ruchu__cat','feature_czujniki-parkowania-przednie__cat','feature_łopatki-zmiany-biegów__cat','feature_regulowane-zawieszenie__cat' ]

xgb_params = {
    'learning_rate': 1,
    'max_depth':9,
    'subsample': 0.9,
    'colsample_bytree': 0.8,
    'objective': 'reg:squarederror',
    'n_estimators':100,
    'seed': 0
}

run_model(xgb.XGBRegressor(**xgb_params), feats)<jupyter_output><empty_output>
{'fraction_non_alphanumeric': 0.14521452145214522, 'fraction_numerical': 0.022552255225522552, 'mean_word_length': 5.519713261648746, 'pattern_counts': {'":': 0, '<': 5, '<?xml version=': 0, '>': 5, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '1', 'dir': 'jupyter-structured-clean-dedup', 'id': '618775', 'license': 'MIT', 'n_tokens_mistral': 775, 'n_tokens_neox': 736, 'n_words': 96, 'path': 'day5_hyperopt.ipynb', 'repo_name': 'djsuszi/dw_matrix_car', 'size': '1818'}