Upload folder using huggingface_hub

runningscript.py

@@ -10,7 +10,7 @@ from xgboost import XGBRegressor
 
 # 1. Chargement des données
 print("Chargement des données...")
-parquet_files = glob.glob('*.parquet')
+parquet_files = glob.glob('subset_top5_per_station_fuel.parquet')
 
 if not parquet_files:
     raise FileNotFoundError("Aucun fichier Parquet trouvé dans le répertoire spécifié.")

sampledateset.py

@@ -0,0 +1,29 @@
+import pandas as pd
+
+# Charger le dataset depuis le fichier Parquet
+df = pd.read_parquet('full_dataset.parquet')
+
+# Afficher les colonnes disponibles pour vérification
+print("Colonnes du dataset :", df.columns)
+
+# Assurer que les colonnes nécessaires existent
+# Remplace 'station_id', 'fuel_type' et 'timestamp' par les noms réels des colonnes si elles sont différentes
+required_columns = ['station_id', 'fuel_name', 'rate_date']
+for col in required_columns:
+    if col not in df.columns:
+        raise ValueError(f"La colonne '{col}' est manquante dans le dataset.")
+
+# Convertir la colonne 'timestamp' en type datetime si ce n'est pas déjà le cas
+if not pd.api.types.is_datetime64_any_dtype(df['rate_date']):
+    df['rate_date'] = pd.to_datetime(df['rate_date'])
+
+# Trier le dataframe par 'station_id', 'fuel_type' et 'timestamp' rate_date
+df_sorted = df.sort_values(by=['station_id', 'fuel_name', 'rate_date'], ascending=[True, True, False])
+
+# Pour chaque combinaison de 'station_id' et 'fuel_type', sélectionner les 5 derniers enregistrements
+df_top5 = df_sorted.groupby(['station_id', 'fuel_name']).head(5).reset_index(drop=True)
+
+# Sauvegarder le sous-ensemble de données dans un nouveau fichier Parquet
+df_top5.to_parquet('subset_top5_per_station_fuel.parquet')
+
+print("Le sous-ensemble a été sauvegardé dans 'subset_top5_per_station_fuel.parquet'")

subset_top5_per_station_fuel.parquet

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:a47440ecf309fc4639bed6dd28c58744bc9624b4384b2bc186a45fb21663ead9
+size 3833901