quick fixes

app.py

@@ -4,11 +4,10 @@ from datetime import datetime
 
 import folium
 import pandas as pd
-import requests
 import streamlit as st
-from folium import plugins
 from huggingface_hub import HfApi
 from streamlit_folium import st_folium
+from src.utils import add_latlng_col
 
 from src.text_content import (
     COLOR_MAPPING,
@@ -27,7 +26,9 @@ from src.utils import init_map, parse_gg_sheet
 
 TOKEN = os.environ.get("HF_TOKEN", None)
 REQUESTS_URL = "https://docs.google.com/spreadsheets/d/1gYoBBiBo1L18IVakHkf3t1fOGvHWb23loadyFZUeHJs/edit#gid=966953708"
-INTERVENTIONS_URL = "https://docs.google.com/spreadsheets/d/1eXOTqunOWWP8FRdENPs4cU9ulISm4XZWYJJNR1-SrwY/edit#gid=2089222765"
+INTERVENTIONS_URL = (
+    "https://docs.google.com/spreadsheets/d/1eXOTqunOWWP8FRdENPs4cU9ulISm4XZWYJJNR1-SrwY/edit#gid=2089222765"
+)
 api = HfApi(TOKEN)
 
 
@@ -40,52 +41,24 @@ if "sleep_time" not in st.session_state:
 if "auto_refresh" not in st.session_state:
     st.session_state.auto_refresh = False
 
-# Session for Requests
-session = requests.Session()
-
 auto_refresh = st.sidebar.checkbox("Auto Refresh?", st.session_state.auto_refresh)
 if auto_refresh:
-    number = st.sidebar.number_input(
-        "Refresh rate in seconds", value=st.session_state.sleep_time
-    )
+    number = st.sidebar.number_input("Refresh rate in seconds", value=st.session_state.sleep_time)
     st.session_state.sleep_time = number
 
 
-# Utility functions
-@st.cache_data(persist=True)
-def parse_latlng_from_link(url):
-    try:
-        # extract latitude and longitude from gmaps link
-        if "@" not in url:
-            resp = session.head(url, allow_redirects=True)
-            url = resp.url
-        latlng = url.split("@")[1].split(",")[0:2]
-        return [float(latlng[0]), float(latlng[1])]
-    except Exception as e:
-        return None
-
-
-def parse_gg_sheet_interventions(url):
-    url = url.replace("edit#gid=", "export?format=csv&gid=")
-    print(url)
-    df = pd.read_csv(url, on_bad_lines="skip")
-    return df.assign(latlng=df.iloc[:, 3].apply(parse_latlng_from_link))
-
-
 # Streamlit functions
 def display_interventions(interventions_df, m):
     """Display NGO interventions on the map"""
     for index, row in interventions_df.iterrows():
         status = (
             "Done ✅"
-            if row[interventions_df.columns[5]]
-            != "Intervention prévue dans le futur / Planned future intervention"
+            if row[interventions_df.columns[5]] != "Intervention prévue dans le futur / Planned future intervention"
             else "Planned ⌛"
         )
         color_mk = (
             "green"
-            if row[interventions_df.columns[5]]
-            != "Intervention prévue dans le futur / Planned future intervention"
+            if row[interventions_df.columns[5]] != "Intervention prévue dans le futur / Planned future intervention"
             else "pink"
         )
         intervention_type = row[interventions_df.columns[6]].split("/")[0].strip()
@@ -122,13 +95,10 @@ def show_requests(filtered_df, m):
             if not pd.isna(row["  لأي  جماعة / قيادة / دوار تنتمون ؟"])
             else None,
             popup=folium.Popup(display_text, max_width=300),
-            icon=folium.Icon(
-                color=COLOR_MAPPING.get(request_type, "blue"), icon=icon_name
-            ),
+            icon=folium.Icon(color=COLOR_MAPPING.get(request_type, "blue"), icon=icon_name),
         ).add_to(m)
 
 
-
 def display_google_sheet_tables(data_url):
     """Display the google sheet tables for requests and interventions"""
     st.markdown(
@@ -177,14 +147,10 @@ def display_dataframe(df, drop_cols, data_url, search_id=True, status=False):
     if status:
         target = "Pouvez-vous nous préciser si vous êtes déjà intervenus ou si vous prévoyez de le faire | Tell us if you already made the intervention, or if you're planning to do it"
         if selected_status == "Done / تم":
-            display_df = display_df[
-                display_df[target] == "Intervention déjà passée / Past intevention"
-            ]
+            display_df = display_df[display_df[target] == "Intervention déjà passée / Past intevention"]
 
         elif selected_status == "Planned / مخطط لها":
-            display_df = display_df[
-                display_df[target] != "Intervention déjà passée / Past intevention"
-            ]
+            display_df = display_df[display_df[target] != "Intervention déjà passée / Past intevention"]
 
     st.dataframe(display_df, height=500)
     st.markdown(
@@ -198,9 +164,7 @@ def id_review_submission():
     st.markdown(REVIEW_TEXT)
     st.markdown(REVIEW_TEXT_2)
 
-    id_to_review = st.number_input(
-        "Enter id / أدخل الرقم", min_value=0, max_value=len(df), value=0, step=1
-    )
+    id_to_review = st.number_input("Enter id / أدخل الرقم", min_value=0, max_value=len(df), value=0, step=1)
     reason_for_review = st.text_area("Explain why / أدخل سبب المراجعة")
     if st.button("Submit / أرسل"):
         if reason_for_review == "":
@@ -215,14 +179,12 @@ def id_review_submission():
                 repo_id="nt3awnou/review_requests",
                 repo_type="dataset",
             )
-            st.success(
-                "Submitted at https://huggingface.co/datasets/nt3awnou/review_requests/ تم الإرسال"
-            )
+            st.success("Submitted at https://huggingface.co/datasets/nt3awnou/review_requests/ تم الإرسال")
 
 
 # Logo and Title
 st.markdown(LOGO, unsafe_allow_html=True)
-st.title("Nt3awnou نتعاونو ")
+st.title("Nt3awnou نتعاونو")
 st.markdown(SLOGAN, unsafe_allow_html=True)
 
 # Language tabs
@@ -235,11 +197,11 @@ with tab_ar:
     st.markdown(INTRO_TEXT_AR, unsafe_allow_html=True)
 with tab_fr:
     st.markdown(INTRO_TEXT_FR, unsafe_allow_html=True)
-
-
 # Load data and initialize map with plugins
 df = parse_gg_sheet(REQUESTS_URL)
-interventions_df = parse_gg_sheet_interventions(INTERVENTIONS_URL)
+df = add_latlng_col(df, process_column=15)
+interventions_df = parse_gg_sheet(INTERVENTIONS_URL)
+interventions_df = add_latlng_col(interventions_df, process_column=11)
 m = init_map()
 
 # Selection of requests
@@ -278,6 +240,7 @@ show_interventions = st.checkbox(
 )
 
 if show_interventions:
+    # print(interventions_df.columns)
     display_interventions(interventions_df, m)
 
 # Show requests

src/text_content.py

@@ -25,9 +25,9 @@ INTRO_TEXT_FR = """
     Nt3awnou نتعاونو est une plateforme collaborative dédiée à l'aide aux personnes touchées par le récent tremblement de terre au Maroc. Notre mission principale est de rationaliser et de coordonner une assistance rapide pour toutes les personnes touchées. Comment y parvenons-nous ? Nous aidons les personnes dans le besoin en leur permettant de communiquer leur localisation et l'aide spécifique dont elles ont besoin, soit en remplissant un formulaire, soit en envoyant un message vocal via WhatsApp à un numéro désigné. Une fois reçues et traitées, ces informations peuvent être consultées dans notre tableau de bord, qui permet aux associations d'organiser et de cibler précisément leurs interventions, afin que l'aide parvienne rapidement à ceux qui en ont besoin. Toute organisation ayant pris une initiative dans une zone particulière peut nous en informer en remplissant un formulaire prévu à cet effet. Ces données sont également intégrées au tableau de bord afin que d'autres associations puissent aider les zones touchées qui n'ont pas encore reçu d'aide.
     Avertissement : Il y a encore des chutes de pierres dans les montagnes, ce qui rend les routes vers les zones touchées très dangereuses. Nous conseillons aux volontaires de faire des dons directement aux associations spécialisées.
     
-    Vous pouvez nous contacter par courrier électronique à l'adresse suivante : [email protected]
-    Aidez-nous à signaler plus de personnes dans le besoin en remplissant ce formulaire : https://forms.gle/nZNCUVog9ka2Vdqu6
-    Les associations peuvent signaler leurs interventions en remplissant ce formulaire : https://forms.gle/PsNSuHHjTTgwQMmVA
+    ✉️ Vous pouvez nous contacter par courrier électronique à l'adresse suivante : [email protected] <br>
+    📝 Aidez-nous à signaler plus de personnes dans le besoin en remplissant ce formulaire : https://forms.gle/nZNCUVog9ka2Vdqu6 <br>
+    📝 Les associations peuvent signaler leurs interventions en remplissant ce formulaire : https://forms.gle/PsNSuHHjTTgwQMmVA
     </div>
     """
 

src/utils.py

@@ -9,22 +9,54 @@ BORDER_COLOR = "black"
 
 def parse_gg_sheet(url):
     url = url.replace("edit#gid=", "export?format=csv&gid=")
-    print(url)
     df = pd.read_csv(url, on_bad_lines="warn")
+    return df
 
-    # parse latlng (column 4) to [lat, lng]
-    def parse_latlng(latlng):
-        try:
-            lat, lng = latlng.split(",")
-            return [float(lat), float(lng)]
-        except Exception as e:
-            print(f"Error parsing latlng: {e}")
-            return None
-
-    if df.shape[1] > 4:
-        df = df.assign(latlng=df.iloc[:, 4].apply(parse_latlng))
+# Session for Requests
+# session = requests.Session()
+# @st.cache_data(persist=True)
+# def parse_latlng_from_link(url):
+#     try:
+#         # extract latitude and longitude from gmaps link
+#         if "@" not in url:
+#             resp = session.head(url, allow_redirects=True)
+#             url = resp.url
+#         latlng = url.split("@")[1].split(",")[0:2]
+#         return [float(latlng[0]), float(latlng[1])]
+#     except Exception as e:
+#         return None
+
+def add_latlng_col(df, process_column):
+    """Add a latlng column to the dataframe"""
+    df = df.assign(latlng=df.iloc[:, process_column].apply(parse_latlng))
     return df
 
+# parse latlng (column 4) to [lat, lng]
+import re
+def parse_latlng(latlng):
+    if pd.isna(latlng):
+        return None
+        # lat, lng = latlng.split(",")
+        # return [float(lat), float(lng)]
+
+    try:
+        # check if it matches (30.9529832, -7.1010705) or (30.9529832,-7.1010705)
+        if re.match(r"\(\d+\.\d+,\s?-\d+\.\d+\)", latlng):
+            lat, lng = latlng[1:-1].split(",")
+            return [float(lat), float(lng)]
+        # check of it matches 30.9529832, -7.1010705 or 30.9529832,-7.1010705
+        elif re.match(r"\d+\.\d+,\s?-\d+\.\d+", latlng):
+            lat, lng = latlng.split(",")
+            return [float(lat), float(lng)]
+        # check if it matches 30,9529832, -7,1010705 or 30,9529832,-7,1010705, match1=30,9529832 and match2=-7,1010705
+        elif re.match(r"\d+,\d+,\s?-\d+,\d+", latlng):
+            d1, d2, d3, d4 = latlng.split(",")
+            return [float(".".join([d1, d2])), float(".".join([d3, d4]))]
+    except Exception as e:
+        print(f"Error parsing latlng: {latlng}  Reason: {e}")
+        return None
+    print(f"Error parsing latlng: {latlng}")
+    return None
 
 def add_epicentre_to_map(map_obj):
     icon_epicentre = folium.plugins.BeautifyIcon(