Update app.py

With contens from app_fab.py

app.py

@@ -6,12 +6,12 @@ from FSM import view
 import pymongo
 import uuid
 import datetime
+import pickle
 
 st.set_page_config(layout="wide")
 
 #### Handling the db
-
-#With this piece I connect to the  
+   
 @st.cache_resource()
 def get_database_client():
     client = pymongo.MongoClient(st.secrets["mongodb_string"])
@@ -48,7 +48,6 @@ with st.sidebar:
     st.write("Versione di prova")
 
 
-
 #### DATA
 # This part of the code deals with the data
 # In the future we will precompute this a load it once not every time the app reruns
@@ -56,21 +55,54 @@ with st.sidebar:
 # This is a stand-in for the data that tell us the colors on the map,
 # I would suggest we precompute these and make the number proportional to the amount of money or projects in the given entity
 # We can load it from a csv file (for example)    
-color_data = pd.DataFrame({"reg_istat_code_num":[1,2,7],"color":[1,2,3]})
+
+regioni_counts = pickle.load(open("regioni.pkl",'rb'))
+reg_names = [key for key in regioni_counts.keys()]
+reg_counts = [value for value in regioni_counts.values()]
+
+color_data_regioni = pd.DataFrame({"reg_name":reg_names,"color":reg_counts})
+
+province_counts = pickle.load(open("province.pkl",'rb'))
+prov_names = [key for key in province_counts.keys()]
+prov_counts = [value for value in province_counts.values()]
+
+color_data_province = pd.DataFrame({"prov_name":prov_names,"color":prov_counts})
+
+comuni_counts = pickle.load(open("comuni.pkl",'rb'))
+com_names = [key for key in comuni_counts.keys()]
+com_counts = [value for value in comuni_counts.values()]
+
+color_data_comuni = pd.DataFrame({"name":com_names,"color":com_counts})
+
 
 # This is a stand-in for the real data of your mappatura
 # We can load it from a csv file (for example)
-mappatura_data = pd.DataFrame(
-    {
-    "Progetto":["NGO1","NGO2"],
-    "Ente Finanziatore":["Fondazione Ulaop CRT","Con i Bambini"],
-    "Linea di finanziamento":["Attivià ordinarie","Un passo avanti"],
-    "Target":["Bambini","Famiglie"],
-    "Ambito territoriale":["Locale","Nazionale"],
-    "Comuni":["Torino","Asti, Firenze, Milano, Napoli"],
-    "Conteggio":[1,2]
-    }
-    )
+# mappatura_data = pd.DataFrame(
+#    {
+#    "Progetto":["NGO1","NGO2"],
+#    "Ente Finanziatore":["Fondazione Ulaop CRT","Con i Bambini"],
+#    "Linea di finanziamento":["Attivià ordinarie","Un passo avanti"],
+#    "Target":["Bambini","Famiglie"],
+#    "Ambito territoriale":["Locale","Nazionale"],
+#    "Comuni":["Torino","Asti, Firenze, Milano, Napoli"],
+#    "Conteggio":[1,2]
+#    }
+#    )
+
+#Load data method 1: load data from CSV:
+#df = pd.read_csv('data/Database_poverta_educativa_beta_exp.csv', sep='|', encoding="latin-1")
+
+#Load data method 2: import a MongoDB collection:
+client = pymongo.MongoClient("mongodb+srv://mappatura_poved:U2Wx9TV46RcZT9Yl@cluster0.4w0zgb1.mongodb.net/?uuidRepresentation=standard")
+col = client['poverta_educativa']['database_mappatura']
+
+#select columns from the dataframe
+#cursor = col.find({}, {"livello_analisi": 1, "titolo": 1, "ente_finanziatore": 1, "linea_finanz_bando": 1, "tipo_finanziatore": 1, "ambito_territoriale": 1, "apprendimento_privaz_edu": 1, "obiettivo_sintetico": 1, "attivita_sintetico": 1, "Target": 1, "Capofila": 1, "Partner": 1,"Data_inizio": 1, "Data_fine": 1, "Comuni_intervento": 1, "Province_intervento": 1, "Regioni_intervento": 1})
+
+mappatura_tot = pd.DataFrame(list(col.find()))
+mappatura_data = mappatura_tot.drop(['_id','Budget','Budget completo di cofinanziamento (*se noto)'], axis=1)
+mappatura_data['Data inizio'] = mappatura_data["Data inizio"].astype(str)
+mappatura_data['Data fine (prevista o effettiva)'] = mappatura_data["Data fine (prevista o effettiva)"].astype(str)
 
 #### BUTTONS
 # These functions deal with button clicks, in this case we really only need one I think...
@@ -85,26 +117,59 @@ def clicked_go_up():
 # Use the Finite State Machine class to figure out what to show.
 map_name, cur_center, cur_zoom = st.session_state['view'].render()
 
-base_map = folium.Map(location=cur_center, zoom_start=cur_zoom)
+base_map = folium.Map(location=cur_center, zoom_start=cur_zoom, scrollWheelZoom=False)
 
 # This is the overlaid data, we can get more fancy here
-choropleth = folium.Choropleth(
+# choropleth = folium.Choropleth(
+#         geo_data=map_name,
+#         key_on='feature.properties.reg_istat_code_num',
+#         data=color_data,
+#         columns=["reg_istat_code_num","color"],
+#         line_opacity=0.75,
+#         highlight=True
+#     )
+
+
+# This is the tooltip section, depending on the level we show different tooltips
+# it could be made fancier, but this is just an example
+if st.session_state['view'].level == 0:
+
+    choropleth = folium.Choropleth(
         geo_data=map_name,
-        key_on='feature.properties.reg_istat_code_num',
-        data=color_data,
-        columns=["reg_istat_code_num","color"],
+        key_on='feature.properties.reg_name',
+        data=color_data_regioni,
+        columns=["reg_name","color"],
         line_opacity=0.75,
         highlight=True
     )
 
 
-# This is the tooltip section, depending on the level we show different tooltips
-# it could be made fancier, but this is just an example
-if st.session_state['view'].level == 0:
     tooltip = folium.GeoJsonTooltip(['reg_name'],aliases=[''])
+
+
 if st.session_state['view'].level == 1:
+
+    choropleth = folium.Choropleth(
+        geo_data=map_name,
+        key_on='feature.properties.prov_name',
+        data=color_data_province,
+        columns=["prov_name","color"],
+        line_opacity=0.75,
+        highlight=True
+    )
+
     tooltip = folium.GeoJsonTooltip(['prov_name'],aliases=[''])
 if st.session_state['view'].level == 2:
+
+    choropleth = folium.Choropleth(
+        geo_data=map_name,
+        key_on='feature.properties.name',
+        data=color_data_comuni,
+        columns=["name","color"],
+        line_opacity=0.75,
+        highlight=True
+    )
+
     tooltip = folium.GeoJsonTooltip(['name'],aliases=[''])
 
 tooltip.add_to(choropleth.geojson)
@@ -117,7 +182,7 @@ col1, col2 = st.columns([2,1])
 #### The first column is the map
 with col1:
     ### This button is for going up: when clicked it calls the "go_up function"
-    st.button(label=":arrow_up: Vai su",type='primary', on_click=clicked_go_up)
+    st.button(label=":arrow_up: Vai al livello superiore",type='primary', on_click=clicked_go_up)
 
     ### This is the map, here we call it, which means it will be displayed here.
     st_data = st_folium(base_map,height=600,width=600)
@@ -128,7 +193,6 @@ with col1:
 
         if "last_active_drawing" in st_data and st_data["last_active_drawing"] is not None:
 
-            #st.write(st_data["last_active_drawing"])
             last_level = st.session_state['view'].level
 
             ## Update the Finite State Machine 
@@ -148,32 +212,80 @@ with col1:
 #### The second column are the filters
 
 with col2:
-    st.multiselect(label="Filtra per Target",options=["Bambini","Famiglie","Altro"], key="filter_focus")
-    st.multiselect(label="Filtra per ambito territoriale",options=["Nazionale","Regionale","Locale"], key="filter_level")
+    st.multiselect(label="Filtra per Target",options=["Minori 0-6 anni","Minori 6-11 anni","Minori 11-14 anni","Minori 14-16 anni","Minori - residuale","BES - Disabilità","BES - Disturbi evolutivi specifici","BES – Svantaggio socio-economico, linguistico, culturale","Famiglie","Comunità","Minori Complessovo"], key="filter_target")
+    st.multiselect(label="Filtra per ambito territoriale",options=["Internazionale","Multi-regionale","Regionale","Locale"], key="filter_level")
+    st.multiselect(label="Filtra per obiettivo dell'iniziativa",options=["Contrasto alla dispersione scolastica","Elaborazione modelli e disseminazione di buone pratiche","Inclusione","Percorsi post-traumatici","Riduzione delle diseguaglianze territoriali","Sostegno alla genitorialità","Sviluppo comunità educante","Sviluppo delle competenze soft","Sviluppo delle competenze hard","Benessere psicologico"], key="filter_objective")
+    st.multiselect(label="Filtra per attività realizzate",options=["Accompagnamento psicologico e terapeutico","Attività sportive","Attività culturali e di valorizzazione del patrimonio (storico, artistico, naturalistico, paesaggistico)","Co-progettazione con minori e famiglie e protagonismo minorile","Formazione","Incentivo economico"," Rafforzamento dei servizi e delle reti territoriali","Interventi sugli spazi","Laboratori","Attività di ricerca e attività di raccolta dei bisogni","Socializzazione","Sostegno didattico e orientamento","out reaching-aggancio","Informazione, comunicazione territoriale e sensibilizzazione","attività e percorsi di giustizizia riparativa","altro"], key="filter_activities")
 
 
 #### DATA
 # This part of the code deals with the data table
 
-query_focus = " | ".join([f'Target == "{item}"' for item in st.session_state["filter_focus"]])
-query_level = " | ".join([f'"Ambito territoriale" == "{item}"' for item in st.session_state["filter_level"]])
+trues = [True for i in range(len(mappatura_data))]
+df_true = pd.DataFrame({'true':trues})
 
+if len(st.session_state["filter_target"]) > 0:
+    target_masks = sum([mappatura_data['Target'].str.contains(item) for item in st.session_state["filter_target"]])
+else:
+    target_masks = df_true['true']
 
-if st.session_state['view'].level == 2:
+if len(st.session_state["filter_level"]) > 0:
+    level_masks = sum([mappatura_data['Ambito territoriale'].str.contains(item) for item in st.session_state["filter_level"]])
+else:
+    level_masks = df_true['true']
+
+if len(st.session_state["filter_objective"]) > 0:
+    objective_masks = sum([mappatura_data['Obiettivo sintetico'].str.contains(item) for item in st.session_state["filter_objective"]])
+else:
+    objective_masks = df_true['true']
+
+if len(st.session_state["filter_activities"]) > 0:
+    # FIXME: `Attività sitentico`
+    activities_masks = sum([mappatura_data['Attività sintentico'].str.contains(item) for item in st.session_state["filter_activities"]])
+else:
+    activities_masks = df_true['true']
+
+#query_target = " | ".join([f'Target == "{item}"' for item in st.session_state["filter_target"]])
+#query_level = " | ".join([f'`Ambito territoriale` == "{item}"' for item in st.session_state["filter_level"]])
+#query_objective = " | ".join([f'`Obiettivo sintetico` == "{item}"' for item in st.session_state["filter_objective"]])
+#query_activities = " | ".join([f'`Attività sintetico` == "{item}"' for item in st.session_state["filter_activities"]])
+
+
+last_level=st.session_state['view'].level
+
+geo_masks = df_true['true']
+
+if last_level == 1:
+    #query_regione = '`Regioni di intervento` == "'+st.session_state['view'].hierarchy_names[-1]+'"'
+    geo_masks = mappatura_data['Regioni di intervento'].str.contains(st.session_state['view'].hierarchy_names[-1]) 
+
+
+if last_level == 2:
     if "last_active_drawing" in st_data and st_data["last_active_drawing"] is not None:
-        query_locations = 'Comuni == "'+st_data['last_active_drawing']['properties']['name']+'"'
+        #query_comune = '`Comuni di intervento` == "'+st_data['last_active_drawing']['properties']['name']+'"'
+        geo_masks = mappatura_data['Comuni di intervento'].str.contains(st_data['last_active_drawing']['properties']['name'])
+        
     else:
-        query_locations = ""
-else:
-    query_locations = ""
+        #query_provincia = '`Province di intervento` == "'+st.session_state['view'].hierarchy_names[-1]+'"'
+        geo_masks = mappatura_data['Province di intervento'].str.contains(st.session_state['view'].hierarchy_names[-1])
+        
+
+full_masks = target_masks & level_masks & objective_masks & activities_masks & geo_masks
+
+df_display = mappatura_data[full_masks]
+
+#queries = [query_target, query_level, query_objective, query_activities, query_comune, query_provincia, query_regione]
+
+#st.write(queries)
 
-queries = [query_focus,query_level, query_locations]
+#bracketed = ["("+query+")" for query in queries if (query != "")]
+#query = " & ".join(bracketed)
 
-bracketed = ["("+query+")" for query in queries if (query != "")]
-query = " & ".join(bracketed)
+#st.write(f"Query is: {query}")
 
+st.dataframe(data=df_display)
 
-if query == '':
-    st.dataframe(data=mappatura_data)  
-else:  
-    st.dataframe(data=mappatura_data.query("("+query+")"))  
+#if query == '':
+#    st.dataframe(data=mappatura_data)  
+#else:  
+#    st.dataframe(data=mappatura_data.query("("+query+")"))