Update src/streamlit_app.py

src/streamlit_app.py

@@ -36,8 +36,9 @@ def generate_poste_dat_file(df_shipping_mark_input, df_shipment_order_input):
         # **IMPORTANTE**: Adatta queste chiavi ai nomi effettivi delle colonne
         # nel tuo file ShipmentOrder_.xlsx, ignorando maiuscole/minuscole per la chiave.
         column_mapping = {
+            'rag. sociale destinatario': 'ragione_sociale_destinatario',
             'contatto destinatario': 'consignee_contact',
-            'nome contatto presso il destinatario': 'consignee_contact_name',
+            'nome contatto presso il destinatario': 'consignee_contact_name', # Aggiunto, se distinto
             'tipo via destinatario': 'consignee_street_type',
             'via destinatario': 'consignee_address',
             'numero civico destinatario': 'consignee_house_number',
@@ -53,19 +54,16 @@ def generate_poste_dat_file(df_shipping_mark_input, df_shipment_order_input):
             'codice servizio': 'service_code',
             'codice rif. prodotto': 'product_ref_code',
             'codice rif. destinatario': 'consignee_ref_code',
-            'valuta': 'currency',
             'importo contrassegno': 'cash_on_delivery_amount',
             'tipo pagamento': 'payment_type',
             'note': 'notes',
             'importo assicurata': 'insured_amount',
-            'identificativo collo': 'package_id', # Questo sarà sovrascritto dalla 'shippingmark' specifica per riga
+            'identificativo collo': 'package_id', # Sarà sovrascritto dalla 'shippingmark' specifica per riga
             'filiale': 'branch_code',
             'contenuto': 'content_description',
             'tipo contenuto': 'content_type',
-            'nazione mittente': 'sender_country',
             'nazione destinatario': 'consignee_country',
             'valore spedizione': 'shipment_value',
-            'tipo cliente': 'client_type',
             'classe spedizione': 'shipment_class',
             'addebito oneri': 'duty_charge',
             'tipo imballo': 'packaging_type',
@@ -76,7 +74,6 @@ def generate_poste_dat_file(df_shipping_mark_input, df_shipment_order_input):
             'numero cellulare destinario': 'consignee_mobile_number',
             'is_ass_percentuale': 'is_insured_percentage',
             'barcode_servizio_rit': 'barcode_service_return',
-            'id_tipo_spedizione': 'shipment_type_id',
             'dettaglio_bs': 'detail_bs',
             'note 2': 'notes_2',
             'codice ufficio frazionario': 'fractional_office_code',
@@ -98,133 +95,134 @@ def generate_poste_dat_file(df_shipping_mark_input, df_shipment_order_input):
         df_shipment_order['orderref'] = df_shipment_order['orderref'].astype(str).str.strip()
 
         # Pre-processa df_shipment_order per prendere la prima occorrenza di ogni orderRef.
-        # Questo gestisce la "testata si ripete solo una volta" per ordine.
         df_shipment_order_unique = df_shipment_order.drop_duplicates(subset=['orderref'], keep='first').copy()
 
-        # Fai la join: ogni riga di df_shipping_mark (che è una LDV) verrà arricchita
-        # con i dettagli dell'ordine presi dalla testata unica.
-        # 'how=left' assicura che tutte le shipping mark vengano mantenute.
-        df_merged = pd.merge(df_shipping_mark, df_shipment_order_unique, on='orderref', how='left')
+        # Fai la join: cruciale 'how=inner' per la join "secca"
+        df_merged = pd.merge(df_shipping_mark, df_shipment_order_unique, on='orderref', how='inner')
+
+        if df_merged.empty:
+            st.warning("Nessun record corrispondente trovato dopo la join. Assicurati che 'orderRef' sia presente e corrisponda in entrambi i file.")
+            return None, None
 
         # Dizionario per i valori di default/fissi per i campi obbligatori o predeterminati
-        default_fixed_values = {
-            # Dati Mittente Fissi (come richiesto)
-            'sender_contact_name': 'POSTE LOGISTICS',
-            'sender_street_type': 'VIA',
-            'sender_address': 'DA MODIFICARE', # Sarà concatenato con il numero civico
-            'sender_house_number': '19',
-            'sender_city': 'VIDIGULFO',
-            'sender_province': 'PV',
-            'sender_zip_code': '27040', # Esempio CAP per Vidigulfo
-            'sender_phone': '00000000000', # Default phone for sender if not provided
-            'sender_email': 'INFO@POSTELOGISTICS.COM', # Esempio email mittente
-            'sender_fiscal_id': '00000000000000000000', # Esempio fiscale mittente
-            'sender_filler': '', # Campo filler per il blocco mittente iniziale
-
-            # Valori fissi specifici dal documento o richieste utente
+        # Basato sul nuovo tracciato fornito
+        fixed_and_default_values = {
+            # Campi fissi Mittente (Campi 1-18)
+            'codice_identificativo_cliente': 'CLI000000009',
+            'id_ldv_fixed': 'FIL01',
+            'tipo_spedizione_fixed': 'N',
+            'attivazione_ritiro': 'N',
+            'stampa_ldv': 'N',
+            'data_spedizione': datetime.now().strftime("%Y%m%d"), # AAAAMMGG
+            'ritiro_mp': 'P',
+            'codice_indirizzo_mittente': 'IND00000001',
+            'ragione_sociale_mittente': 'POSTE LOGISTICS',
+            'contatto_mittente': 'POSTELOGISTIC',
+            'tipo_via_mittente': 'VIA',
+            'via_mittente': 'DA MODIFICARE', # Usato per combinare con civico
+            'numero_civico_mittente': '19', # Usato per combinare con via
+            'numero_telefono_mittente': '60898001',
+            'cap_mittente': '70019',
+            'localita_mittente': 'VIDIGULFO',
+            'provincia_mittente': 'PV',
+
+            # Altri campi fissi o con default obbligatorio
             'currency': 'EU',
             'client_type': 'MGCS',
-            'sender_country': 'ITA', # Fisso per Poste Logistics, Italia
-            'id_tipo_spedizione': 'N', # Richiesta utente
-
-            # Valori di default per campi obbligatori se non presenti e non fissi
-            'consignee_contact': 'SCONOSCIUTO',
-            'consignee_contact_name': 'SCONOSCIUTO',
-            'consignee_street_type': 'VIA',
-            'consignee_address': 'INDIRIZZO SCONOSCIUTO',
-            'consignee_house_number': 'SN', # Senza Numero
-            'consignee_phone': '00000000000',
-            'consignee_zip_code': '00000',
-            'consignee_city': 'CITTA SCONOSCIUTA',
-            'consignee_province': 'XX',
-            'num_packages': 1, # Default 1 collo se non specificato
-            'package_weight': 1, # Default 1 grammo se non specificato
-            'service_code': 'STD', # Esempio di default per servizio
-            'branch_code': '00', # Esempio di default per filiale
-            'is_insured_percentage': 'N', # Default Non assicurata
-            'undelivered_action': 'R' # Default Restituire
+            'sender_country': 'ITA',
+            'service_code': 'STD', # Default se non specificato dal file
+            'branch_code': '00', # Default se non specificato dal file
+            'is_insured_percentage': 'N', # Default se non specificato dal file
+            'undelivered_action': 'R' # Default se non specificato dal file
         }
 
-        # Definizione dettagliata del layout del file .dat con nome campo, lunghezza, tipo di padding, decimali, obbligatorietà
+        # Definizione dettagliata del layout del file .dat con nome campo, lunghezza, tipo di padding, decimali, obbligatorietà, source_type
+        # Source_type: 'fixed' (valore dal dizionario fixed_and_default_values), 'file' (valore dal DataFrame unito), 'derived' (calcolato)
         dat_format_spec = [
-            # Campi Mittente Assunti (per occupare i primi 334 caratteri non specificati)
-            {'name': 'sender_contact_name',      'length': 20,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True},
-            {'name': 'sender_street_type',       'length': 5,   'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True},
-            {'name': 'sender_address',           'length': 30,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True},
-            {'name': 'sender_house_number',      'length': 5,   'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True},
-            {'name': 'sender_city',              'length': 30,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True},
-            {'name': 'sender_province',          'length': 2,   'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True},
-            {'name': 'sender_zip_code',          'length': 9,   'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True},
-            {'name': 'sender_phone',             'length': 15,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True},
-            {'name': 'sender_email',             'length': 50,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False},
-            {'name': 'sender_fiscal_id',         'length': 20,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False},
-            {'name': 'sender_filler',            'length': 148, 'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False}, # Filler per arrivare a 334 caratteri totali per il blocco mittente
-
-            # Dettagli Destinatario (Campi 21-28, dal documento)
-            {'name': 'consignee_contact',        'length': 20, 'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True},
-            {'name': 'consignee_contact_name',   'length': 20, 'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False}, # Aggiunto, spesso distinto da contact
-            {'name': 'consignee_street_type',    'length': 5,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True},
-            {'name': 'consignee_address',        'length': 30, 'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True},
-            {'name': 'consignee_house_number',   'length': 5,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True},
-            {'name': 'consignee_phone',          'length': 15, 'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True},
-            {'name': 'consignee_zip_code',       'length': 9,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True},
-            {'name': 'consignee_city',           'length': 30, 'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True},
-            {'name': 'consignee_province',       'length': 2,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True},
+            # BLOCCO MITTENTE FISSO (Campi 1-18 da nuova tabella)
+            {'name': 'codice_identificativo_cliente', 'length': 12, 'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True, 'source_type': 'fixed'}, # 1
+            {'name': 'id_ldv_fixed',                'length': 42, 'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True, 'source_type': 'fixed'}, # 2
+            {'name': 'tipo_spedizione_fixed',       'length': 1,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True, 'source_type': 'fixed'}, # 3
+            {'name': 'attivazione_ritiro',          'length': 1,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True, 'source_type': 'fixed'}, # 4
+            {'name': 'stampa_ldv',                  'length': 1,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True, 'source_type': 'fixed'}, # 5
+            {'name': 'orderref',                    'length': 25, 'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True, 'source_type': 'file'}, # 6 (Numero Riferimento Cliente - dal file)
+            {'name': 'data_spedizione',             'length': 8,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True, 'source_type': 'fixed'}, # 7 (Data corrente)
+            {'name': 'ritiro_mp',                   'length': 1,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True, 'source_type': 'fixed'}, # 8
+            {'name': 'codice_indirizzo_mittente',   'length': 20, 'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True, 'source_type': 'fixed'}, # 9
+            {'name': 'ragione_sociale_mittente',    'length': 40, 'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True, 'source_type': 'fixed'}, # 10
+            {'name': 'contatto_mittente',           'length': 20, 'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True, 'source_type': 'fixed'}, # 11
+            {'name': 'tipo_via_mittente',           'length': 5,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True, 'source_type': 'fixed'}, # 12
+            {'name': 'via_mittente_completa',       'length': 30, 'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True, 'source_type': 'derived'}, # 13+14 (Via + Civico)
+            {'name': 'numero_telefono_mittente',    'length': 15, 'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True, 'source_type': 'fixed'}, # 15
+            {'name': 'cap_mittente',                'length': 9,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True, 'source_type': 'fixed'}, # 16
+            {'name': 'localita_mittente',           'length': 30, 'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True, 'source_type': 'fixed'}, # 17
+            {'name': 'provincia_mittente',          'length': 2,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True, 'source_type': 'fixed'}, # 18
+
+            # Dettagli Destinatario (Campi 19, e poi 21-65 dalla vecchia numerazione)
+            {'name': 'ragione_sociale_destinatario','length': 40, 'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True, 'source_type': 'file'}, # 19
+            {'name': 'consignee_contact',           'length': 20, 'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True, 'source_type': 'file'}, # 21 (from old 21)
+            {'name': 'consignee_contact_name',      'length': 20, 'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False, 'source_type': 'file'}, # Aggiunto, se distinto
+            {'name': 'consignee_street_type',       'length': 5,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True, 'source_type': 'file'}, # 22
+            {'name': 'consignee_address',           'length': 30, 'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True, 'source_type': 'file'}, # 23
+            {'name': 'consignee_house_number',      'length': 5,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True, 'source_type': 'file'}, # 24
+            {'name': 'consignee_phone',             'length': 15, 'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True, 'source_type': 'file'}, # 25
+            {'name': 'consignee_zip_code',          'length': 9,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True, 'source_type': 'file'}, # 26
+            {'name': 'consignee_city',              'length': 30, 'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True, 'source_type': 'file'}, # 27
+            {'name': 'consignee_province',          'length': 2,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True, 'source_type': 'file'}, # 28
 
             # Dettagli Colli e Spedizione (Campi 29-33) - zero-padded a sinistra
-            {'name': 'num_packages',             'length': 3,  'numeric_pad_zero': True, 'decimals': 0, 'mandatory': True},
-            {'name': 'package_weight',           'length': 7,  'numeric_pad_zero': True, 'decimals': 0, 'mandatory': True},
-            {'name': 'package_width',            'length': 5,  'numeric_pad_zero': True, 'decimals': 0, 'mandatory': False},
-            {'name': 'package_height',           'length': 5,  'numeric_pad_zero': True, 'decimals': 0, 'mandatory': False},
-            {'name': 'package_depth',            'length': 5,  'numeric_pad_zero': True, 'decimals': 0, 'mandatory': False},
+            {'name': 'num_packages',                'length': 3,  'numeric_pad_zero': True, 'decimals': 0, 'mandatory': True, 'source_type': 'file'}, # 29
+            {'name': 'package_weight',              'length': 7,  'numeric_pad_zero': True, 'decimals': 0, 'mandatory': True, 'source_type': 'file'}, # 30
+            {'name': 'package_width',               'length': 5,  'numeric_pad_zero': True, 'decimals': 0, 'mandatory': False, 'source_type': 'file'}, # 31
+            {'name': 'package_height',              'length': 5,  'numeric_pad_zero': True, 'decimals': 0, 'mandatory': False, 'source_type': 'file'}, # 32
+            {'name': 'package_depth',               'length': 5,  'numeric_pad_zero': True, 'decimals': 0, 'mandatory': False, 'source_type': 'file'}, # 33
 
             # Servizio e Riferimenti (Campi 34-36)
-            {'name': 'service_code',             'length': 3,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True},
-            {'name': 'product_ref_code',         'length': 20, 'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False},
-            {'name': 'consignee_ref_code',       'length': 20, 'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False},
+            {'name': 'service_code',                'length': 3,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True, 'source_type': 'file'}, # 34 (Default from previous context)
+            {'name': 'product_ref_code',            'length': 20, 'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False, 'source_type': 'file'}, # 35
+            {'name': 'consignee_ref_code',          'length': 20, 'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False, 'source_type': 'file'}, # 36
 
             # Valuta, Contrassegno, Note, Assicurazione (Campi 37-41)
-            {'name': 'currency',                 'length': 2,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True},
-            {'name': 'cash_on_delivery_amount',  'length': 9,  'numeric_pad_zero': True, 'decimals': 2, 'mandatory': False},
-            {'name': 'payment_type',             'length': 3,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False},
-            {'name': 'notes',                    'length': 30, 'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False},
-            {'name': 'insured_amount',           'length': 10, 'numeric_pad_zero': True, 'decimals': 2, 'mandatory': False},
+            {'name': 'currency',                    'length': 2,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True, 'source_type': 'fixed'}, # 37 (Constant: EU)
+            {'name': 'cash_on_delivery_amount',     'length': 9,  'numeric_pad_zero': True, 'decimals': 2, 'mandatory': False, 'source_type': 'file'}, # 38
+            {'name': 'payment_type',                'length': 3,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False, 'source_type': 'file'}, # 39
+            {'name': 'notes',                       'length': 30, 'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False, 'source_type': 'file'}, # 40
+            {'name': 'insured_amount',              'length': 10, 'numeric_pad_zero': True, 'decimals': 2, 'mandatory': False, 'source_type': 'file'}, # 41
 
             # Identificativo Collo e Filiale (Campi 42-43)
-            {'name': 'shippingmark',             'length': 25, 'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True}, # Sarà prefissato con 'CLI000000009'
-            {'name': 'branch_code',              'length': 2,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True},
+            {'name': 'shippingmark',                'length': 25, 'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True, 'source_type': 'derived'}, # 42 (Prefixed with CLI000000009)
+            {'name': 'branch_code',                 'length': 2,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True, 'source_type': 'file'}, # 43 (Default from previous context)
 
             # Contenuto e Paesi (Campi 44-48)
-            {'name': 'content_description',      'length': 30, 'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False},
-            {'name': 'content_type',             'length': 1,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False},
-            {'name': 'sender_country',           'length': 3,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False},
-            {'name': 'consignee_country',        'length': 3,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False},
-            {'name': 'shipment_value',           'length': 10, 'numeric_pad_zero': True, 'decimals': 2, 'mandatory': False},
+            {'name': 'content_description',         'length': 30, 'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False, 'source_type': 'file'}, # 44
+            {'name': 'content_type',                'length': 1,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False, 'source_type': 'file'}, # 45
+            {'name': 'sender_country',              'length': 3,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False, 'source_type': 'fixed'}, # 46 (ITA Fixed)
+            {'name': 'consignee_country',           'length': 3,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False, 'source_type': 'file'}, # 47
+            {'name': 'shipment_value',              'length': 10, 'numeric_pad_zero': True, 'decimals': 2, 'mandatory': False, 'source_type': 'file'}, # 48
 
             # Tipo Cliente e Classe Spedizione (Campi 49-50)
-            {'name': 'client_type',              'length': 4,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True},
-            {'name': 'shipment_class',           'length': 5,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False},
+            {'name': 'client_type',                 'length': 4,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True, 'source_type': 'fixed'}, # 49 (Constant: MGCS)
+            {'name': 'shipment_class',              'length': 5,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False, 'source_type': 'file'}, # 50
 
             # Oneri, Imballo, Fiscale (Campi 51-53)
-            {'name': 'duty_charge',              'length': 1,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False},
-            {'name': 'packaging_type',           'length': 2,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False},
-            {'name': 'fiscal_id',                'length': 20, 'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False},
+            {'name': 'duty_charge',                 'length': 1,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False, 'source_type': 'file'}, # 51
+            {'name': 'packaging_type',              'length': 2,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False, 'source_type': 'file'}, # 52
+            {'name': 'fiscal_id',                   'length': 20, 'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False, 'source_type': 'file'}, # 53
 
             # Barcode Servizio e Contatti Aggiuntivi (Campi 54-57)
-            {'name': 'barcode_service',          'length': 3,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False},
-            {'name': 'consignee_email',          'length': 50, 'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False},
-            {'name': 'consignee_mobile_prefix',  'length': 4,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False},
-            {'name': 'consignee_mobile_number',  'length': 10, 'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False},
-
-            # Altri Campi (Campi 58-65)
-            {'name': 'is_insured_percentage',    'length': 1,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False},
-            {'name': 'barcode_service_return',   'length': 3,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False},
-            {'name': 'id_tipo_spedizione',       'length': 2,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': True},
-            {'name': 'detail_bs',                'length': 6,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False},
-            {'name': 'notes_2',                  'length': 50, 'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False},
-            {'name': 'fractional_office_code',   'length': 11, 'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False},
-            {'name': 'customer_post_box',        'length': 11, 'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False},
-            {'name': 'undelivered_action',       'length': 1,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False}
+            {'name': 'barcode_service',             'length': 3,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False, 'source_type': 'file'}, # 54
+            {'name': 'consignee_email',             'length': 50, 'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False, 'source_type': 'file'}, # 55
+            {'name': 'consignee_mobile_prefix',     'length': 4,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False, 'source_type': 'file'}, # 56
+            {'name': 'consignee_mobile_number',     'length': 10, 'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False, 'source_type': 'file'}, # 57
+
+            # Altri Campi (Campi 58-65) - Nota: Campo 60 (id_tipo_spedizione) ora mappato al Campo 3
+            {'name': 'is_insured_percentage',       'length': 1,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False, 'source_type': 'file'}, # 58
+            {'name': 'barcode_service_return',      'length': 3,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False, 'source_type': 'file'}, # 59
+            {'name': 'detail_bs',                   'length': 6,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False, 'source_type': 'file'}, # 61
+            {'name': 'notes_2',                     'length': 50, 'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False, 'source_type': 'file'}, # 62
+            {'name': 'fractional_office_code',      'length': 11, 'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False, 'source_type': 'file'}, # 63
+            {'name': 'customer_post_box',           'length': 11, 'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False, 'source_type': 'file'}, # 64
+            {'name': 'undelivered_action',          'length': 1,  'numeric_pad_zero': False, 'decimals': 0, 'mandatory': False, 'source_type': 'file'} # 65
         ]
 
         # Genera il contenuto del file .dat
@@ -232,72 +230,52 @@ def generate_poste_dat_file(df_shipping_mark_input, df_shipment_order_input):
         for index, row in df_merged.iterrows():
             record_parts = []
             
-            # Pre-processa i campi mittente per la costruzione del record
-            current_sender_address = f"{default_fixed_values['sender_street_type'].strip()} {default_fixed_values['sender_address'].strip()} {default_fixed_values['sender_house_number'].strip()}"
-            current_sender_address = current_sender_address.strip()
-            # Tronca se troppo lunga
-            current_sender_address = current_sender_address[:dat_format_spec[2]['length']]
-
-
             for field_spec in dat_format_spec:
                 field_name = field_spec['name']
                 length = field_spec['length']
                 is_numeric_zero_padded = field_spec['numeric_pad_zero']
                 dec_places = field_spec['decimals']
                 is_mandatory = field_spec['mandatory']
+                source_type = field_spec['source_type']
+                
+                value_to_format = ''
 
-                value = None
-
-                # Gestione dei campi mittente fissi
-                if field_name == 'sender_contact_name':
-                    value = default_fixed_values['sender_contact_name']
-                elif field_name == 'sender_street_type':
-                    value = default_fixed_values['sender_street_type']
-                elif field_name == 'sender_address':
-                    value = current_sender_address # Usa l'indirizzo combinato
-                elif field_name == 'sender_house_number':
-                    value = default_fixed_values['sender_house_number']
-                elif field_name == 'sender_city':
-                    value = default_fixed_values['sender_city']
-                elif field_name == 'sender_province':
-                    value = default_fixed_values['sender_province']
-                elif field_name == 'sender_zip_code':
-                    value = default_fixed_values['sender_zip_code']
-                elif field_name == 'sender_phone':
-                    value = default_fixed_values['sender_phone']
-                elif field_name == 'sender_email':
-                    value = default_fixed_values['sender_email']
-                elif field_name == 'sender_fiscal_id':
-                    value = default_fixed_values['sender_fiscal_id']
-                elif field_name == 'sender_filler':
-                    value = default_fixed_values['sender_filler']
-                # Gestione degli altri campi fissi da default_fixed_values
-                elif field_name in default_fixed_values and field_name not in ['sender_address', 'sender_street_type', 'sender_house_number', 'sender_city', 'sender_province', 'sender_zip_code', 'sender_phone', 'sender_email', 'sender_fiscal_id', 'sender_filler']:
-                    value = default_fixed_values[field_name]
-                else:
-                    value = row.get(field_name)
-
-                # Gestione dei valori mancanti (NaN) in pandas
-                if pd.isna(value) or value == '':
-                    if is_mandatory:
-                        # Se è obbligatorio e mancante, usa un default basato sul tipo di campo
-                        if is_numeric_zero_padded:
-                            value = '0' * length # Default numerico (zero)
-                        else:
-                            value = ' ' * length # Default stringa (spazi)
+                if source_type == 'fixed':
+                    if field_name == 'via_mittente_completa':
+                        # Costruisci l'indirizzo completo del mittente
+                        full_address = f"{fixed_and_default_values['tipo_via_mittente'].strip()} {fixed_and_default_values['via_mittente'].strip()} {fixed_and_default_values['numero_civico_mittente'].strip()}"
+                        value_to_format = full_address.strip()
                     else:
-                        value = '' # Se non obbligatorio, lascia vuoto
+                        value_to_format = fixed_and_default_values.get(field_name, '')
+                elif source_type == 'file':
+                    value_to_format = row.get(field_name)
+                    # Gestisci NaN dopo la merge, se il campo dal file non è presente per quel record
+                    if pd.isna(value_to_format):
+                        value_to_format = ''
+                elif source_type == 'derived':
+                    if field_name == 'shippingmark':
+                        # Campo 42: Identificativo collo (shippingMark) prefissato
+                        original_shipping_mark = row.get('shippingmark', '')
+                        if pd.isna(original_shipping_mark):
+                            original_shipping_mark = ''
+                        value_to_format = f"CLI000000009{str(original_shipping_mark).strip()}"
+                    # Altri campi derivati se ce ne fossero
+                    elif field_name == 'data_spedizione':
+                        value_to_format = datetime.now().strftime("%Y%m%d")
+                    else:
+                        value_to_format = '' # Fallback per derivati non implementati
                 
                 # Conversione in stringa e pulizia iniziale
-                value_str = str(value).strip()
+                value_str = str(value_to_format).strip()
 
-                # Gestione speciale per 'shippingmark' (campo 42) per aggiungere il prefisso CLI
-                if field_name == 'shippingmark':
-                    if value_str:
-                        value_str = f"CLI000000009{value_str}"
+                # Se il campo è obbligatorio e il valore è ancora vuoto dopo aver cercato, usa il default
+                if is_mandatory and not value_str:
+                    if is_numeric_zero_padded:
+                        value_str = '0' * length
                     else:
-                        value_str = "CLI000000009"
+                        value_str = ' ' * length # Riempie con spazi se stringa obbligatoria vuota
 
+                # Formattazione finale (allineamento, padding)
                 if is_numeric_zero_padded:
                     try:
                         clean_value = value_str.replace(',', '.') # Sostituisce virgole con punti
@@ -308,8 +286,8 @@ def generate_poste_dat_file(df_shipping_mark_input, df_shipment_order_input):
                         else: # Campi numerici interi
                             formatted_value = str(int(float(clean_value))).rjust(length, '0')
                     except ValueError:
-                        formatted_value = '0'.rjust(length, '0') # Se la conversione fallisce, riempi con zeri
-                else: # Default: allinea a sinistra con spazi
+                        formatted_value = '0'.rjust(length, '0') # Fallback se la conversione fallisce
+                else:
                     formatted_value = value_str.ljust(length)
                 
                 # Trunca se la stringa è più lunga della lunghezza specificata