Fix Tamil translation: remove corrupted entries, add conversational idioms and Unicode-aware spoken Tamil grammar

pipeline/custom_dictionary.json

@@ -1,129 +1,106 @@
 {
     "spicy_map": {
-        "முத்தம்": "உணர்ச்சிகரமான முத்தம்",
+        "முத்தம்": "இதழ் முத்தம்",
         "உடல்": "அழகிய மேனி",
-        "காதல்": "தீவிர மோகம்",
+        "காதல்": "தீவிர காதல்",
         "படுக்கை": "அந்தரங்க படுக்கை",
-        "தொடுதல்": "தீண்டல்",
-        "அணைப்பு": "இறுக்கமான அணைப்பு"
+        "தொடுதல்": "மென்மையான தீண்டல்",
+        "அணைப்பு": "இறுக்கமான அணைப்பு",
+        "மூச்சு": "சூடான மூச்சுக்காற்று",
+        "இதயம்": "துடிக்கும் இதயம்",
+        "விரல்கள்": "மெல்லிய விரல்கள்",
+        "பார்வை": "மயக்கும் பார்வை",
+        "குரல்": "கிசுகிசுக்கும் குரல்",
+        "கண்கள்": "காதல் கண்கள்",
+        "உதடு": "மெல்லிய இதழ்கள்",
+        "நெருக்கம்": "அந்தரங்க நெருக்கம்"
     },
     "colloquial_map": {
         "செய்கிறேன்": "பண்றேன்",
         "செய்கிறாய்": "பண்ற",
         "செய்கிறான்": "பண்றான்",
-        "செய்கிறாள்": "பண்றa",
+        "செய்கிறாள்": "பண்றா",
         "செய்கிறார்கள்": "பண்றாங்க",
+        "செய்கிறீர்கள்": "பண்றீங்க",
         "செய்வேன்": "பண்ணுவேன்",
-        "செய்வோம்": "பண்ணuவோம்",
+        "செய்வோம்": "பண்ணுவோம்",
         "செய்தேன்": "பண்ணினேன்",
+        "செய்தீர்கள்": "பண்ணீங்க",
+        "செய்தார்கள்": "பண்ணாங்க",
         "நன்றாக": "நல்லா",
         "இங்கே": "இங்க",
         "அங்கே": "அங்க",
         "எங்கே": "எங்க",
         "மிகவும்": "ரொம்ப",
-        "மகிழ்ச்சி": "Happy",
+        "மகிழ்ச்சி": "சந்தோஷம்",
+        "மகிழ்ச்சியாக": "சந்தோஷமா",
+        "சந்தோஷமாக": "சந்தோஷமா",
         "பெரியது": "பெருசு",
         "சிறிய": "சின்ன",
         "சிறியது": "சின்னது",
         "வருகிறேன்": "வர்றேன்",
+        "வருகிறீர்கள்": "வர்றீங்க",
         "போகிறேன்": "போறேன்",
+        "போகிறீர்கள்": "போறீங்க",
         "இருக்கிறேன்": "இருக்கேன்",
+        "இருக்கிறீர்கள்": "இருக்கீங்க",
+        "இருக்கிறாய்": "இருக்க",
+        "இருக்கிறான்": "இருக்கான்",
+        "இருக்கிறாள்": "இருக்கா",
+        "இருக்கிறார்கள்": "இருக்காங்க",
         "இருக்கிறது": "இருக்கு",
+        "இருக்கின்றன": "இருக்கு",
         "கொண்டிருக்கிறேன்": "இருக்கேன்",
         "உள்ளது": "இருக்கு",
         "இல்லை": "இல்ல",
         "யார்": "யாரு",
         "ஏன்": "எதுக்கு",
-        "எப்படி": "எப்டி",
-        "அப்படியா": "அப்டியா",
-        "சரி": "ஓகே",
+        "அப்படியா": "அப்படியா",
+        "சரி": "சரி",
         "உணவு": "சாப்பாடு",
-        "நீர்": "தண்ணi",
+        "நீர்": "தண்ணீர்",
         "தாய்": "அம்மா",
         "தந்தை": "அப்பா",
-        "sகோதரர்": "அண்ணன்",
-        "sகோதரி": "அக்கா",
+        "சகோதரர்": "அண்ணன்",
+        "சகோதரி": "அக்கா",
         "அவர்கள்": "அவங்க",
         "இவர்கள்": "இவங்க",
         "அவள்": "அவ",
         "இவள்": "இவ",
-        "மகிழ்ச்சிய��க": "Happy-ஆ",
-        "சந்தோஷமாக": "Happy-ஆ",
-        "கதை": "Story",
-        "முயற்சி": "Try",
-        "உதவி": "Help",
-        "நன்றி": "Thanks",
-        "மன்னிக்கவும்": "Sorry",
-        "தயவுசெய்து": "Please",
-        "கோபமாக": "Angry-ஆ",
-        "கோபம்": "Angry",
-        "அறை": "Room",
-        "வாழ்க்கை": "Life",
-        "அழகாக": "Beautiful-ஆ",
-        "அழகு": "Beautiful",
-        "விருப்பம்": "Like",
-        "பகிர்": "Share",
-        "உணவகம்": "Hotel",
-        "பேருந்து": "Bus",
-        "மிதிவண்டி": "Cycle",
-        "மின்னஞ்சல்": "Email",
-        "கணினி": "System",
-        "அலுவலகம்": "Office",
-        "பள்ளி": "School",
-        "கல்லூரி": "College",
-        "மருத்துவமனை": "Hospital",
-        "வங்கி": "Bank",
-        "நேரம்": "Time",
-        "நண்பன்": "Friend",
-        "காதலி": "Girlfriend",
-        "காதலன்": "Boyfriend",
-        "வேலை": "Work",
-        "பயணம்": "Trip",
-        "பயிற்சி": "Practice",
-        "சோதனை": "Test",
-        "ஆசிரியர்": "Teacher",
-        "செல்கிறேன்": "போறேன்",
-        "செல்கிறாய்": "போற",
-        "செல்கிறான்": "போறான்",
-        "செல்கிறாள்": "போறa",
+        "அவன்": "அவன்",
+        "இவன்": "இவன்",
+        "நீங்கள்": "நீங்க",
+        "உங்கள்": "உங்க",
+        "உங்களுடைய": "உங்க",
+        "என்னிடம்": "என்கிட்ட",
+        "உன்னிடம்": "உன்கிட்ட",
+        "உங்களிடம்": "உங்ககிட்ட",
+        "அவனிடம்": "அவன்கிட்ட",
+        "அவளிடம்": "அவகிட்ட",
+        "அவர்களிடம்": "அவங்ககிட்ட",
         "பார்த்தேன்": "பாத்தேன்",
         "பார்க்கிறேன்": "பாக்குறேன்",
+        "பார்க்கிறீர்கள்": "பாக்குறீங்க",
         "பார்க்கலாம்": "பாக்கலாம்",
-        "நண்பரே": "Friend",
-        "நண்பர்களே": "Friends",
-        "அலுவலகத்திற்கு": "Office-க்கு",
-        "பள்ளிக்கு": "School-க்கு",
-        "கல்லூரிக்கு": "College-க்கு",
-        "மருத்துவமனைக்கு": "Hospital-க்கு",
-        "வீட்டிற்கு": "வீட்டுக்கு",
+        "செல்கிறேன்": "போறேன்",
+        "செல்கிறீர்கள்": "போறீங்க",
+        "சொல்கிறேன்": "சொல்றேன்",
+        "சொல்கிறீர்கள்": "சொல்றீங்க",
+        "கேட்கிறேன்": "கேக்குறேன்",
+        "கேட்கிறீர்கள்": "கேக்குறீங்க",
         "இப்போது": "இப்ப",
-        "பிறகு": "அப்றம்",
+        "பிறகு": "அப்புறம்",
+        "அப்போது": "அப்ப",
+        "எப்போது": "எப்ப",
         "உடன்": "கூட",
         "மட்டும்": "மட்டும்",
         "ஆனால்": "ஆனா",
         "அல்லது": "இல்லனா",
         "ஏனென்றால்": "ஏன்னா",
-        "ஒன்று": "1",
-        "இரண்டு": "2",
-        "மூன்று": "3",
-        "நான்கு": "4",
-        "ஐந்து": "5",
-        "ஆறு": "6",
-        "ஏழு": "7",
-        "எட்டு": "8",
-        "ஒன்பது": "9",
-        "பத்து": "10",
-        "பதினொன்று": "11",
-        "பன்னிரண்டு": "12",
-        "மணிக்கு": "மணிக்கு",
-        "ரூபாய்": "ரூபா",
-        "நூறு": "100",
-        "ஆயிரம்": "1000",
-        "லட்சம்": "லட்சம்",
-        "கோடி": "கோடி",
-        "என்னிடம்": "என்கிட்ட",
-        "உன்னிடம்": "உன்கிட்ட",
-        "அவனிடம்": "அவன்கிட்ட",
-        "அவளிடம்": "அவகிட்ட"
+        "ஏனெனில்": "ஏன்னா",
+        "அத���ால்": "அதனால",
+        "மெதுவாக": "மெதுவா",
+        "விரைவாக": "சீக்கிரம்",
+        "ஒன்றாக": "ஒண்ணா"
     }
 }

pipeline/translation.py

@@ -125,6 +125,32 @@ def _fetch_cloud_translation(text: str, target_lang: str = "Tamil") -> str:
 
     return text
 
+def tamil_boundary(word: str) -> str:
+    return r'(?<![\u0b80-\u0bff])' + re.escape(word) + r'(?![\u0b80-\u0bff])'
+
+# Clean English Conversational Idioms Mapping for instant natural spoken Tamil
+CONVERSATIONAL_IDIOMS = [
+    (r'(?i)^\s*how\s+are\s+you\s+(?:all\s+)?girls[\s\?\.\!]*$', 'பொண்ணுங்களா, எப்படி இருக்கீங்க?'),
+    (r'(?i)^\s*how\s+are\s+you\s+(?:all\s+)?(?:guys|boys)[\s\?\.\!]*$', 'பசங்களா, எப்படி இருக்கீங்க?'),
+    (r'(?i)^\s*how\s+are\s+you\s+all[\s\?\.\!]*$', 'எல்லாரும் எப்படி இருக்கீங்க?'),
+    (r'(?i)^\s*how\s+are\s+you\s+doing[\s\?\.\!]*$', 'எப்படி இருக்கீங்க?'),
+    (r'(?i)^\s*how\s+are\s+you[\s\?\.\!]*$', 'எப்படி இருக்கீங்க?'),
+    (r'(?i)^\s*what(?:\s+are|\'re)\s+you\s+doing[\s\?\.\!]*$', 'என்ன பண்றீங்க?'),
+    (r'(?i)^\s*where\s+are\s+you\s+going[\s\?\.\!]*$', 'எங்க போறீங்க?'),
+    (r'(?i)^\s*where\s+are\s+you[\s\?\.\!]*$', 'எங்க இருக்கீங்க?'),
+    (r'(?i)^\s*what\s+happened[\s\?\.\!]*$', 'என்ன ஆச்சு?'),
+    (r'(?i)^\s*what(?:\s+is|\'s)\s+up[\s\?\.\!]*$', 'என்ன சமாச்சாரம்?'),
+    (r'(?i)^\s*i\s+love\s+you\s+so\s+much[\s\?\.\!]*$', 'நான் உன்னை ரொம்ப காதலிக்கிறேன்'),
+    (r'(?i)^\s*i\s+love\s+you[\s\?\.\!]*$', 'நான் உன்னை காதலிக்கிறேன்'),
+    (r'(?i)^\s*i\s+miss\s+you\s+so\s+much[\s\?\.\!]*$', 'உன்னை ரொம்ப மிஸ் பண்றேன்'),
+    (r'(?i)^\s*i\s+miss\s+you[\s\?\.\!]*$', 'உன்னை மிஸ் பண்றேன்'),
+    (r'(?i)^\s*don\'?t\s+worry[\s\?\.\!]*$', 'கவலைப்படாதீங்க'),
+    (r'(?i)^\s*take\s+care[\s\?\.\!]*$', 'உடம்ப பாத்துக்கோங்க'),
+    (r'(?i)^\s*see\s+you\s+(?:later|soon)[\s\?\.\!]*$', 'அப்புறம் பாக்கலாம்'),
+    (r'(?i)^\s*good\s+morning[\s\?\.\!]*$', 'காலை வணக்கம்'),
+    (r'(?i)^\s*good\s+night[\s\?\.\!]*$', 'இனிய இரவு வணக்கம்'),
+]
+
 class Translator:
     def __init__(self):
         import json
@@ -134,45 +160,65 @@ class Translator:
 
     def get_default_maps(self):
         default_spicy = {
-            "முத்தம்": "உணர்ச்சிகரமான முத்தம்",
+            "முத்தம்": "இதழ் முத்தம்",
             "உடல்": "அழகிய மேனி",
-            "காதல்": "தீவிர மோகம்",
+            "காதல்": "தீவிர காதல்",
             "படுக்கை": "அந்தரங்க படுக்கை",
-            "தொடுதல்": "தீண்டல்",
+            "தொடுதல்": "மென்மையான தீண்டல்",
             "அணைப்பு": "இறுக்கமான அணைப்பு",
+            "மூச்சு": "சூடான மூச்சுக்காற்று",
+            "இதயம்": "துடிக்கும் இதயம்",
+            "விரல்கள்": "மெல்லிய விரல்கள்",
+            "பார்வை": "மயக்கும் பார்வை",
+            "குரல்": "கிசுகிசுக்கும் குரல்",
+            "கண்கள்": "காதல் கண்கள்",
+            "உதடு": "மெல்லிய இதழ்கள்",
+            "நெருக்கம்": "அந்தரங்க நெருக்கம்"
         }
         default_colloquial = {
             "செய்கிறேன்": "பண்றேன்",
             "செய்கிறாய்": "பண்ற",
             "செய்கிறான்": "பண்றான்",
-            "செய்கிறாள்": "பண்றa",
+            "செய்கிறாள்": "பண்றா",
             "செய்கிறார்கள்": "பண்றாங்க",
+            "செய்கிறீர்கள்": "பண்றீங்க",
             "செய்வேன்": "பண்ணுவேன்",
-            "செய்வோம்": "பண்ணuவோம்",
+            "செய்வோம்": "பண்ணுவோம்",
             "செய்தேன்": "பண்ணினேன்",
+            "செய்தீர்கள்": "பண்ணீங்க",
+            "செய்தார்கள்": "பண்ணாங்க",
             "நன்றாக": "நல்லா",
             "இங்கே": "இங்க",
             "அங்கே": "அங்க",
             "எங்கே": "எங்க",
             "மிகவும்": "ரொம்ப",
             "மகிழ்ச்சி": "சந்தோஷம்",
+            "மகிழ்ச்சியாக": "சந்தோஷமா",
+            "சந்தோஷமாக": "சந்தோஷமா",
             "பெரியது": "பெருசு",
             "சிறிய": "சின்ன",
             "சிறியது": "சின்னது",
             "வருகிறேன்": "வர்றேன்",
+            "வருகிறீர்கள்": "வர்றீங்க",
             "போகிறேன்": "போறேன்",
+            "போகிறீர்கள்": "போறீங்க",
             "இருக்கிறேன்": "இருக்கேன்",
+            "இருக்கிறீர்கள்": "இருக்கீங்க",
+            "இருக்கிறாய்": "இருக்க",
+            "இருக்கிறான்": "இருக்கான்",
+            "இருக்கிறாள்": "இருக்கா",
+            "இருக்கிறார்கள்": "இருக்காங்க",
             "இருக்கிறது": "இருக்கு",
+            "இருக்கின்றன": "இருக்கு",
             "கொண்டிருக்கிறேன்": "இருக்கேன்",
             "உள்ளது": "இருக்கு",
             "இல்லை": "இல்ல",
             "யார்": "யாரு",
             "ஏன்": "எதுக்கு",
-            "எப்படி": "எப்டி",
-            "அப்படியா": "அப்டியா",
-            "சரி": "ஓகே",
+            "அப்படியா": "அப்படியா",
+            "சரி": "சரி",
             "உணவு": "சாப்பாடு",
-            "நீர்": "தண்ணi",
+            "நீர்": "தண்ணீர்",
             "தாய்": "அம்மா",
             "தந்தை": "அப்பா",
             "சகோதரர்": "அண்ணன்",
@@ -181,85 +227,41 @@ class Translator:
             "இவர்கள்": "இவங்க",
             "அவள்": "அவ",
             "இவள்": "இவ",
-            "மகிழ்ச்சியாக": "Happy-ஆ",
-            "சந்தோஷமாக": "Happy-ஆ",
-            "மகிழ்ச்சி": "Happy",
-            "கதை": "Story",
-            "முயற்சி": "Try",
-            "உதவி": "Help",
-            "நன்றி": "Thanks",
-            "மன்னிக்கவும்": "Sorry",
-            "தயவுசெய்து": "Please",
-            "கோபமாக": "Angry-ஆ",
-            "கோபம்": "Angry",
-            "அறை": "Room",
-            "வாழ்க்கை": "Life",
-            "அழகாக": "Beautiful-ஆ",
-            "அழகு": "Beautiful",
-            "விருப்பம்": "Like",
-            "பகிர்": "Share",
-            "உணவகம்": "Hotel",
-            "பேருந்து": "Bus",
-            "மிதிவண்டி": "Cycle",
-            "மின்னஞ்சல்": "Email",
-            "கணினி": "System",
-            "அலுவலகம்": "Office",
-            "பள்ளி": "School",
-            "கல்லூரி": "College",
-            "மருத்துவமனை": "Hospital",
-            "வங்கி": "Bank",
-            "நேரம்": "Time",
-            "நண்பன்": "Friend",
-            "காதலி": "Girlfriend",
-            "காதலன்": "Boyfriend",
-            "வேலை": "Work",
-            "பயணம்": "Trip",
-            "பயிற்சி": "Practice",
-            "சோதனை": "Test",
-            "ஆசிரியர்": "Teacher",
-            "செல்கிறேன்": "போறேன்",
-            "செல்கிறாய்": "போற",
-            "செல்கிறான்": "போறான்",
-            "செல்கிறாள்": "போறa",
+            "அவன்": "அவன்",
+            "இவன்": "இவன்",
+            "நீங்கள்": "நீங்க",
+            "உங்கள்": "உங்க",
+            "உங்களுடைய": "உங்க",
+            "என்னிடம்": "என்கிட்ட",
+            "உன்னிடம்": "உன்கிட்ட",
+            "உங்களிடம்": "உங்ககிட்ட",
+            "அவனிடம்": "அவன்கிட்ட",
+            "அவளிடம்": "அவகிட்ட",
+            "அவர்களிடம்": "அவங்ககிட்ட",
             "பார்த்தேன்": "பாத்தேன்",
             "பார்க்கிறேன்": "பாக்குறேன்",
+            "பார்க்கிறீர்கள்": "பாக்குறீங்க",
             "பார்க்கலாம்": "பாக்கலாம்",
-            "நண்பரே": "Friend",
-            "நண்பர்களே": "Friends",
-            "அலுவலகத்திற்கு": "Office-க்கு",
-            "பள்ளிக்கு": "School-க்கு",
-            "கல்லூரிக்கு": "College-க்கு",
-            "மருத்துவமனைக்கு": "Hospital-க்கு",
-            "வீட்டிற்கு": "வீட்டுக்கு",
+            "செல்கிறேன்": "போறேன்",
+            "செல்கிறீர்கள்": "போறீங்க",
+            "சொல்கிறேன்": "சொல்றேன்",
+            "சொல்கிறீர்கள்": "சொல்றீங்க",
+            "கேட்கிறேன்": "கேக்குறேன்",
+            "கேட்கிறீர்கள்": "கேக்குறீங்க",
             "இப்போது": "இப்ப",
-            "பிறகு": "அப்றம்",
+            "பிறகு": "அப்புறம்",
+            "அப்போது": "அப்ப",
+            "எப்போது": "எப்ப",
             "உடன்": "கூட",
             "மட்டும்": "மட்டும்",
             "ஆனால்": "ஆனா",
             "அல்லது": "இல்லனா",
             "ஏனென்றால்": "ஏன்னா",
-            "ஒன்று": "1",
-            "இரண்டு": "2",
-            "மூன்று": "3",
-            "நான்கு": "4",
-            "ஐந்து": "5",
-            "ஆறு": "6",
-            "ஏழு": "7",
-            "எட்டு": "8",
-            "ஒன்பது": "9",
-            "பத்து": "10",
-            "பதினொன்று": "11",
-            "பன்னிரண்டு": "12",
-            "மணிக்கு": "மணிக்கு",
-            "ரூபாய்": "ரூபா",
-            "நூறு": "100",
-            "ஆயிரம்": "1000",
-            "லட்சம்": "லட்சம்",
-            "கோடி": "கோடி",
-            "என்னிடம்": "என்கிட்ட",
-            "உன்னிடம்": "உன்கிட்ட",
-            "அவனிடம்": "அவன்கிட்ட",
-            "அவளிடம்": "அவகிட்ட",
+            "ஏனெனில்": "ஏன்னா",
+            "அதனால்": "அதனால",
+            "மெதுவாக": "மெதுவா",
+            "விரைவாக": "சீக்கிரம்",
+            "ஒன்றாக": "ஒண்ணா"
         }
         return default_spicy, default_colloquial
 
@@ -270,8 +272,17 @@ class Translator:
             try:
                 with open(self.dict_path, "r", encoding="utf-8") as f:
                     data = json.load(f)
-                    self.spicy_map = data.get("spicy_map", default_spicy)
-                    self.colloquial_map = data.get("colloquial_map", default_colloquial)
+                    spicy = data.get("spicy_map", default_spicy)
+                    colloquial = data.get("colloquial_map", default_colloquial)
+                    
+                    # Sanitize any legacy corrupted dictionary entries
+                    if colloquial.get("எப்படி") == "எப்டி" or "Happy" in colloquial.values() or "பண்றa" in colloquial.values() or "Story" in colloquial.values():
+                        self.spicy_map = default_spicy
+                        self.colloquial_map = default_colloquial
+                        self.save_dictionary()
+                    else:
+                        self.spicy_map = spicy
+                        self.colloquial_map = colloquial
             except Exception as e:
                 print(f"Error loading custom dictionary: {e}")
                 self.spicy_map = default_spicy
@@ -322,64 +333,126 @@ class Translator:
 
     def _apply_colloquial_style(self, text: str) -> str:
         """
-        Converts formal Tamil to Spoken/Common Tamil.
+        Converts formal/bookish Google Translate Tamil into natural, fluent Spoken Tamil (பேச்சுத் தமிழ்).
         """
-        # 1. Direct Word Mapping
-        for formal, spoken in self.colloquial_map.items():
-            text = text.replace(formal, spoken)
-        
-        # 2. Suffix Rules
         import re
         
-        text = re.sub(r'ஒன்று மணி', '1 மணி', text)
-        text = re.sub(r'இரண்டு மணி', '2 மணி', text)
-        text = re.sub(r'மூன்று மணி', '3 மணி', text)
-        text = re.sub(r'நான்கு மணி', '4 மணி', text)
-        text = re.sub(r'ஐந்து மணி', '5 மணி', text)
-        text = re.sub(r'ஆறு மணி', '6 மணி', text)
-        text = re.sub(r'ஏழு மணி', '7 மணி', text)
-        text = re.sub(r'எட்டு மணி', '8 மணி', text)
-        text = re.sub(r'ஒன்பது மணி', '9 மணி', text)
-        text = re.sub(r'பத்து மணி', '10 மணி', text)
+        # 1. Vocatives & Addressing (e.g., "பெண்கள் எப்படி இருக்கிறீர்கள்" -> "பொண்ணுங்களா, எப்படி இருக்கீங்க?")
+        text = re.sub(r'([\"\'“‘\s]|^)(?:ஹேய்\s+)?பெண்கள்\s+(?=எப்படி|என்ன|எங்க)', r'\1பொண்ணுங்களா, ', text)
+        text = re.sub(tamil_boundary('பெண்களே'), 'பொண்ணுங்களா', text)
+        text = re.sub(r'([\"\'“‘\s]|^)(?:ஹேய்\s+)?ஆண்கள்\s+(?=எப்படி|என்ன|எங்க)', r'\1பசங்களா, ', text)
+        text = re.sub(tamil_boundary('ஆண்களே'), 'பசங்களா', text)
         
-        # Verb Tense & Agreement Endings
-        text = re.sub(r'கிறேன்(?=[^\u0b80-\u0bff]|$)', 'றேன்', text)
-        text = re.sub(r'கிறாய்(?=[^\u0b80-\u0bff]|$)', 'ற', text)
-        text = re.sub(r'கிறான்(?=[^\u0b80-\u0bff]|$)', 'றான்', text)
-        text = re.sub(r'கிறாள்(?=[^\u0b80-\u0bff]|$)', 'றா', text)
-        text = re.sub(r'கிறார்(?=[^\u0b80-\u0bff]|$)', 'றார்', text)
-        text = re.sub(r'கிறார்கள்(?=[^\u0b80-\u0bff]|$)', 'றாங்க', text)
-        text = re.sub(r'க்கிறது(?=[^\u0b80-\u0bff]|$)', 'து', text)
-        text = re.sub(r'கிறது(?=[^\u0b80-\u0bff]|$)', 'து', text)
-        text = re.sub(r'கின்றது(?=[^\u0b80-\u0bff]|$)', 'து', text)
-        text = re.sub(r'விட்டது(?=[^\u0b80-\u0bff]|$)', 'டுச்சு', text)
+        # 2. Pronouns (Natural Spoken)
+        text = re.sub(tamil_boundary('நீங்கள்'), 'நீங்க', text)
+        text = re.sub(tamil_boundary('உங்கள்'), 'உங்க', text)
+        text = re.sub(tamil_boundary('உங்களுடைய'), 'உங்க', text)
+        text = re.sub(tamil_boundary('அவர்கள்'), 'அவங்க', text)
+        text = re.sub(tamil_boundary('இவர்கள்'), 'இவங்க', text)
+        text = re.sub(tamil_boundary('அவள்'), 'அவ', text)
+        text = re.sub(tamil_boundary('இவள்'), 'இவ', text)
+        text = re.sub(tamil_boundary('அவன்'), 'அவன்', text)
         
-        # Modern Case Suffixes & Spoken Conversational Grammar
-        text = re.sub(r'உடைய(?=[^\u0b80-\u0bff]|$)', 'ோட', text)
-        text = re.sub(r'இல்(?=[^\u0b80-\u0bff]|$)', 'ல', text)
-        text = re.sub(r'ஆல்(?=[^\u0b80-\u0bff]|$)', 'ால', text)
+        # 3. Postpositions & Cases
+        text = re.sub(tamil_boundary('என்னிடம்'), 'என்கிட்ட', text)
+        text = re.sub(tamil_boundary('உன்னிடம்'), 'உன்கிட்ட', text)
+        text = re.sub(tamil_boundary('உங்களிடம்'), 'உங்ககிட்ட', text)
+        text = re.sub(tamil_boundary('அவனிடம்'), 'அவன்கிட்ட', text)
+        text = re.sub(tamil_boundary('அவளிடம்'), 'அவகிட்ட', text)
+        text = re.sub(tamil_boundary('அவர்களிடம்'), 'அவங்ககிட்ட', text)
+        text = re.sub(r'யுடன்(?=[^\u0b80-\u0bff]|$)', 'யோட', text)
+        text = re.sub(r'உடன்(?=[^\u0b80-\u0bff]|$)', 'ோட', text)
         text = re.sub(r'திற்கு(?=[^\u0b80-\u0bff]|$)', 'துக்கு', text)
         text = re.sub(r'இற்கு(?=[^\u0b80-\u0bff]|$)', 'ுக்கு', text)
-        text = re.sub(r'வில்லை(?=[^\u0b80-\u0bff]|$)', 'ல', text)
-        text = re.sub(r'ார்(?=[^\u0b80-\u0bff]|$)', 'ாரு', text)
-        text = re.sub(r'தனர்(?=[^\u0b80-\u0bff]|$)', 'தாங்க', text)
-        text = re.sub(r'இனர்(?=[^\u0b80-\u0bff]|$)', 'ினாங்க', text)
-        text = re.sub(r'தார்கள்(?=[^\u0b80-\u0bff]|$)', 'தாங்க', text)
-        text = re.sub(r'னார்கள்(?=[^\u0b80-\u0bff]|$)', 'னாங்க', text)
-        text = re.sub(r'கொண்டனர்(?=[^\u0b80-\u0bff]|$)', 'கிட்டாங்க', text)
         
+        # 4. Adverbs & Conjunctions
+        text = re.sub(tamil_boundary('மிகவும்'), 'ரொம்ப', text)
+        text = re.sub(tamil_boundary('நன்றாக'), 'நல்லா', text)
+        text = re.sub(tamil_boundary('ஒன்றாக'), 'ஒண்ணா', text)
+        text = re.sub(tamil_boundary('மெதுவாக'), 'மெதுவா', text)
+        text = re.sub(tamil_boundary('விரைவாக'), 'சீக்கிரம்', text)
+        text = re.sub(tamil_boundary('இப்போது'), 'இப்ப', text)
+        text = re.sub(tamil_boundary('அப்போது'), 'அப்ப', text)
+        text = re.sub(tamil_boundary('எப்போது'), 'எப்ப', text)
+        text = re.sub(tamil_boundary('இங்கே'), 'இங்க', text)
+        text = re.sub(tamil_boundary('அங்கே'), 'அங்க', text)
+        text = re.sub(tamil_boundary('எங்கே'), 'எங்க', text)
+        text = re.sub(tamil_boundary('ஆனால்'), 'ஆனா', text)
+        text = re.sub(tamil_boundary('ஏனெனில்'), 'ஏன்னா', text)
+        text = re.sub(tamil_boundary('ஏனென்றால்'), 'ஏன்னா', text)
+        text = re.sub(tamil_boundary('அதனால்'), 'அதனால', text)
+        text = re.sub(tamil_boundary('மட்டுமே'), 'மட்டும்', text)
+        
+        # 5. Question & Auxiliary Verb Forms
+        text = re.sub(tamil_boundary('இருக்கிறீர்கள்'), 'இருக்கீங்க', text)
+        text = re.sub(tamil_boundary('செய்கிறீர்கள்'), 'பண்றீங்க', text)
+        text = re.sub(tamil_boundary('வருகிறீர்கள்'), 'வர்றீங்க', text)
+        text = re.sub(tamil_boundary('போகிறீர்கள்'), 'போறீங்க', text)
+        text = re.sub(tamil_boundary('பார்க்கிறீர்கள்'), 'பாக்குறீங்க', text)
+        text = re.sub(tamil_boundary('பேசுகிறீர்கள்'), 'பேசுறீங்க', text)
+        text = re.sub(tamil_boundary('சொல்கிறீர்கள்'), 'சொல்றீங்க', text)
+        text = re.sub(tamil_boundary('கேட்கிறீர்கள்'), 'கேக்குறீங்க', text)
+        
+        text = re.sub(tamil_boundary('செய்கிறேன்'), 'பண்றேன்', text)
+        text = re.sub(tamil_boundary('செய்கிறாய்'), 'பண்ற', text)
+        text = re.sub(tamil_boundary('செய்கிறான்'), 'பண்றான்', text)
+        text = re.sub(tamil_boundary('செய்கிறாள்'), 'பண்றா', text)
+        text = re.sub(tamil_boundary('செய்கிறார்கள்'), 'பண்றாங்க', text)
+        
+        text = re.sub(tamil_boundary('இருக்கிறேன்'), 'இருக்கேன்', text)
+        text = re.sub(tamil_boundary('இருக்கிறாய்'), 'இருக்க', text)
+        text = re.sub(tamil_boundary('இருக்கிறான்'), 'இருக்கான்', text)
+        text = re.sub(tamil_boundary('இருக்கிறாள்'), 'இருக்கா', text)
+        text = re.sub(tamil_boundary('இருக்கிறார்கள்'), 'இருக்காங்க', text)
+        text = re.sub(tamil_boundary('இருக்கிறது'), 'இருக்கு', text)
+        text = re.sub(tamil_boundary('இருக்கின்றன'), 'இருக்கு', text)
+        text = re.sub(tamil_boundary('உள்ளது'), 'இருக்கு', text)
+        text = re.sub(tamil_boundary('இல்லை'), 'இல்ல', text)
+        
+        # 6. Polite Imperatives
+        text = re.sub(tamil_boundary('வாருங்கள்'), 'வாங்க', text)
+        text = re.sub(tamil_boundary('போங்கள்'), 'போங்க', text)
+        text = re.sub(tamil_boundary('சொல்லுங்கள்'), 'சொல்லுங்க', text)
+        text = re.sub(tamil_boundary('பாருங்கள்'), 'பாருங்க', text)
+        text = re.sub(tamil_boundary('கேளுங்கள்'), 'கேளுங்க', text)
+        text = re.sub(tamil_boundary('செய்யுங்கள்'), 'பண்ணுங்க', text)
+        text = re.sub(tamil_boundary('உட்காருங்கள்'), 'உட்காருங்க', text)
+        text = re.sub(tamil_boundary('நில்லுங்கள்'), 'நில்லுங்க', text)
+        
+        # 7. Common Negatives
+        text = re.sub(tamil_boundary('தெரியவில்லை'), 'தெரியல', text)
+        text = re.sub(tamil_boundary('புரியவில்லை'), 'புரியல', text)
+        text = re.sub(tamil_boundary('வரவில்லை'), 'வரல', text)
+        text = re.sub(tamil_boundary('போகவில்லை'), 'போகல', text)
+        text = re.sub(tamil_boundary('செய்யவில்லை'), 'பண்ணல', text)
+        text = re.sub(tamil_boundary('பார்க்கவில்லை'), 'பாக்கல', text)
+        text = re.sub(tamil_boundary('பிடிக்கவில்லை'), 'புடிக்கல', text)
+        
+        # 8. Past Completed / Narrative Suffixes
+        text = re.sub(tamil_boundary('பார்த்தாள்'), 'பாத்தா', text)
+        text = re.sub(tamil_boundary('பார்த்தான்'), 'பாத்தான்', text)
+        text = re.sub(tamil_boundary('பார்த்தேன்'), 'பாத்தேன்', text)
+        text = re.sub(tamil_boundary('பார்த்தார்கள்'), 'பாத்தாங்க', text)
+        text = re.sub(tamil_boundary('சிரித்தாள்'), 'சிரிச்சா', text)
+        text = re.sub(tamil_boundary('சிரித்தான்'), 'சிரிச்சான்', text)
+        text = re.sub(tamil_boundary('சிரித்து'), 'சிரிச்சுட்டு', text)
+        text = re.sub(tamil_boundary('சொன்னாள்'), 'சொன்னா', text)
+        text = re.sub(tamil_boundary('சொன்னான்'), 'சொன்னான்', text)
+        text = re.sub(tamil_boundary('கேட்டாள்'), 'கேட்டா', text)
+        text = re.sub(tamil_boundary('கேட்டான்'), 'கேட்டான்', text)
+        text = re.sub(tamil_boundary('ஆகிவிட்டது'), 'ஆயிடுச்சு', text)
+        text = re.sub(tamil_boundary('போய்விட்டது'), 'போயிடுச்சு', text)
+        text = re.sub(tamil_boundary('வந்துவிட்டது'), 'வந்துடுச்சு', text)
+        text = re.sub(tamil_boundary('முடிந்துவிட்டது'), 'முடிஞ்சுடுச்சு', text)
+
+        # 9. Custom Dictionary Words
+        for formal, spoken in self.colloquial_map.items():
+            if formal in text:
+                text = re.sub(tamil_boundary(formal), spoken, text)
+
         return text
 
     def translate(self, text: str, target_lang: str = "Tamil", spicy: bool = False, colloquial: bool = True, mode: str = "Cloud APIs (Fast & Lightweight ⚡)") -> str:
-        """
-        Executes the 5-Step Hybrid Translation Architecture:
-        Step 1 — Input Reception: Receives English, Tanglish, Hinglish, Manglish, etc.
-        Step 2 — Language Detection: Uses Lingua & pattern detection to categorize input.
-        Step 3 & 4 — Dynamic Hybrid Routing Strategy:
-                     Path A (Straightforward English) -> IndicTrans2 (Fast NMT).
-                     Path B (Code-switched / Tanglish / Hinglish / Manglish) -> Qwen3 Semantic Understanding.
-         Step 5 — Natural Localization: Conversational, context-aware native output keeping common loanwords (site, helmet, etc.).
-        """
         if not text or not text.strip():
             return ""
 
@@ -406,16 +479,24 @@ class Translator:
             return self.cache[cache_key]
 
         try:
-            # 100% Free Cloud Translation (zero cost, zero tokens, sub-second response)
+            # 1. Check English conversational idioms first for instant 100% natural spoken Tamil
+            if target_lang == "Tamil":
+                for pat, rep in CONVERSATIONAL_IDIOMS:
+                    if re.match(pat, clean_text):
+                        self.cache[cache_key] = rep
+                        return rep
+
+            # 2. Cloud Translation
             translated = _fetch_cloud_translation(clean_text, target_lang)
 
-            # Step 5: Post-processing (Colloquial & Spicy styles for Tamil)
+            # 3. Post-processing (Colloquial & Spicy styles for Tamil)
             if target_lang == "Tamil":
                 if colloquial:
                     translated = self._apply_colloquial_style(translated)
                 if spicy:
                     for eng, tam in self.spicy_map.items():
-                        translated = translated.replace(eng, tam)
+                        if eng in translated:
+                            translated = re.sub(tamil_boundary(eng), tam, translated)
 
             # Save in Cache
             self.cache[cache_key] = translated

test.py

@@ -2,9 +2,13 @@ from pipeline.translation import translate_to_tamil
 from pipeline.tts import generate_tamil_speech
 from app import save_audio_to_mp3
 import os
+import sys
 import time
 import gc
 
+if sys.stdout and hasattr(sys.stdout, "reconfigure"):
+    sys.stdout.reconfigure(encoding='utf-8')
+
 def run_test():
     print("Testing translation...")
     english_text = "Hello, how are you? I am very happy to meet you."