fix max token error
Browse files- app/gemini_client.py +15 -2
app/gemini_client.py
CHANGED
|
@@ -87,8 +87,21 @@ class GeminiClient:
|
|
| 87 |
if hasattr(response, 'usage_metadata'):
|
| 88 |
logger.info(f"[GEMINI][USAGE] Prompt Token Count: {response.usage_metadata.prompt_token_count} - Candidate Token Count: {response.usage_metadata.candidates_token_count} - Total Token Count: {response.usage_metadata.total_token_count}")
|
| 89 |
|
| 90 |
-
|
| 91 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 92 |
except GeminiResponseError as e:
|
| 93 |
# Lỗi nội dung, không thể retry bằng cách đổi key. Propagate lên.
|
| 94 |
logger.error(f"[GEMINI] Non-retriable content error: {e}")
|
|
|
|
| 87 |
if hasattr(response, 'usage_metadata'):
|
| 88 |
logger.info(f"[GEMINI][USAGE] Prompt Token Count: {response.usage_metadata.prompt_token_count} - Candidate Token Count: {response.usage_metadata.candidates_token_count} - Total Token Count: {response.usage_metadata.total_token_count}")
|
| 89 |
|
| 90 |
+
# Bọc lại phần truy cập .text để bắt lỗi ValueError cụ thể
|
| 91 |
+
try:
|
| 92 |
+
logger.info(f"[GEMINI][TEXT_RESPONSE] {_safe_truncate(response.text)}")
|
| 93 |
+
return response.text
|
| 94 |
+
except ValueError as ve:
|
| 95 |
+
# Chuyển đổi ValueError thành GeminiResponseError nếu đó là lỗi do không có content
|
| 96 |
+
if "requires the response to contain a valid 'Part'" in str(ve):
|
| 97 |
+
finish_reason = response.candidates[0].finish_reason if response.candidates else None
|
| 98 |
+
usage_metadata = response.usage_metadata if hasattr(response, 'usage_metadata') else None
|
| 99 |
+
raise GeminiResponseError(
|
| 100 |
+
f"Gemini response has no valid content part. Original error: {ve}",
|
| 101 |
+
finish_reason=finish_reason.name if finish_reason else 'MAX_TOKENS_OR_SAFETY',
|
| 102 |
+
usage_metadata=usage_metadata
|
| 103 |
+
) from ve
|
| 104 |
+
raise ve # Ném lại các lỗi ValueError khác
|
| 105 |
except GeminiResponseError as e:
|
| 106 |
# Lỗi nội dung, không thể retry bằng cách đổi key. Propagate lên.
|
| 107 |
logger.error(f"[GEMINI] Non-retriable content error: {e}")
|