Update analyzers/ner_analyzer.py

analyzers/ner_analyzer.py

@@ -24,8 +24,17 @@ class NERAnalyzer(BaseAnalyzer):
     def extract_entities(self, text: str) -> List[Tuple[str, str]]:
         logger.debug("Iniciando extração de entidades com NER")
         
-        # Aplicar o pipeline de NER para obter as entidades
-        entities = self.ner_pipeline(text)
+        # Dividir o texto em partes menores, cada uma com no máximo 512 tokens
+        inputs = self.tokenizer(text, return_tensors="pt", truncation=True, padding=True, max_length=512)
+        input_ids = inputs['input_ids']
+        
+        # Verificar se o tamanho dos tokens excede o limite e dividir se necessário
+        entities = []
+        for i in range(0, input_ids.size(1), 512):
+            chunk = input_ids[:, i:i+512]  # Dividir em partes de 512 tokens
+            chunk_text = self.tokenizer.decode(chunk[0], skip_special_tokens=True)
+            chunk_entities = self.ner_pipeline(chunk_text)
+            entities.extend(chunk_entities)
         
         # Filtrar as entidades e retorná-las como uma lista de tuplas (entidade, tipo)
         extracted_entities = [(entity['word'], entity['entity']) for entity in entities]