Update tokenizer_keeper.py

tokenizer_keeper.py

@@ -22,20 +22,20 @@ class KeeperTokenizer(PreTrainedTokenizer):
         self.tokenizer_retriever = None
         self.tokenizer_model = None
 
-        if cfg:
-            print("Initializing KeeperTokenizer with cfg")
-            # Inicialización con configuración
-            self.tokenizer_retriever = AutoTokenizer.from_pretrained(cfg.retriever_config['_name_or_path'])
-            self.tokenizer_model = AutoTokenizer.from_pretrained(cfg.model_config['_name_or_path'])
-
-            # Almacena kwargs para la serialización y carga futura
-            self.init_kwargs = {'cfg': cfg}
-
-            super().__init__()  # Inicializa la clase base al principio
-            print("Initialization complete")
-        else:
-            # Si cfg no se proporciona, esto se manejará en el método from_pretrained
-            print("Initializing KeeperTokenizer without cfg")
+        # if cfg:
+        #     print("Initializing KeeperTokenizer with cfg")
+        #     # Inicialización con configuración
+        #     self.tokenizer_retriever = AutoTokenizer.from_pretrained(cfg.retriever_config['_name_or_path'])
+        #     self.tokenizer_model = AutoTokenizer.from_pretrained(cfg.model_config['_name_or_path'])
+
+        #     # Almacena kwargs para la serialización y carga futura
+        #     self.init_kwargs = {'cfg': cfg}
+
+        #     super().__init__()  # Inicializa la clase base al principio
+        #     print("Initialization complete")
+        # else:
+        #     # Si cfg no se proporciona, esto se manejará en el método from_pretrained
+        #     print("Initializing KeeperTokenizer without cfg")