File size: 2,416 Bytes
c808803 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 | #!/usr/bin/env python3
"""
check_hf_structure.py - Verificar estrutura no Hugging Face
"""
from huggingface_hub import HfApi
from dotenv import load_dotenv
import os
load_dotenv()
api = HfApi()
repo_id = "aionaion/chatdoc"
token = os.getenv("HUGGINGFACE_HUB_TOKEN")
print(f"🔍 Verificando estrutura do repositório: {repo_id}")
try:
# Listar TODOS os arquivos
files = api.list_repo_files(repo_id=repo_id, repo_type="space")
print(f"\n📁 Total de arquivos: {len(files)}")
print("\n📋 Estrutura de pastas:")
# Organizar por pasta
from collections import defaultdict
folders = defaultdict(list)
for file in files:
if '/' in file:
folder = file.split('/')[0]
folders[folder].append(file)
else:
folders['root'].append(file)
for folder, files_in_folder in sorted(folders.items()):
print(f"\n📂 {folder}/ ({len(files_in_folder)} arquivos):")
for file in sorted(files_in_folder)[:10]:
print(f" 📄 {file}")
if len(files_in_folder) > 10:
print(f" ... e mais {len(files_in_folder) - 10} arquivos")
# Verificar especificamente a estrutura data/
data_files = [f for f in files if f.startswith('data/')]
print(f"\n🎯 Arquivos em data/: {len(data_files)}")
if data_files:
# Mostrar estrutura da pasta data
data_structure = defaultdict(list)
for file in data_files:
parts = file.split('/')
if len(parts) >= 2:
subfolder = parts[1]
data_structure[subfolder].append(file)
for subfolder, subfiles in sorted(data_structure.items()):
print(f"\n 📁 data/{subfolder}/ ({len(subfiles)} arquivos):")
for file in sorted(subfiles)[:5]:
print(f" 📄 {file}")
if len(subfiles) > 5:
print(f" ... e mais {len(subfiles) - 5} arquivos")
# Verificar se há algum problema com caminhos
print(f"\n🔍 Verificando problemas com caminhos...")
for file in files:
if '\\' in file:
print(f" ⚠️ Caminho com barra invertida: {file}")
if file.startswith('./') or file.startswith('.\\'):
print(f" ⚠️ Caminho relativo: {file}")
except Exception as e:
print(f"❌ Erro: {e}") |