vasil646 commited on
Commit
f9d16e0
·
verified ·
1 Parent(s): 020d6cf

Create README.md

Browse files
Files changed (1) hide show
  1. README.md +39 -0
README.md ADDED
@@ -0,0 +1,39 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ tags:
3
+ - text-embeddings
4
+ - jepa
5
+ - self-supervised
6
+ - vicreg
7
+ library_name: pytorch
8
+ license: mit
9
+ source_code: https://github.com/vasil646srb/jepa_text
10
+ datasets:
11
+ - HuggingFaceFW/fineweb-edu
12
+ base_model:
13
+ - BAAI/bge-small-en-v1.5
14
+ language:
15
+ - en
16
+ metrics:
17
+ - cosine-similarity
18
+ pipeline_tag: feature-extraction
19
+ ---
20
+
21
+ # Text-JEPA Streaming Embeddings
22
+
23
+ Семантические эмбеддинги, обученные с помощью **Text-JEPA** (Joint Embedding Predictive Architecture) на датасете FineWeb-Edu через Streaming Pipeline.
24
+
25
+ ## 🚀 Особенности
26
+
27
+ - **Базовая модель**: BGE-Small-EN-v1.5 (ONNX)
28
+ - **Архитектура**: 2-layer Transformer Encoder + VICReg Loss
29
+ - **Output dimension**: 128
30
+ - **Поддержка**: NVIDIA GPU (CUDA) и CPU (AVX2/FMA) с автоопределением
31
+ - **Обучение**: 50K+ шагов на 500K примерах (Streaming)
32
+
33
+ ## 📦 Быстрый старт
34
+
35
+ ```python
36
+ from huggingface_hub import snapshot_download
37
+
38
+ # Скачать все веса и код
39
+ snapshot_download("vasil646/jepa_text", local_dir="./jepa_text")