How to use deedcon/bi-encoder-v2 with sentence-transformers:
from sentence_transformers import SentenceTransformer model = SentenceTransformer("deedcon/bi-encoder-v2") sentences = [ "[CLS] [KNOWLEDGE] NLTK [CTX] Programmierung einer pre-processing CI/CD Pipeline zur automatisierten Verarbeitung von Newsartikeln von Tamil zu Englisch, in Python unter Verwendung von NLTK und SpaCy\n [SEP]", "[CLS] [KNOWLEDGE] SPOC [CTX] Single Point of Contact (SPOC) für die Business Units (Schnittstellenfunktion zu anderen Teilprojekten und Teams)\n [SEP]", "[CLS] [KNOWLEDGE] DIN 50001 [CTX] Mitarbeit zur Einführung eines Energiemanagementsystems nach DIN 50001\n [SEP]", "[CLS] [KNOWLEDGE] Risikomanagement [CTX] - Risikomanagement\n [SEP]" ] embeddings = model.encode(sentences) similarities = model.similarity(embeddings, embeddings) print(similarities.shape) # [4, 4]
https://huggingface.co/deedcon/bi-encoder-v2/resolve/main/tokenizer.json
hf download hf://deedcon/bi-encoder-v2/tokenizer.json
curl -L -o tokenizer.json https://huggingface.co/deedcon/bi-encoder-v2/resolve/main/tokenizer.json
