How to use agentlans/distilbert-base-multilingual-cased-aligned with sentence-transformers:
from sentence_transformers import SentenceTransformer model = SentenceTransformer("agentlans/distilbert-base-multilingual-cased-aligned") sentences = [ "Even children can understand it.", "मी सगळीकडे छापले. मी लिहिले आणि सर्व काही मोजले. आणि नऊ महिन्यामध्ये मुले कोणत्याही भाषेतला संगणकासोबत मोकळे सोडल्यावर पश्चिम देशातील कार्यालातील सेक्रेटरीएवढ्या पातळीवर येऊ शकतो", "Anslået bliver 5000 kvinder om året dræbt som følge af domestisk vold, mens tusindvis overlever med varige mén.", "इस बात को बच्चे भी समझते हैं।" ] embeddings = model.encode(sentences) similarities = model.similarity(embeddings, embeddings) print(similarities.shape) # [4, 4]
https://huggingface.co/agentlans/distilbert-base-multilingual-cased-aligned/resolve/main/tokenizer.json
hf download hf://agentlans/distilbert-base-multilingual-cased-aligned/tokenizer.json
curl -L -o tokenizer.json https://huggingface.co/agentlans/distilbert-base-multilingual-cased-aligned/resolve/main/tokenizer.json
