ArieLLL123/Meivin-Embed-0.1

Meivin Embed 0.1

הטמעות סמנטיות לחיפוש בספרות תורנית בעברית ובארמית — במשקלים רגילים וב־ONNX להרצה מקומית.

Meivin Embed ממיר שאלות ומקטעי טקסט לווקטורים של 256 ממדים, כדי לאפשר חיפוש לפי משמעות גם כאשר ניסוח השאלה שונה מלשון המקור. הוא מיועד למפתחי מנועי חיפוש תורניים, ספריות דיגיטליות ומערכות אחזור מקורות עבור RAG.

החבילה כוללת משקלים רגילים ב־Safetensors, גרסת ONNX FP32 וגרסת ONNX INT8 קומפקטית. לאחר הורדת הקבצים אפשר לקודד טקסט מקומית באמצעות ONNX Runtime. המודל מפיק וקטורים; יצירת אינדקס, חיפוש בו והפקת תשובה טקסטואלית נעשים ברכיבים אחרים של היישום.

כל שימוש מסחרי אסור ללא אישור מפורש מראש ובכתב מאריאל דניאלי — arieldaniely@gmail.com. אסור לשלב או להשתמש במודל בכל צורה במערכת, תוכנה או שירות למטרות רווח, גם אם הרכיב שבו הוא מוטמע חינמי. ראו הרישיון המלא.

The Meivin family | סדרת מייבין

Model	Purpose	Output
Meivin Embed 0.1	Semantic retrieval for Judaic libraries and RAG source retrieval	L2-normalized 256-dimensional embeddings
Meivin MLM 0.1	Contextual masked-token prediction and language research	Scores over a 32,000-token vocabulary

Built for the language of Jewish texts, with compact models that run locally. The two products share a documented training foundation and serve complementary tasks. This release is available under Meivin Non-Commercial License 1.0; commercial licensing and collaboration: Ariel Daniely.

English overview

A compact Hebrew and Aramaic encoder for semantic search in Judaic literature. It maps queries and passages to normalized 256-dimensional vectors, runs locally, and ships as complete PyTorch/Safetensors weights, ONNX FP32 and ONNX INT8. The regular checkpoint contains 42,260,993 parameters; the ONNX files are approximately 168.2 MB and 42.5 MB respectively. Use [QUERY] and [PASSAGE] prefixes with the included tokenizer. Full training report documents the training lineage and retrieval evaluations.

במבט אחד

מאפיין	ערך
תחום	ספרות תורנית בעברית ובארמית
פלט	וקטור של 256 ממדים, מנורמל L2
פורמט	Safetensors FP32; ONNX opset 17
גרסאות	PyTorch Safetensors FP32, ‏ONNX FP32, ‏ONNX INT8
פרמטרים	42,260,993 בחבילת המשקלים המלאה
גודל קובץ המודל	FP32: כ־168.2 MB; INT8: כ־42.5 MB, ביחידות עשרוניות
קלט	רצף אחד בכל קריאה, באורך משתנה
תקרת הארכיטקטורה	512 טוקנים, כולל קידומת וטוקנים מיוחדים
אורך בדוגמת השימוש	256 טוקנים
גישה	בקשת גישה ואישור ידני ב־Hugging Face
רישיון ארטיפקטי המודל	Meivin Non-Commercial License 1.0; שימוש מסחרי רק באישור בכתב

0.1 היא גרסת המוצר המתועדת בכרטיס זה. המשקולות מבוססות על checkpoint האחזור Round 2; המיתוג אינו מציין אימון חדש. הדוגמאות משתמשות בשם המאגר הרשמי Meivin-Embed-0.1.

התחלה מהירה

בקשו גישה ב־עמוד המודל. לאחר אישורה, התחברו לחשבון בעל ההרשאה:

pip install numpy onnxruntime tokenizers huggingface_hub
hf auth login

הדוגמה מקודדת שאלה ושני מקטעי הדגמה ומדרגת אותם לפי דמיון קוסינוס:

import numpy as np
import onnxruntime as ort
from huggingface_hub import hf_hub_download
from tokenizers import Tokenizer

REPO = "ArieLLL123/Meivin-Embed-0.1"
MODEL_FILE = "seforim-embed-round2-int8.onnx"
import json
config_path = hf_hub_download(REPO, "config.json", token=True)
config = json.load(open(config_path, encoding="utf-8"))
model_path = hf_hub_download(REPO, MODEL_FILE, token=True)
tokenizer_path = hf_hub_download(REPO, "tokenizer.json", token=True)

tokenizer = Tokenizer.from_file(tokenizer_path)
tokenizer.enable_truncation(max_length=config["query_max_length"])
session = ort.InferenceSession(model_path, providers=["CPUExecutionProvider"])

def encode(text: str, role: str) -> np.ndarray:
    prefixes = {"query": "[QUERY]", "passage": "[PASSAGE]"}
    tokens = tokenizer.encode(f"{prefixes[role]} {text}", add_special_tokens=True)
    inputs = {
        "input_ids": np.asarray([tokens.ids], dtype=np.int64),
        "attention_mask": np.asarray([tokens.attention_mask], dtype=np.int64),
    }
    return session.run(["embedding"], inputs)[0][0]

query = encode("מה משמעות הביטוי דבר שאינו מתכוון?", "query")
passages = [
    "דבר שאינו מתכוון הוא מעשה שתוצאתו האסורה אינה כוונת העושה.",
    "מצוות ספירת העומר נוהגת בכל יום מימי הספירה.",
]
vectors = np.stack([encode(text, "passage") for text in passages])
scores = vectors @ query  # בווקטורים מנורמלים, מכפלה סקלרית שווה לקוסינוס
for index in np.argsort(-scores):
    print(f"{scores[index]:.4f}\t{passages[index]}")

לשימוש ב־FP32, שנו את MODEL_FILE ל־seforim-embed-round2-fp32.onnx. קודדו שאלות ומקטעי אינדקס באותה גרסת קובץ מודל ובאותו טוקנייזר.

Regular weights: PyTorch / Safetensors

model.safetensors contains the complete trained sentence encoder: BERT backbone, projection, LayerNorm and the stored training logit scale. A plain AutoModel loader is not sufficient for this custom sentence encoder: it would omit the retrieval head. Use the small explicit loader below after reviewing meivin_embed.py; no trust_remote_code=True is needed.

pip install torch transformers safetensors huggingface_hub numpy

Download the weights and loader at one pinned revision (see RELEASE_NOTES.md), then run:

from huggingface_hub import snapshot_download
import importlib.util
from transformers import AutoTokenizer

folder = snapshot_download("ArieLLL123/Meivin-Embed-0.1", token=True,
    allow_patterns=["config.json", "model.safetensors", "tokenizer*", "special_tokens_map.json", "meivin_embed.py"])
spec = importlib.util.spec_from_file_location("meivin_embed", folder + "/meivin_embed.py")
module = importlib.util.module_from_spec(spec)
spec.loader.exec_module(module)  # reviewed repository helper
model = module.MeivinEmbed.from_directory(folder)
tokenizer = AutoTokenizer.from_pretrained(folder)
query = module.encode(model, tokenizer, ["מהו דבר שאינו מתכוון?"], role="query")
passages = module.encode(model, tokenizer, ["דיני שבת ומלאכה", "ספירת העומר"], role="passage")
print(passages @ query[0])

The explicit loader returns normalized vectors and supports padded batches. Regular weights retain gradients for further training; encode is an inference helper. Existing ONNX files retain their single-sequence input contract. PyTorch and ONNX FP32 were compared using short inputs and a 512-token input; see validation.

כללי שילוב

• הוסיפו [QUERY] לפני שאלות ו־[PASSAGE] לפני מקטעים, לפני הטוקניזציה. אלה טוקנים מיוחדים שנלמדו באימון.
• השתמשו בטוקנייזר המצורף ושמרו על הכנת טקסט עקבית באינדוקס ובחיפוש.
• הקלטים input_ids ו־attention_mask הם מסוג int64 ובצורה [1, sequence_length]. הגרף תומך ברצף אחד בכל קריאה.
• הפלט embedding הוא float32[1, 256], גם ב־INT8. ה־pooling, ההטלה והנרמול כלולים בגרף.
• בדוגמה מופעלת מגבלה של 256 טוקנים, בדומה לברירת המחדל של המקודד המקומי. הארכיטקטורה מאפשרת עד 512; בדקו איכות והתאמה לפני שינוי המגבלה.
• חלקו מסמכים ארוכים למקטעים ושמרו הפניות למקור לצד הווקטורים. טקסט מעבר למגבלה נחתך.
• שינוי המודל, הכימות, הטוקנייזר או הכנת הטקסט מחייב בדיקת התאמה ובדרך כלל קידוד מחדש של האינדקס.

ציון הדמיון משמש לדירוג תוצאות. הוא אינו הסתברות לנכונות התוצאה או אחוז ודאות.

מקור וארכיטקטורה

החבילה מבוססת על מודל האחזור Round 2. לא בוצע אימון נוסף לצורך הייצוא.

המקודד כולל BERT עם 8 שכבות, רוחב חבוי 512, שמונה ראשי קשב, רוחב ביניים 2048 ואוצר מילים של 32,000 טוקנים; כ־42.26 מיליון פרמטרים לפני כימות. הגרף כולל את שרשרת הקידוד המלאה: backbone, ממוצע לפי מסכת הקשב, הטלה נלמדת מ־512 ל־256, LayerNorm ונרמול L2.

מקור הייצוא הוא תיקיית final בגרסה 8d7016cf472fb436dbd3ac843ef4d407c28d08f4. פרטי המקור והחתימות מופיעים ב־manifest.json.

הערכה ומגבלות

איכות אחזור של checkpoint המקור

מטא־דאטת checkpoint המקור מדווחת על סט פיתוח של 410 שאלות ו־12,002 מקטעים, מדד זה נבדק על שאלות סינטטיות ואינו משקף את יכולות המודל על שאלות אנושיות:

מדד	ערך
nDCG@10	0.4040
MRR	0.3662
Recall@5	0.4683
Recall@10	0.5537

אלה מדדי checkpoint המקור בסט הפיתוח ששימש גם לבחירתו. הם אינם בדיקה עצמאית של INT8 או הוכחה לאיכות על מאגר חדש. גודל המאגר, חלוקה לשורות במקום למקטעים וסוג השאלות עשויים לשנות את התוצאות. מומלץ לבדוק שאלות מייצגות של היישום ולהשוות חיפוש סמנטי, מילולי והיברידי.

אימות ייצוא ONNX

שני הקבצים עברו בדיקת תקינות ONNX והרצה על CPU. בארבעה קלטי בדיקה בעברית ובארמית, באורכים שונים עד 256 טוקנים, הושוו הווקטורים למקודד PyTorch המקורי:

ייצוא	הפרש מוחלט מרבי בקואורדינטה	דמיון קוסינוס מזערי למקור
FP32	2.85e-7	0.99999994
INT8	0.01123	0.99863

זו בדיקת קרבה מספרית בארבע דוגמאות, ולא מדד איכות אחזור. כימות INT8 עשוי לשנות דירוגים, במיוחד כאשר הציונים קרובים. לא מפורסם כאן מדד מהירות: זמני קידוד וחיפוש תלויים בחומרה, באורך הקלט ובאינדקס.

שילוב בזית (Zayit)

החבילה נועדה לאפשר שילוב בזית. לפי תיאור התאימות ששימש להכנת הייצוא, ממשק v5 הקיים מצפה ל־384 ממדים, למגבלה של 128 טוקנים ולקלט ללא קידומות. שילוב מודל זה דורש תמיכה ב־256 ממדים, הוספת הקידומות, קידוד מחדש של הווקטורים ובניית אינדקס Lucene בהתאם. יש לבדוק בנפרד נרמול טקסט ואיכות אחזור ברמת שורה; שינוי שם הקובץ בלבד אינו משלים את השילוב.

דוגמאות בתמונות

התמונות הבאות צורפו להמחשת השימוש. הן אינן מדד הערכה שיטתי או התחייבות לתוצאות. קישורי המקור.

קובצי המאגר

קובץ	תוכן
seforim-embed-round2-fp32.onnx	ייצוא FP32
seforim-embed-round2-int8.onnx	ייצוא INT8 קומפקטי בכימות דינמי
tokenizer.json	הטוקנייזר התואם למודל
manifest.json	חוזה הקלט והפלט, מקור, תוצאות אימות, גדלים וחתימות SHA-256
export_round2_onnx.py	קוד הייצוא ובדיקות הקרבה למקור
LICENSE.md	תנאי הרישוי לפי רכיב

מה הלאה?

• הוכחת היתכנות למודל שפה תורני קל משקל.

• אימון מודל הטמעה בעל ביצועים שימושיים.

• שיפור אגרסיבי של המודל באמצעות משוב אנושי ממשתמשים.

• פיתוח מודלים חזקים ושימושיים יותר:

  • התמקדות במילים חשובות — מתן משקל גבוה יותר למילים או למבנים משמעותיים, כגון ציטוטים.
  • הקשר ארוך — תמיכה ב־4K טוקנים.
  • אורך וקטור גמיש — אפשרות להשתמש רק ב־32/64/128/256/512/1024 הערכים הראשונים של הווקטור, תוך ריכוז המידע החשוב בתחילת הווקטור.
  • השוואה ישירה בין שאילתה לקטע — תמיכה בהזנת שאילתה וקטע יחד לקבלת ציון רלוונטיות מדויק יותר.

• אימון משפחת מודלים בגדלים שונים, המשתפים מרחב סמנטי משותף ומאפשרים החלפה מלאה ביניהם:

  • Sinai — מודל מהיר וקל משקל [משוער: ~30M פרמטרים].
  • OkerHarim — מודל חזק ומדויק [משוער: ~80M פרמטרים]. ניתן ליצור אינדקס באמצעות OkerHarim ולבצע חיפוש באמצעות Sinai, או להפך, ללא צורך ביצירת אינדקס מחדש, משום ששני המודלים ממפים טקסטים לאותו מרחב סמנטי.

רישוי וייחוס

כל שימוש מסחרי אסור ללא אישור מפורש מראש ובכתב מאריאל דניאלי — arieldaniely@gmail.com. אסור לשלב או להשתמש במודל בכל צורה במערכת, תוכנה או שירות למטרות רווח, גם אם הרכיב שבו הוא מוטמע חינמי. ראו הרישיון המלא.

המודל והטוקנייזר מופצים בגרסה זו תחת Meivin Non-Commercial License 1.0. האיסור כולל שילוב ישיר או עקיף, API, תוסף, שירות מרוחק ושימוש בווקטורים או באינדקסים כרכיב במערכת מסחרית. אישור הורדה או גישה למאגר אינו אישור לשימוש מסחרי. הפצה ועיבודים מחייבים שמירת הרישיון והייחוס. קוד מקורי נלווה נשאר כפוף ל־Personal Use License 1.0 שבקובץ הרישיון; זכויות צד שלישי נשמרות.

ייחוס: אריאל דניאלי — Judaic Semantic Embedding project, Otzaria. הייחוס מתייחס לפיתוח הארטיפקטים ואינו טענה למחברוּת של טקסטי המקור.

תיעוד האימון

דוח האימון המפורט מתעד את מסלול המשקולות של Round 2, אימוני ה־MLM, היישור העברי–ארמי, סבבי האחזור והניסויים שלא קודמו. הוא כולל היפר־פרמטרים, גרפים, נתוני מדידה ומגבלות ההערכה.

הגרף מציג בדיקת MLM קבועה באורכים מעורבים; הוא אינו מדד הצלחה של חיפוש מקורות. תוצאות האחזור ופרוטוקולי הבדיקה מופיעים בדוח.

Languages and textual coverage | שפות וניבי לשון

Metadata	Coverage	Evidence and interpretation
he — Hebrew	Biblical, Mishnaic/Rabbinic, medieval and modern Hebrew	Tanakh, Mishnah, halakhic and commentarial literature, and modern HeQ text
tmr — Jewish Babylonian Aramaic (ca. 200–1200 CE)	Aramaic in the Babylonian Talmud	Bavli corpus bucket; Bavli also contains Hebrew
jpa — Jewish Palestinian Aramaic	Palestinian rabbinic Aramaic represented in the Jerusalem Talmud	Yerushalmi corpus bucket; Yerushalmi also contains Hebrew
arc — Official/Imperial Aramaic code	Biblical Aramaic within Daniel and Ezra; broad Aramaic discovery label	Both books were verified in retained training rows; not every verse is Aramaic

הסימון הידני he, tmr, jpa, arc מתאים להיקף המקורות. tmr הוא הארמית היהודית הבבלית, jpa הארמית היהודית הארץ־ישראלית, ו־arc משמש כאן גם לסימון הארמית המקראית. דניאל ועזרא כוללים עברית וארמית; בבלי וירושלמי הם שמות קורפוסים, לא שמות שפות. אין לסמן את כל התלמודים כשפה אחת או את כל ספר דניאל כארמית.

The arc ISO label is historical and is not a precise label for every Aramaic variety in the corpus. Targumic and Zoharic/literary Aramaic are also represented in the broader Judaic source collection; they are described here rather than assigned unrelated modern Aramaic codes. Presence of texts establishes training coverage, not independently benchmarked mastery of each dialect. No per-language quality scores or exact percentages of Aramaic are available, because corpus buckets are not language annotations. English instructions in this repository do not imply English model support.

See aggregate corpus checks. Language code references: Jewish Babylonian Aramaic, Jewish Palestinian Aramaic, and Biblical Hebrew/Aramaic language codes in BHSA.

Downloads and parameter display | הורדות ופרמטרים

The full FP32 checkpoint is distributed as root model.safetensors, enabling Hugging Face to inspect its tensor headers. Hugging Face currently reports 42,260,992 parameters in its native Safetensors display. The direct PyTorch count is 42,260,993, including the scalar training parameter logit_scale. The one-parameter difference does not affect embeddings or model size in practical terms. Both counts refer to the same released file.

The count includes stored training parameters; ONNX can omit unused components. INT8 is a numerical export of the same model, not a reduction in architectural parameter count.

Use the documented loader/configuration together with the weights. The Hub counts server-side requests to designated query files such as config.json; it does not count unique users or every arbitrary file download. ONNX integrations below load the real configuration as part of model initialization. Direct downloads of ONNX files alone may not be represented in this counter. Historical missed requests cannot be reconstructed from repository metadata.

The model page shows recent downloads; Hub API also exposes downloadsAllTime for cumulative downloads, when available. The release includes an example that reads both fields live, without hardcoding a launch-day number. See Hugging Face counting rules.

Citation

@misc{daniely2026meivinembed,
 author = {Ariel Daniely},
 title = {Meivin Embed 0.1: Semantic Retrieval for Hebrew and Aramaic Judaic Texts},
 year = {2026},
 url = {https://huggingface.co/ArieLLL123/Meivin-Embed-0.1}
}