Transformers documentation

UnlimitedOcr

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

نُشر هذا النموذج في أوراق HF في 23 يونيو 2026، وسُهم به إلى Hugging Face Transformers في 14 أكتوبر 2026.

UnlimitedOcr

نظرة عامة

قُدِّم نموذج UnlimitedOcr في Unlimited OCR Works من قِبل Youyang Yin وHuanhuan Liu وQunyi Xie وChaorun Liu وShiqi Yang وShaohua Wang وZhanlong Liu وHao Zou وJinyue Chen وShu Wei وJingjing Wu وMingxin Huang وZhen Wu وGuibin Wang وTengyu Du وLei Jia من شركة Baidu Inc.

إنه نموذج واحد يحتوي على 3 مليارات من المعاملات، مع طول سياق قياسي يبلغ 32,768 رمزًا.

المستخلص من الورقة البحثية هو كالتالي:

Recently, end-to-end OCR models, exemplified by DeepSeek OCR, have once again thrust OCR into the spotlight. A widely held view is that employing a large language model (LLM) as the decoder allows the model to leverage the prior distribution of language, leading to improved OCR performance. However, the downside is equally evident: as the output sequence lengthens, the accumulated KV cache drives up memory consumption and progressively slows down generation. This stands in stark contrast to humans, who exhibit no such decline in efficiency during long-horizon copying tasks. In this technical report, we propose Unlimited OCR, a model designed to emulate human parsing working memory. Taking DeepSeek OCR as the baseline, we replace all attention layers in the decoder with our proposed Reference Sliding Window Attention (R-SWA), which reduces attention computation costs while maintaining a constant KV cache throughout the entire decoding process. By combining the high compression rate of DeepSeek OCR’s encoder with our constant KV cache design, Unlimited OCR can transcribe dozens of pages of documents in a single forward pass under a standard maximum length of 32K. More importantly, R-SWA is a general-purpose parsing attention mechanism — beyond OCR, it is equally applicable to tasks such as ASR, translation, etc. Codes and model weights are publicly available at http://github.com/baidu/Unlimited-OCR

يدعم Unlimited-OCR تكوينين للاستدلال: يستخدم وضع "gundum" الافتراضي بلاطات بحجم 640x640 مع قص ديناميكي للمستندات عالية الدقة، بينما يستخدم وضع "base" عرضًا عالميًا واحدًا بحجم 1024x1024 للمدخلات ذات الدقة القياسية. لتفعيل وضع base، اضبط crop_to_patches=False في المعالج، أو مرره عبر processor_kwargs عند استخدام apply_chat_template().

يتبع برج الرؤية النهج المكوّن من مرحلتين في DeepSeek-OCR-2: حيث يغذّي مُشفّر SAM ViT-B مُشفّر CLIP ViT. وعلى عكس DeepSeek-OCR-2، يتم دمج ميزات CLIP بشكل إضافي مع ميزات SAM لإنتاج رموز الصورة النهائية. كما يستغني Unlimited-OCR عن استعلامات الباتش القابلة للتعلّم الموجودة في DeepSeek-OCR-2.

نموذج النص مطابق لـ DeepSeek-OCR-2 مع إضافة انتباه النافذة المنزلقة المرجعية (R-SWA). يُطبَّق R-SWA على الرموز المولَّدة فقط. تبقى جميع رموز الصورة والموجّه مرئية بالكامل طوال عملية فك الترميز، لذا لا تفقد المستندات الطويلة السياق من الصفحات السابقة.

تمت مساهمة هذا النموذج من قِبل guarin. يمكن العثور على الكود الأصلي هنا.

يعمل التنفيذ الأصلي على تشغيل النموذج باستخدام torch.autocast في bfloat16. لفك التغليف حول استدعاءات forward و generate في سياق autocast لتكرار مخرجاته.
with torch.autocast(device_type=model.device.type, dtype=torch.bfloat16):
    output = model.generate(**inputs)

التعرف الضوئي على الحروف لصفحة واحدة

التعرف الضوئي على الحروف متعددة الصفحات

from transformers import AutoProcessor, AutoModelForImageTextToText

model = AutoModelForImageTextToText.from_pretrained("baidu/Unlimited-OCR", device_map="auto")
processor = AutoProcessor.from_pretrained("baidu/Unlimited-OCR")

image = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/ocr_suggestion_form.jpg"
messages = [
    {
        "role": "user",
        "content": [{"type": "image", "url": image}, {"type": "text", "text": "document parsing."}],
    }
]
inputs = processor.apply_chat_template(
    messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt"
).to(model.device, model.dtype)

output = model.generate(**inputs, max_new_tokens=512)
processor.decode(output[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
# image [383, 87, 497, 171]\ntext [333, 201, 558, 230]R&D QUALITY IMPROVEMENT\nSUGGESTION/SOLUTION FORM...

# All bounding boxes are in (x1, y1, x2, y2) format with coordinates normalized to [0, 999]

المعالجة الدفعية

لمعالجة الدفعات، مرر قائمة من الرسائل. اضبط padding=True للمعالج إذا كانت الصور ذات أحجام مختلفة.

from transformers import AutoProcessor, AutoModelForImageTextToText

model = AutoModelForImageTextToText.from_pretrained("baidu/Unlimited-OCR", device_map="auto")
processor = AutoProcessor.from_pretrained("baidu/Unlimited-OCR")

image1 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/ocr_suggestion_form.jpg"
image2 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/ocr_receipt.jpeg"
messages = [
    [
        {
            "role": "user",
            "content": [{"type": "image", "url": image}, {"type": "text", "text": "document parsing."}],
        }
    ]
    for image in [image1, image2]
]
inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    processor_kwargs={"padding": True},
).to(model.device, model.dtype)

output = model.generate(**inputs)
processor.decode(output[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
# image [383, 87, 497, 171]\ntext [333, 201, 558, 230]R&D QUALITY IMPROVEMENT\nSUGGESTION/SOLUTION FORM...

# All bounding boxes are in (x1, y1, x2, y2) format with coordinates normalized to [0, 999]

كشف المناطق

اضبط skip_special_tokens=False لتغليف جميع عمليات الكشف وأنواع المناطق بعلامات <|det|>...<|/det|>. هذا مفيد للمعالجة اللاحقة الإضافية للمخرجات، على سبيل المثال لرسم صناديق الحدود المكتشفة على الصورة. يتم تغليف كل كشف على شكل <|det|>region_type [x1, y1, x2, y2]<|/det|>text... مع إحداثيات مُعايرة إلى نطاق [0, 999]. اضبط return_detections=True للحصول على قائمة إضافية من القواميس تحتوي على جميع عمليات الكشف المُحللة على شكل {"region_type": region_type, "box": [x1, y1, x2, y2], "text": "..."}.

from transformers import AutoProcessor, AutoModelForImageTextToText

model = AutoModelForImageTextToText.from_pretrained("baidu/Unlimited-OCR", device_map="auto")
processor = AutoProcessor.from_pretrained("baidu/Unlimited-OCR")

image = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/ocr_suggestion_form.jpg"
messages = [
    {
        "role": "user",
        "content": [{"type": "image", "url": image}, {"type": "text", "text": "document parsing."}],
    }
]
inputs = processor.apply_chat_template(
    messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt"
).to(model.device, model.dtype)

output = model.generate(**inputs)
decoded, detections = processor.decode(output[0, inputs["input_ids"].shape[1]:], skip_special_tokens=False, return_detections=True)
# <|det|>image [383, 87, 497, 171]<|/det|>\n<|det|>text [333, 201, 558, 230]<|/det|>R&D QUALITY IMPROVEMENT\nSUGGESTION/SOLUTION FORM...

# Visualization
import random
import matplotlib.pyplot as plt
import matplotlib.patches as patches
from transformers.image_utils import load_image

image = load_image("https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/ocr_suggestion_form.jpg")
width, height = image.size

figure, axis = plt.subplots(figsize=(10, 12))
axis.imshow(image)
for detection in detections:
    region_type = detection["region_type"]
    x1, y1, x2, y2 = detection["box"]
    x1, y1, x2, y2 = int(x1) / 999 * width, int(y1) / 999 * height, int(x2) / 999 * width, int(y2) / 999 * height
    color = (random.random(), random.random(), random.random())
    rectangle = patches.Rectangle((x1, y1), x2 - x1, y2 - y1, linewidth=1.5, edgecolor=color, facecolor="none")
    axis.add_patch(rectangle)
    axis.text(x1, y1, region_type, color="white", fontsize=8, backgroundcolor=color, verticalalignment="top")
axis.axis("off")
plt.show()

Transformers

UnlimitedOcr

نظرة عامة

المعالجة الدفعية

كشف المناطق

UnlimitedOcrConfig

فئة transformers.UnlimitedOcrConfig

UnlimitedOcrTextConfig

فئة transformers.UnlimitedOcrTextConfig

UnlimitedOcrVisionConfig

فئة transformers.UnlimitedOcrVisionConfig

UnlimitedOcrVisionEncoderConfig

فئة transformers.UnlimitedOcrVisionEncoderConfig

UnlimitedOcrSamVisionConfig

فئة transformers.UnlimitedOcrSamVisionConfig

UnlimitedOcrImageProcessor

فئة transformers.UnlimitedOcrImageProcessor

crop_image_to_patches

get_number_of_image_patches

pad_to_square

UnlimitedOcrProcessor

فئة transformers.UnlimitedOcrProcessor

batch_decode

decode

UnlimitedOcrPreTrainedModel

فئة transformers.UnlimitedOcrPreTrainedModel

UnlimitedOcrTextPreTrainedModel

فئة transformers.UnlimitedOcrTextPreTrainedModel

UnlimitedOcrTextModel

فئة transformers.UnlimitedOcrTextModel

forward

UnlimitedOcrVisionModel

فئة transformers.UnlimitedOcrVisionModel

forward

UnlimitedOcrModel

فئة transformers.UnlimitedOcrModel

forward

UnlimitedOcrForConditionalGeneration

فئة transformers.UnlimitedOcrForConditionalGeneration

forward