نُشر هذا النموذج في أوراق HF في 2023-01-02 وسُهم به في Hugging Face Transformers في 2023-03-14.

ConvNeXt V2

نظرة عامة

قُدِّم نموذج ConvNeXt V2 في ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders من قِبل Sanghyun Woo وShoubhik Debnath وRonghang Hu وXinlei Chen وZhuang Liu وIn So Kweon وSaining Xie. ConvNeXt V2 هو نموذج تجميعي خالص (ConvNet)، مستوحى من تصميم محوّلات الرؤية (Vision Transformers)، وهو نسخة مطوَّرة من ConvNeXT.

المستخلص من الورقة البحثية هو كالتالي:

بفضل التحسينات في البنى المعمارية وأطر تعلم التمثيل الأفضل، استمتع مجال التعرف البصري بتحديث سريع وتعزيز للأداء في أوائل العقد الثاني من القرن الحادي والعشرين. فعلى سبيل المثال، أثبتت شبكات التلافف الحديثة، التي يُمثّلها ConvNeXt، أداءً قوياً في مختلف السيناريوهات. وعلى الرغم من أن هذه النماذج صُممت في الأصل للتعلم المُشرف باستخدام تسميات ImageNet، إلا أنها يمكن أن تستفيد أيضاً من تقنيات التعلم غير المُشرف مثل المُشفّرات الذاتية المقنّعة (MAE). ومع ذلك، وجدنا أن الجمع البسيط بين هاتين المنهجيّات يؤدي إلى أداء دون المستوى المطلوب. في هذه الورقة، نقترح إطار عمل مُشفّر ذاتي مقنّع بالكامل وطبقة جديدة تُسمى تطبيع الاستجابة الشامل (GRN) يمكن إضافتها إلى بنية ConvNeXt لتعزيز المنافسة بين الميزات عبر القنوات. يؤدي هذا التصميم المشترك لتقنيات التعلم غير المُشرف والتحسين المعماري إلى عائلة نماذج جديدة تُسمى ConvNeXt V2، والتي تحسّن بشكل كبير أداء شبكات التلافف النقية على مختلف معايير التقييم للتعرف، بما في ذلك تصنيف ImageNet، وكشف COCO، وتجزئة ADE20K. كما نوفر نماذج ConvNeXt V2 مُسبقة التدريب بمقاسات مختلفة، تتراوح من نموذج Atto المدمج الذي يحتوي على 3.7 مليون معامل ويحقق دقة 76.7% في التصنيف الأول على ImageNet، إلى نموذج Huge الذي يحتوي على 650 مليون معامل ويحقق دقة 88.9% المتقدمة في مجالها باستخدام بيانات التدريب العامة فقط.

تمت مساهمة هذا النموذج من قِبل adirik. يمكن العثور على الكود الأصلي هنا.

الموارد

قائمة بموارد رسمية من Hugging Face وموارد مجتمعية (مشار إليها بـ 🌎) لمساعدتك على البدء مع ConvNeXt V2.

• يُؤيَّد ConvNextV2ForImageClassification بواسطة هذا دفتر ملاحظات.

إذا كنت مهتمًا بتقديم مورد ليُدرج هنا، فلا تتردد في فتح طلب سحب وسنقوم بمراجعته! يُفضَّل أن يُظهر المورد شيئًا جديدًا بدلاً من تكرار مورد موجود مسبقًا.

ConvNextV2Config

>>> from transformers import ConvNeXTV2Config, ConvNextV2Model

>>> # Initializing a ConvNeXTV2 convnextv2-tiny-1k-224 style configuration
>>> configuration = ConvNeXTV2Config()

>>> # Initializing a model (with random weights) from the convnextv2-tiny-1k-224 style configuration
>>> model = ConvNextV2Model(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

ConvNextV2Model

ConvNextV2ForImageClassification

>>> from transformers import AutoImageProcessor, ConvNextV2ForImageClassification
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/convnextv2-tiny-1k-224")
>>> model = ConvNextV2ForImageClassification.from_pretrained("facebook/convnextv2-tiny-1k-224")

>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...