Transformers documentation

Janus

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

このモデルは2024年10月17日にHF papersで公開され、2025年4月17日にHugging Face Transformersに貢献されました。

Janus

概要

The Janus Model was originally proposed in Janus: Decoupling Visual Encoding for Unified Multimodal Understanding and Generation by DeepSeek AI team and later refined in Janus-Pro: Unified Multimodal Understanding and Generation with Data and Model Scaling. Janus is a vision-language model that can generate both image and text output, it can also take both images and text as input.

モデルは、画像とテキストを交互に生成する形式では出力しません。テキストを生成するか画像を生成するかを指定するパラメータを、ユーザーが渡す必要があります。

元の論文の抄録は以下の通りです。

本論文では、マルチモーダル理解と生成を統合した自己回帰型フレームワークJanusを提案します。先行研究では、Chameleonのように、両方のタスクに単一のビジュアルエンコーダーを依存することが多くあります。しかし、マルチモーダル理解と生成では要求される情報の粒度が異なるため、このアプローチは最適でないパフォーマンスにつながる可能性があります。特にマルチモーダル理解において顕著です。この問題を解決するために、ビジュアルエンコーディングを独立したパスに分離し、処理には単一の統合されたtransformerアーキテクチャを継続的に活用します。この分離により、ビジュアルエンコーダーが理解と生成の両方の役割において抱える競合が緩和されるだけでなく、フレームワークの柔軟性も高まります。例えば、マルチモーダル理解と生成のコンポーネントは、それぞれに最も適したエンコーディング手法を独立して選択できます。実験により、Janusは従来の統合モデルを上回り、タスク固有のモデルのパフォーマンスに匹敵するかそれを上回ることが示されました。Janusのシンプルさ、高い柔軟性、そして有効性は、次世代の統合マルチモーダルモデルとして有力な候補であることを示しています。

その後公開された前述のJanus-Pro論文の要旨は以下の通りです。

本稿では、先行研究 Janus の高度化版である Janus-Pro を紹介します。具体的には、Janus-Pro には (1) 最適化された学習戦略、(2) 拡張された学習データ、(3) より大きなモデルサイズへのスケーリングが組み込まれています。これらの改善により、Janus-Pro はマルチモーダル理解とテキストから画像への指示追従能力の両面で大幅な進歩を達成するとともに、テキストから画像への生成の安定性も向上しています。本稿がこの分野におけるさらなる探求のきっかけとなることを願っています。コードとモデルは公開されています。

このモデルは、Yaswanth Gali氏とHugo Silva氏によって提供されました。元のコードはこちらで確認できます。

使用例

単一画像の推論

単一画像による視覚理解の例を以下に示します。

モデルはチャット用の特定のプロンプト形式で学習されています。プロンプトを正しくフォーマットするには、processor.apply_chat_template(my_conversation_dict) を使用してください。


from transformers import JanusForConditionalGeneration, JanusProcessor


model_id = "deepseek-community/Janus-Pro-1B"
# Prepare Input for generation.
messages = [
    {
        "role": "user",
        "content": [
            {'type':'image', 'url': 'http://images.cocodataset.org/val2017/000000039769.jpg'},
            {'type':"text", "text":"What do you see in this image?."}
        ]
    },
]

# Set generation mode to `text` to perform text generation.
processor = JanusProcessor.from_pretrained(model_id)
model = JanusForConditionalGeneration.from_pretrained(model_id,
            device_map="auto")

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    generation_mode="text",
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device)

output = model.generate(**inputs, max_new_tokens=40,generation_mode='text',do_sample=True)
text = processor.decode(output[0], skip_special_tokens=True)
print(text)

複数画像の推論

Janus は、複数の画像を入力として推論を実行できます。画像は同じプロンプトに属する場合もあれば、バッチ推論において異なるプロンプトに属する場合もあります。バッチ推論では、モデルが多数の会話を並列で処理します。以下はその方法です。


from transformers import JanusForConditionalGeneration, JanusProcessor


model_id = "deepseek-community/Janus-Pro-1B"

image_urls = [
    "http://images.cocodataset.org/val2017/000000039769.jpg",
    "https://www.ilankelman.org/stopsigns/australia.jpg",
    "https://huggingface.co/microsoft/kosmos-2-patch14-224/resolve/main/snowman.jpg"
]

messages = [
    [
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "What’s the difference between"},
                {"type": "image", "url": image_urls[0]},
                {"type": "text", "text": " and "},
                {"type": "image", "url": image_urls[1]}
            ]
        }
    ],
    [
        {
            "role": "user",
            "content": [
                {"type": "image", "url": image_urls[2]},
                {"type": "text", "text": "What do you see in this image?"}
            ]
        }
    ]
]

# Load model and processor
processor = JanusProcessor.from_pretrained(model_id)
model = JanusForConditionalGeneration.from_pretrained(
    model_id, device_map="auto"
)

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    generation_mode="text",
    tokenize=True,
    padding=True,
    return_dict=True,
    return_tensors="pt"
).to(model.device)

# Generate response
output = model.generate(**inputs, max_new_tokens=40, generation_mode='text', do_sample=False)
text = processor.batch_decode(output, skip_special_tokens=True)
print(text)

テキストから画像を生成

Janusは、プロンプトを指定して画像を生成することもできます。

from transformers import JanusForConditionalGeneration, JanusProcessor


# Set generation mode to `image` to prepare inputs for image generation..

model_id = "deepseek-community/Janus-Pro-1B"
processor = JanusProcessor.from_pretrained(model_id)
model = JanusForConditionalGeneration.from_pretrained(model_id,
            device_map="auto")

messages = [
    {
        "role": "user",
        "content": [
            {"type": "text", "text": "A dog running under the rain."},
        ],
     }
]

prompt = processor.apply_chat_template(messages, add_generation_prompt=True)
inputs = processor(text=prompt,generation_mode="image",return_tensors="pt").to(model.device)

# Set num_return_sequence parameter to generate multiple images per prompt.
model.generation_config.num_return_sequences = 2
outputs = model.generate(**inputs,
                         generation_mode="image",
                         do_sample=True,
                         use_cache=True,
                         )
# Perform post-processing on the generated token ids.
decoded_image = model.decode_image_tokens(outputs)
images = processor.postprocess(list(decoded_image.float()),return_tensors="PIL.Image.Image").to(model.device)
# Save the image
for i, image in enumerate(images['pixel_values']):
    image.save(f"result{i}.png")

Transformers

Janus

概要

使用例

単一画像の推論

複数画像の推論

テキストから画像を生成

JanusConfig

class transformers.JanusConfig

JanusVisionConfig

class transformers.JanusVisionConfig

JanusVQVAEConfig

class transformers.JanusVQVAEConfig

JanusProcessor

class transformers.JanusProcessor

__call__

JanusImageProcessor

class transformers.JanusImageProcessor

preprocess

JanusImageProcessorPil

class transformers.JanusImageProcessorPil

preprocess

JanusVisionModel

class transformers.JanusVisionModel

forward

JanusVQVAE

class transformers.JanusVQVAE

forward

JanusModel

class transformers.JanusModel

forward

get_image_features

JanusForConditionalGeneration

class transformers.JanusForConditionalGeneration

forward

call