TensorRT-LLM

TensorRT-LLM otimiza a inferência de LLMs em GPUs NVIDIA. Ele compila os modelos em um engine TensorRT com in-flight batching, paged KV caching e tensor parallelism. O AutoDeploy aceita modelos do Transformers sem exigir nenhuma alteração. Ele converte automaticamente o modelo para um runtime otimizado.

Passe um id de modelo do Hub para build_and_run_ad.py para executar um modelo do Transformers.

cd examples/auto_deploy
python build_and_run_ad.py --model meta-llama/Llama-3.2-1B

Por baixo dos panos, o AutoDeploy cria uma classe LLM. Ele carrega a configuração do modelo com AutoConfig.from_pretrained() e extrai quaisquer metadados de paralelismo armazenados em tp_plan. AutoModelForCausalLM.from_pretrained() carrega o modelo com a configuração e habilita o paralelismo de tensor embutido nos Transformers.

from tensorrt_llm._torch.auto_deploy import LLM

llm = LLM(model="meta-llama/Llama-3.2-1B")

O TensorRT-LLM extrai o grafo do modelo com torch.export e aplica otimizações. Ele substitui a atenção dos Transformers pelos kernel de atenção do TensorRT-LLM e compila o modelo em um backend de execução otimizado.

Recursos

• Documentação do TensorRT-LLM para guias de uso mais detalhados.
• O guia do AutoDeploy explica como ele funciona, com exemplos avançados.