Replicable commited on
Commit
6d9dbbb
·
verified ·
1 Parent(s): e3601f9

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +4 -2
app.py CHANGED
@@ -2,13 +2,15 @@ import gradio as gr
2
  from transformers import AutoModelForCausalLM, AutoTokenizer
3
  import torch
4
 
 
 
5
  # Název modelu Gemma (můžeš změnit na jiný dostupný model)
6
  MODEL_NAME = "google/gemma-7b"
7
 
8
  # Načtení tokenizeru a modelu
9
- tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
10
  model = AutoModelForCausalLM.from_pretrained(
11
- MODEL_NAME,
12
  torch_dtype=torch.float16, # Použití half-precision pro výkon
13
  device_map="auto" # Automatická detekce GPU/CPU
14
  )
 
2
  from transformers import AutoModelForCausalLM, AutoTokenizer
3
  import torch
4
 
5
+
6
+
7
  # Název modelu Gemma (můžeš změnit na jiný dostupný model)
8
  MODEL_NAME = "google/gemma-7b"
9
 
10
  # Načtení tokenizeru a modelu
11
+ tokenizer = AutoTokenizer.from_pretrained("google/gemma-7b")
12
  model = AutoModelForCausalLM.from_pretrained(
13
+ "google/gemma-7b",
14
  torch_dtype=torch.float16, # Použití half-precision pro výkon
15
  device_map="auto" # Automatická detekce GPU/CPU
16
  )