code5ecure commited on
Commit
667d3f9
·
verified ·
1 Parent(s): db5b1e8

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +6 -7
app.py CHANGED
@@ -2,23 +2,22 @@ import gradio as gr
2
  from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline
3
  import torch
4
 
5
- MODEL_NAME = "TinyLlama/TinyLlama-1.1B-Chat-v1.0" # در صورت نیاز مدل کوچک‌تر انتخاب کنید
 
6
 
7
- # بارگذاری مدل و توکنایزر
8
  tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
9
  model = AutoModelForCausalLM.from_pretrained(
10
  MODEL_NAME,
11
- device_map="auto", # GPU اگر باشد استفاده می‌کند
12
- torch_dtype="auto" # دقت مناسب سخت‌افزار
13
  )
14
 
15
- # ساخت پایپلاین تولید متن
16
  generator = pipeline("text-generation", model=model, tokenizer=tokenizer)
17
 
18
  def generate_text(prompt, max_new_tokens, temperature, top_p):
19
  """
20
- تولید پاسخ با استفاده از max_new_tokens (مستقل از طول ورودی).
21
- در صورت خطای حافظه، یک بار با نصف max_new_tokens تلاش مجدد می‌کند.
22
  """
23
  max_new_tokens = int(max_new_tokens)
24
  temperature = float(temperature)
 
2
  from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline
3
  import torch
4
 
5
+ MODEL_NAME = "TinyLlama/TinyLlama-1.1B-Chat-v1.0"
6
+
7
 
 
8
  tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
9
  model = AutoModelForCausalLM.from_pretrained(
10
  MODEL_NAME,
11
+ device_map="auto",
12
+ torch_dtype="auto"
13
  )
14
 
15
+
16
  generator = pipeline("text-generation", model=model, tokenizer=tokenizer)
17
 
18
  def generate_text(prompt, max_new_tokens, temperature, top_p):
19
  """
20
+ میتونی حرف بزنی
 
21
  """
22
  max_new_tokens = int(max_new_tokens)
23
  temperature = float(temperature)