Update app.py

app.py

@@ -29,9 +29,12 @@ async def generate(request: Request):
     if not prompt:
         return {"error": "Thiếu prompt!"}
 
+# Thêm quy định vào prompt
+    final_prompt = f"Trả lời bằng tiếng Việt, ngắn gọn: {data.prompt}"
+
     inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
     outputs = model.generate(**inputs,
-                             max_new_tokens=50,temperature=0.3,top_p=0.8,repetition_penalty=1.2,do_sample= False
+                             max_new_tokens=50,temperature=0.5,top_p=0.9,repetition_penalty=1.2,do_sample= False,eos_token_id=tokenizer.eos_token_id
                             )
     result = tokenizer.decode(outputs[0], skip_special_tokens=True)
     return {"response": result}