test deepseek

README.md

@@ -10,8 +10,3 @@ pinned: false
 ---
 
 An example chatbot using [Gradio](https://gradio.app), [`huggingface_hub`](https://huggingface.co/docs/huggingface_hub/v0.22.2/en/index), and the [Hugging Face Inference API](https://huggingface.co/docs/api-inference/index).
-
-#reqirment
-torch
-einops
-transformers==4.38.1

app.py

@@ -76,43 +76,62 @@ import os
 #     print(result)
 #     return result
 
-import replicate
-def deepseek_api_replicate(
-            user_message, 
+# import replicate
+# def deepseek_api_replicate(
+#             user_message, 
+#             history: list[tuple[str, str]], 
+#             system_message, 
+#             max_new_tokens, 
+#             temperature, 
+#             top_p):
+#     """
+#     Gọi DeepSeek Math trên Replicate và trả ngay kết quả.
+
+#     Trả về:
+#         str hoặc [bytes]: output model sinh ra
+#     """
+#     # 1. Khởi tạo client và xác thực
+#     # token = os.getenv("REPLICATE_API_TOKEN")
+#     # if not token:
+#     #     raise RuntimeError("Missing REPLICATE_API_TOKEN")  # bảo mật bằng biến môi trường
+#     client = replicate.Client(api_token="REPLICATE_API_TOKEN")          
+
+#     # 2. Gọi model
+#     output = client.run(
+#         "deepseek-ai/deepseek-math-7b-base:61f572dae0985541cdaeb4a114fd5d2d16cb40dac3894da10558992fc60547c7",
+#         input={
+#             "system_prompt": system_message,
+#             "user_prompt":   user_message,
+#             "max_new_tokens": max_new_tokens,
+#             "temperature":    temperature,
+#             "top_p":          top_p
+#         }
+#     )
+
+#     # 3. Trả kết quả
+#     return output
+
+import call_api
+def respond(
+            message, 
             history: list[tuple[str, str]], 
             system_message, 
-            max_new_tokens, 
+            max_tokens, 
             temperature, 
-            top_p):
-    """
-    Gọi DeepSeek Math trên Replicate và trả ngay kết quả.
-
-    Trả về:
-        str hoặc [bytes]: output model sinh ra
-    """
-    # 1. Khởi tạo client và xác thực
-    # token = os.getenv("REPLICATE_API_TOKEN")
-    # if not token:
-    #     raise RuntimeError("Missing REPLICATE_API_TOKEN")  # bảo mật bằng biến môi trường
-    client = replicate.Client(api_token="REPLICATE_API_TOKEN")          
-
-    # 2. Gọi model
-    output = client.run(
-        "deepseek-ai/deepseek-math-7b-base:61f572dae0985541cdaeb4a114fd5d2d16cb40dac3894da10558992fc60547c7",
-        input={
-            "system_prompt": system_message,
-            "user_prompt":   user_message,
-            "max_new_tokens": max_new_tokens,
-            "temperature":    temperature,
-            "top_p":          top_p
-        }
+            top_p
+            ):
+    return call_api.respond(
+            message, 
+            history: list[tuple[str, str]], 
+            system_message, 
+            max_tokens, 
+            temperature, 
+            top_p
     )
 
-    # 3. Trả kết quả
-    return output
 
 chat = gr.ChatInterface(
-    deepseek_api_replicate, #chat
+    respond, #chat
     # title="Trợ lý Học Tập AI",
     # description="Nhập câu hỏi của bạn về Toán, Lý, Hóa, Văn… và nhận giải đáp chi tiết ngay lập tức!",
     additional_inputs=[

call_api.py

@@ -0,0 +1,41 @@
+import openai # type: ignore
+# openai.api_key = os.getenv("OPENAI_API_KEY")
+
+client = openai.OpenAI()
+def respond(
+            message, 
+            history: list[tuple[str, str]], 
+            system_message, 
+            max_tokens, 
+            temperature, 
+            top_p
+    ):
+    
+    #read system message
+    messages = [{"role": "system", "content": system_message}]
+    
+    #read history
+    for val in history:
+        if val[0]:
+            messages.append({"role": "user", "content": val[0]})
+        if val[1]:
+            messages.append({"role": "assistant", "content": val[1]})
+    
+    #read output
+    messages.append({"role": "user", "content": message})
+    print("## Messages: \n", messages) #debug output
+
+    #create output
+    response = client.responses.create(
+        model="gpt-4.1-nano", 
+        input=messages,
+        temperature=temperature,
+        top_p=top_p,
+        max_output_tokens=max_tokens
+    )
+
+    #read output
+    response = response.output_text
+    print("## Response: ", response) #debug output
+    print("\n")
+    yield response #chat reply