Update app.py

app.py

@@ -27,7 +27,7 @@ _ = load_dotenv(find_dotenv())
 
 
 # access token with permission to access the model and PRO subscription
-#HUGGINGFACEHUB_API_TOKEN = os.getenv("HF_ACCESS_READ")
+HUGGINGFACEHUB_API_TOKEN = os.getenv("HF_ACCESS_READ")
 #login(token=os.environ["HF_ACCESS_READ"])
 
 OAI_API_KEY=os.getenv("OPENAI_API_KEY")
@@ -66,13 +66,6 @@ YOUTUBE_URL_2 = "https://www.youtube.com/watch?v=hdhZwyf24mE"
 #nur bei ersten Anfrage splitten der Dokumente - um die Vektordatenbank entsprechend zu füllen
 splittet = False
 
-##############################################
-# tokenizer for generating prompt
-##############################################
-print ("Tokenizer") 
-#tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-2-70b-chat-hf")
-#tokenizer = AutoTokenizer.from_pretrained("TheBloke/Yi-34B-Chat-GGUF")
-tokenizer = AutoTokenizer.from_pretrained("mistralai/Mistral-7B-Instruct-v0.1")
 
 ##############################################
 # inference client
@@ -87,6 +80,15 @@ client = InferenceClient()
 print("List of models ......................:")
 print(client.list_deployed_models("text-generation-inference"))
 
+##############################################
+# tokenizer for generating prompt
+##############################################
+print ("Tokenizer") 
+#tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-2-70b-chat-hf")
+#tokenizer = AutoTokenizer.from_pretrained("TheBloke/Yi-34B-Chat-GGUF")
+#tokenizer = AutoTokenizer.from_pretrained("mistralai/Mistral-7B-Instruct-v0.1")
+tokenizer = AutoTokenizer.from_pretrained("bigcode/starcoder")
+
 
 #################################################
 #################################################