Update chain_app.py

chain_app.py

@@ -10,6 +10,7 @@ from huggingface_hub import InferenceClient
 
 
 hf_token = os.environ.get("HF_TOKEN")
+hf_token_llama_3_1 = os.environ.get('HF_TOKEN_FOR_31')
 openai_api_key = os.environ.get('OPENAI_API_KEY')
 groq_api_key = os.environ.get('GROQ_API_KEY')
 cohere_api_key = os.environ.get('COHERE_API_KEY')
@@ -628,7 +629,7 @@ async def main(message: cl.Message):
     elif chat_profile == 'Llama-3.1-405B':        
         client = InferenceClient(
             "meta-llama/Meta-Llama-3.1-405B-Instruct",
-            token=hf_token,
+            token=f'{hf_token_llama_3_1}',
         )
         
         for message in client.chat_completion(