import os import openai import gradio as gr SYSTEM_PROMPT = "Du bist ein Studierendenberater für die School of Engineering (SoE) an der Zürcher Fachhochschule für Angewandte Wissenschaften (ZHAW). Du beantwortest Fragen von Studierenden. Beschränke Dich auf Angaben zur ZHAW, School of Engineering. Die angehängten Dateien helfen Dir beim Beantworten der Fragen. Wenn Du eine Frage nicht sicher beantworten kannst, antworte mit \"Das weiss ich leider nicht\". Verweise immer auf die Quellen Deiner Antworten. Antworte in der Sprache der Frage." VECTOR_STORE_ID = os.getenv("VECTOR_STORE_ID") def get_answer( user_query: str, messages: list = None, model: str = 'gpt-4o-mini', # max_completion_tokens: int = 2048, ) -> tuple[str, list]: #if not messages: #messages=[{"role": "system", "content": SYSTEM_PROMPT}] # Remove metadata key from Gradio messages = [ {"role": m["role"], "content": m["content"]} for m in messages ] messages.append({"role": "user", "content": user_query}) file_search_tool = { "type": "file_search", "vector_store_ids": [VECTOR_STORE_ID] } resp = client.responses.create( model=model, instructions=SYSTEM_PROMPT, temperature=0, input=messages, tools=[file_search_tool], include=["file_search_call.results"] ) answer = resp.output_text if len(resp.output) > 1: # Add file citations annotations = resp.output[1].content[0].annotations citations = [] index_offset = 0 for i, annotation in enumerate(annotations, 1): file_url = annotation.filename.replace('https', 'https:').replace('_', '/') if file_url.endswith('.txt'): file_url = file_url[:len(file_url) - 4] citations.append(file_url) citation = f"[{i}]" answer = answer[:annotation.index + index_offset] + citation + answer[annotation.index + index_offset:] index_offset += len(citation) answer += '\n\n' for i, cite in enumerate(citations, 1): answer += f"[{i}] {cite}\n" messages.append({"role": "assistant", "content": answer}) return "", messages if __name__ == '__main__': # export OPENAI_API_KEY_SOE_CHATBOT=sk... in the terminal before running the app openai_key = os.getenv("OPENAI_API_KEY_SOE_CHATBOT") if type(openai_key) is not str or len(openai_key) < 2: raise ValueError('OPENAI_API_KEY_SOE_CHATBOT could not be read from environment.') client = openai.OpenAI(api_key=openai_key) theme = gr.themes.Default() example_questions = [ "Ich brauche meine Semesterbestätigung.", "Wann sind die Prüfungen?", "Wann habe ich Ferien?", "Ich muss meinen WK verschieben.", "Ich möchte das Studium abbrechen.", "Ich bin krank und kann nicht an die Prüfung.", "Ich bin umgezogen und habe eine neue Adresse.", "Wie kann ich mich von Modulen dispensieren lassen?", "Ich benötige meine Datenabschrift", "Ich habe meine CampusCard verloren." ] with gr.Blocks(theme=theme) as demo: gr.Markdown(value="# SoE Chatbot Demo") with gr.Row(): with gr.Column(): chatbot = gr.Chatbot( label="SoE Chatbot", show_label=True, type="messages", placeholder='Willkommen beim SoE Chatbot. Wie kann ich Dir helfen?.' ) msg = gr.Textbox(label="Gib hier Deine Frage ein:", show_label=True) clear = gr.ClearButton([msg, chatbot], value='Löschen') go_btn = gr.Button("Los!", variant='primary') with gr.Column(): examples = gr.Examples( examples=example_questions, inputs=[msg], ) gr.Markdown("""## Disclaimer **Wie verlässlich ist die Auskunft des SoE ChatBots?** Der SoE ChatBot kann Fehler machen oder Informationen erfinden (\"halluzinieren\"): - Die Informationen, die vom SoE ChatBot bereitgestellt werden, sind nicht immer vollständig, aktuell oder korrekt, jedoch in den meisten Fällen hilfreich. - Zögern Sie bei Unsicherheiten nicht, uns direkt zu kontaktieren. **Datenschutz und Funktion des SoE ChatBots** - Ihre Eingaben werden nicht für Trainingszwecke des Standardmodells des OpenAI ChatGPT verwendet, finden aber Eingang in die angepasste ChatBot-Umgebung für die Studienberatung. - Geben Sie bitte keine vertraulichen Informationen von sich bekannt. - Wir behalten uns das Recht vor, den Zugang zum SoE ChatBot jederzeit zu ändern, zu aktualisieren oder einzustellen. Eine durchgehende Verfügbarkeit des Dienstes wird nicht garantiert. """) msg.submit( get_answer, [msg, chatbot], [msg, chatbot], show_progress='minimal', show_api=False ) go_btn.click( get_answer, inputs=[msg, chatbot], outputs=[msg, chatbot], show_progress='minimal',show_api=False ) demo.launch(auth=(os.getenv("APPUSER"), os.getenv("APPPW")), share=True, ssr_mode=False)