File size: 6,879 Bytes
917c1bb
a7b9436
 
a72828d
917c1bb
a7b9436
 
 
917c1bb
65078e3
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
a7b9436
 
 
 
917c1bb
45fef0b
a7b9436
f440b23
a7b9436
45fef0b
5ff811a
fa33852
 
45fef0b
a7b9436
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
65078e3
a7b9436
fa33852
 
45fef0b
a7b9436
 
 
 
 
 
6c32cc1
a7b9436
 
 
2bdfd34
 
5ff811a
a7b9436
 
2bdfd34
a7b9436
 
 
 
 
 
 
65078e3
6c32cc1
65078e3
 
 
 
 
 
6c32cc1
 
 
 
a7b9436
 
 
 
 
 
a72828d
 
a7b9436
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
import streamlit as st
import requests
import openai
import logging

# 设置OpenAI API密钥
openai.api_key = st.secrets["OPENAI_API_KEY"]
WELM_SECRET = st.secrets["WELM_SECRET"]

# 准备一些 prompt 的例子
def examples():
    st.write('''<style>
[data-testid="column"] {
    min-width: 1rem !important;
}
</style>''', unsafe_allow_html=True)
    columns = st.columns(4)
    with columns[0]:
        if st.button('个性对话生成'):
            st.session_state['prompt'] = "李白,字太白,号⻘莲居士,又号“谪仙人”,唐代伟大的浪漫主义 诗人,被后人誉为“诗仙”。\n我:今天我们穿越时空连线李白,请问李白你爱喝酒吗? 李白:当然。花间一壶酒,独酌无相亲。举杯邀明月,对影成三人。 \n我:你觉得杜甫怎么样? \n李白:他很仰慕我,但他有属于自己的⻛采。 \n我:你为何能如此逍遥? \n李白:天生我材必有用,千金散尽还复来!\n我:你去过哪些地方?\n李白:"
    with columns[1]:
        if st.button('开放问题回答'):
            st.session_state['prompt'] = '请根据所学知识回答下面这个问题\n问题:百年孤独的作者是?\n回答:加西亚·马尔克斯\n问题:二战转折点是?\n回答:'
    with columns[2]:
        if st.button('文本风格转换'):
            st.session_state['prompt'] = "有这样一段文本,{医生微笑着递给小明棒棒糖,同时让小明服下了药。}\n改写这段话让它变得更加惊悚。{医生眼露凶光让小明服药,小明感到非常害怕}。\n\n有这样一段文本,{雨下得很大}\n改写这段话让它变得更加具体。{一霎时,雨点连成了线,大雨就像天塌了似的铺天盖地从空中倾泻下来。}。\n\n有这样一段文本,{王老师离开了电影院,外面已经天黑了}\n改写这段话让它包含更多电影信息。{这部电影比小王预想的时间要长,虽然口碑很好,但离开电影院时,小王还是有些失望。}\n\n有这样一段文本,{男人站在超市外面打电话}\n改写这段话来描述小丑。{男人站在马戏团外一边拿着气球一边打电话}\n\n有这样一段文本,{风铃声响起}\n改写这段话写的更加丰富。{我对这个风铃的感情是由它的铃声引起的。每当风吹来时,风铃发出非常动听的声音,听起来是那么乐观、豁达,像一个小女孩格格的笑声。}\n\n有这样一段文本,{我想家了}\n改写这段话包含更多悲伤的感情。{"
    with columns[3]:
        if st.button('文本续写'):
            st.session_state['prompt'] = "中国地大物博,自然⻛光秀丽,大自然的⻤斧神工造就了许多动人心魄的美景,"

# 定义completion函数
def completion(model_engine, prompt, max_tokens, temperature, top_p, top_k, n, stop_tokens):
    if model_engine == "davinci-003":
        model = "text-davinci-003"

        answer = openai.Completion.create(
            model=model, prompt=prompt, temperature=temperature, max_tokens=max_tokens, top_p=top_p, n=n,
            stop=[" Human:", " AI:"], frequency_penalty=0, presence_penalty=0.6,
        )
        for idx, choice in enumerate(answer['choices']):
            text = choice['text']
            st.success(f'生成结果#{idx}: ')
            st.write(text)
        st.json(answer, expanded=False)

    elif model_engine == "WeLM":
        resp = requests.post("https://welm.weixin.qq.com/v1/completions", json={
            'prompt': prompt,
            'max_tokens': max_tokens,
            'temperature': temperature,
            'top_p': top_p,
            'top_k': top_k,
            'n': n,
            'model': 'xl',
            "stop": stop_tokens,
        }, headers={"Authorization": f"Bearer {WELM_SECRET}"})
        answer = resp.json()

        for idx, choice in enumerate(answer['choices']):
            if choice.get("finish_reason", None) != "finished":
                st.error(f'生成结果#{idx}出错: {choice["finish_reason"]}')
            elif choice.get("text", None) is None:
                st.error(f'生成结果#{idx}出错: internal error')
            else:
                text = choice.get("text", "")
                # text = cut_message(text)
                if len(text) == 0:
                    st.info(f'生成结果#{idx}: 结果为空,可能的原因:生成的第一个字符为stop字符,请合理配置prompt或stop。比如,在prompt后追加"某某:"')
                else:    
                    st.success(f'生成结果#{idx}: ')
                    st.write(text)
        st.json(answer, expanded=False)


# Streamlit应用程序
def app():
    # 左侧栏
    st.sidebar.title("参数设置")
    model_engine_list = st.sidebar.multiselect("请选择要对比的模型", ["davinci-003", "WeLM"], default=["davinci-003", "WeLM"])
    default_top_p = 0.95
    default_top_k = 0
    default_temperature = 0.85
    default_n = 3
    default_tokens = 256
    temperature = st.sidebar.slider("Temperature", 0.0, 1.0, default_temperature, 0.01)
    top_p = st.sidebar.slider('Top p', 0.0, 1.0, default_top_p)
    top_k = st.sidebar.slider('Top k', 0, 100, default_top_k)
    n = st.sidebar.slider('n', 1, 5, default_n)
    max_tokens = st.sidebar.slider('max tokens', 4, 512, default_tokens)
    stop_tokens = ""
    if st.sidebar.checkbox("使用换行符作为截断", value=True):
        stop_tokens = "\n"

    # 主界面
    st.title("对比不同模型生成文本的效果")
    st.text('Tips: ')
    st.text("* Davinci是是GPT-3语言生成模型,可以一定程度上理解用户的指令")
    st.text("* WeLM不是一个直接的对话机器人,而是一个补全用户输入信息的生成模型")
    st.text("* 因此 prompt 需要经过一定的设计,才能有比较好的效果")
    st.text("* 修改Prompt可以更多参考 https://welm.weixin.qq.com/docs/introduction/ 或者使用下方的例子")

    examples()
    prompt = st.text_area("请输入Prompt:", key="prompt")
    if st.button("生成"):
        if prompt.strip() == '':
            st.error("请输入内容")
            st.stop()
        columns = st.columns(len(model_engine_list))
        for col, model_engine in zip(columns, model_engine_list):
            with col:
                st.subheader(model_engine)
                with st.spinner("正在生成中..."):
                    completion(model_engine, prompt, max_tokens, temperature, top_p, top_k, n, stop_tokens)
        pf = prompt.replace('\n','\\n')
        logging.info(f"n={n},T={temperature},top_p={top_p},top_k={top_k},token={max_tokens},m={model_engine_list},p={pf}")

if __name__ == '__main__':
    st.set_page_config(
        page_title="对比不同模型生成文本的效果", layout="wide", initial_sidebar_state="auto",
    )
    app()