modify 3b

3b.py

@@ -9,8 +9,8 @@ HAS_GPU = False
 
 # Model title and context size limit
 ctx_limit = 2000
-title = "RWKV-5-World-1B5-v2-20231025-ctx4096"
-model_file = "rwkv-5-h-world-1b5"
+title = "RWKV-5-World-3B-v2-20231025-ctx4096"
+model_file = "rwkv-5-h-world-3B"
 
 # Get the GPU count
 try:
@@ -130,26 +130,33 @@ examples = [
 User: Hello Edward. What have you been up to recently?
 
 Edward:''', 333, 1, 0.3, 0, 1],
-    [generate_prompt("写一篇关于水利工程的流体力学模型的论文，需要详细全面。"), 333, 1, 0.3, 0, 1],
-    ['''“当然可以，大宇宙不会因为这五公斤就不坍缩了。”关一帆说，他还有一个没说出来的想法：也许大宇宙真的会因为相差一个原子的质量而由封闭转为开放。大自然的精巧有时超出想象，比如生命的诞生，就需要各项宇宙参数在几亿亿分之一精度上的精确配合。但程心仍然可以留下她的生态球，因为在那无数文明创造的无数小宇宙中，肯定有相当一部分不响应回归运动的号召，所以，大宇宙最终被夺走的质量至少有几亿吨，甚至可能是几亿亿亿吨。
-但愿大宇宙能够忽略这个误差。
-程心和关一帆进入了飞船，智子最后也进来了。她早就不再穿那身华丽的和服了，她现在身着迷彩服，再次成为一名轻捷精悍的战士，她的身上佩带着许多武器和生存装备，最引人注目的是那把插在背后的武士刀。
-“放心，我在，你们就在！”智子对两位人类朋友说。
-聚变发动机启动了，推进器发出幽幽的蓝光，飞船缓缓地穿过了宇宙之门。
-小宇宙中只剩下漂流瓶和生态球。漂流瓶隐没于黑暗里，在一千米见方的宇宙中，只有生态球里的小太阳发出一点光芒。在这个小小的生命世界中，几只清澈的水球在零重力环境中静静地飘浮着，有一条小鱼从一只水球中蹦出，跃入另一只水球，轻盈地穿游于绿藻之间。在一小块陆地上的草丛中，有一滴露珠从一片草叶上脱离，旋转着飘起，向太空中折射出一缕晶莹的阳光。''', 333, 1, 0.3, 0, 1],    
+    [generate_prompt(""), 333, 1, 0.3, 0, 1],
+    ['''''', 333, 1, 0.3, 0, 1],    
 ]
 
 ##########################################################################
+port=7860
+use_frpc=True
+frpconfigfile="7680.ini"
+import subprocess
+
+def install_Frpc(port, frpconfigfile, use_frpc):
+    if use_frpc:
+        subprocess.run(['chmod', '+x', './frpc'], check=True)
+        print(f'正在启动frp ，端口{port}')
+        subprocess.Popen(['./frpc', '-c', frpconfigfile])
+
+install_Frpc('7860',frpconfigfile,use_frpc)
 
 # Gradio blocks
 with gr.Blocks(title=title) as demo:
     gr.HTML(f"<div style=\"text-align: center;\">\n<h1>RWKV-5 World v2 - {title}</h1>\n</div>")
     with gr.Tab("Raw Generation"):
-        gr.Markdown(f"This is RWKV-5 World v2 with 1.5B params - a 100% attention-free RNN [RWKV-LM](https://github.com/BlinkDL/RWKV-LM). Supports all 100+ world languages and code. And we have [200+ Github RWKV projects](https://github.com/search?o=desc&p=1&q=rwkv&s=updated&type=Repositories). *** Please try examples first (bottom of page) *** (edit them to use your question). Demo limited to ctxlen {ctx_limit}.")
+        gr.Markdown(f"This is RWKV-5 World v2 with 3B params - a 100% attention-free RNN [RWKV-LM](https://github.com/BlinkDL/RWKV-LM). Supports all 100+ world languages and code. And we have [200+ Github RWKV projects](https://github.com/search?o=desc&p=1&q=rwkv&s=updated&type=Repositories). *** Please try examples first (bottom of page) *** (edit them to use your question). Demo limited to ctxlen {ctx_limit}.")
         with gr.Row():
             with gr.Column():
                 prompt = gr.Textbox(lines=2, label="Prompt", value="")
-                token_count = gr.Slider(10, 300, label="Max Tokens", step=10, value=100)
+                token_count = gr.Slider(10, 10000, label="Max Tokens", step=100, value=10000)
                 temperature = gr.Slider(0.2, 2.0, label="Temperature", step=0.1, value=1.0)
                 top_p = gr.Slider(0.0, 1.0, label="Top P", step=0.05, value=0.3)
                 presence_penalty = gr.Slider(0.0, 1.0, label="Presence Penalty", step=0.1, value=1)
@@ -165,4 +172,4 @@ with gr.Blocks(title=title) as demo:
         data.click(lambda x: x, [data], [prompt, token_count, temperature, top_p, presence_penalty, count_penalty])
 
 # Gradio launch
-demo.launch(share=True)
+demo.launch(share=False)