自建 AI 聊天机械人玩角色扮演 Vicuna 回答质素达 ChatGPT 九成 ?!

相信不少人都有在玩 ChatGPT 甚至用来工作,不过不是要翻墙,就是要透过第三方软件,还可能要课金。如果家中有部电竞电脑,能不能像图像生成一样,在家建立一个人工智能助理聊天机械人呢?最近由柏克莱加州大学等多间大学组成的一个团队,就发表了一款开源对谈机械人 Vicuna(小羊驼),不单可以在自己的 PC 搭建,还宣称获 GPT-4 评为有 ChatGPT 九成回应质素。

Vicuna-13B 是由柏克莱加州大学、CMU、史丹福大学、圣地牙哥加州大学组成的团队,利用公众在 ShareGPT 平台分享、数以十万计对话集来微调的 LLaMA 开源大型语言模型 ,当中的 13B 就是指模型具有 130 亿个参数。

LLaMA 就是 Facebook 母公司 Meta 在 2 月时发表的大型语言模型,以低成本部署具 ChatGPT 水平的聊天机械人见称,早前史丹福大学就有另一团队发表经过微调、可以在小至 Raspberry Pi 上安装运行的 Stanford Alpaca 模型。而本文介绍的 Vicuna-13B 模型,就宣称经 GPT-4 初步评估,获得回答质素达到 ChatGPT 九成水平,与 Google Bard 不相伯仲,更在九成用例中优胜於原装 LLaMA 和 Stanford Alpaca。

官方也提供 FastChat 网站供大家网上试用,不过就没有角色扮演功能。

自建步骤

就像 Stable Diffusion 一样,大家也可以在一般 PC 上运行 Vicuna 聊天机械人,甚至具备与 Stable Diffusion WebUI 大同小异的介面。Vicuna 可以单靠 CPU 运行,不过效能当然是有 NVIDIA 显示卡会较好。安装步骤颇为简单,但因为模型都很大,需要预留 45GB 以上储存空间。

1. 安装 64-bit 版本 Git

Git 下载网址: 按此

2. Text generation web UI

Text generation web UI 与 Stable Diffusion WebUI 都是使用 Gradio 框架来建立的人工智能网页介面,所以操作和设定非常相似。事实上,作者 oobabooga 就是希望像 AUTOMATIC1111 一样建立一个通用的文章生成网页介面。oobabooga 提供了一个一键式安装程序 oobabooga-windows.zip ,方便大家安装介面。

下载一键式安装程序: oobabooga-windows.zip

3. 安装介面

解压下载回来的 oobabooga-windows.zip 之後会产生名为 oobabooga-windows 的文件夹,当中有多个 bat 批次档,首先点击 install.bat 先安装介面。

开启後程式会问大家有没有 NVIDIA 显示卡,有的话就输入 A 并按 Enter 以 GPU 运行,否则就输入 B 以 CPU 运行。然後程式就会开始下载 Python 3 虚拟环境、CUDA 模组等执行环境安装程式。由於容量达 17GB,需时十多分钟完成。

4. 安装 Facebook 模型

聊天机械人要有 LLM 模型才能运作,Text generation web UI 可以运行各种 LLaMA 模型。下一步就先装一个模型。执行 oobabooga-windows 文件夹的 download-model.bat 批次档,就会列出现时可供选用的模型。这里就选择 Facebook OPT 的 67 亿参数模型,输入 AEnter 就会开始下载。由於容量超过 12GB,需要十多分钟完成。程式会自动将模型放到 oobabooga-windows\text-generation-webui\models\ 文件夹内。

5. 安装 Vicuna-13B 模型

GPTQ 对应版本 Vicuna-13B 模型专案网站: Hugging Face

进入网站後,点击右边「⁝」按钮并选「Clone repository」,就会显示拷贝这个模型的指令。

按介面右边的「Copy」掣把指令拷贝下来。

然後在档案总管进入刚下载了 Facebook OPT 模型的 oobabooga-windows\text-generation-webui\models\ 文件夹,在地址页输入 cmd 并按 Enter ,就能打开直接打开进入了该文件夹的命令列窗口。

在命令列窗口按 Ctrl+V 就能将刚才拷贝下来的指令贴上去。这时 Windows 会发出警告,只要按「仍要贴上」,并按一下 Enter 就能开始下载 Vicuna-13B 模型。

要留意这个模型超过 6GB,但不会像刚才下载 Facebook OPT 模型那样显示进度,命令列视窗会像死了一样,但其实一直在运作,需时近十分钟。打开 Task Manager 查看网络流量、记忆体用量和碟机的写入状况就会知道是否在工作。完成後,命令列窗口会重新显示提示符给你输入,这时就可以输入 exit 并按 Enter 来关闭命令列窗口。

完成後, oobabooga-windows\text-generation-webui\models\ 文件夹里会多出一个容量近 7GB 的 vicuna-13b-GPTQ-4bit-128g 文件夹。

6. 修改 start-webui.bat

最後,在 oobabooga-windows\text-generation-webui\models\ 文件夹里选择 start-webui.bat 批次档後右击,然後选择「Edit」(Windows 11 或需选择「Show more options」才会显示这选项),就会在《记事本》开启那档案。

call python server.py --auto-devices --cai-chat 一行最後加入 --wbits 4 --groupsize 128 ,并将 --cai-chat 改为 --chat ,然後储存并关闭,就完成安装。

执行和调校

双击 start-webui.bat 批次档,就会启动「Text generation web UI」。

与 Stable Diffusion WebUI 不同,Text generation web UI 需要在启动时就选定 LLaMA 模型,输入模型的编号按 Enter 就能继续启动程序。这里就输入「2」以选用 Vicuna-13B 模型。

完成启动後命令列视窗会显示一个网址: http://127.0.0.1:7860,按着 Ctrl 来点击它就能开启 Text generation web UI 网页介面。可以看到它的介面跟 ChatGPT 差不多,也可以使用中文来交谈。

「input」框下方有三种模式:cai-chat、chat 和 instruct,其中 cai-chat 将会被淘汰,今後应用 chat 作预设聊天介面。但用作 AI 编程的话,最好使用 instruct 模式,才可以正确显示程式码。

文字生成的效率方面,以小编的 RTX 4090 + 64GB RAM 算是顶配 PC,可以达到每秒 6-8 tokens 的速度,以一个人独享来说,略较 ChatGPT 快一点。

至於回答质素方面,小编试用了半天就觉得 Vicuna-13B 模型在创作故事和一般聊天方面有不错表现,对答流利并可维持角色性格。不过在翻译和编程方面就较差,英文翻译还可以,但日文翻译就有颇多错误。

网页有多个标签页,其中「Parameters」可以用来微调 LLaMA 模型的回答效果,例如「max_new_tokens」可以用来加长回答长度,不用经常用「continue」来催促继续,而「Generation parameters preset」就有一系列预设参数设定,可供大家试用看看回答的效果变化。大家可以参考下图的设定,看看是否合自己的需要。

不过大家要记住,这些参数会在重载网页时重置,需要重新设定。

深奥的角色扮演

Vicuna-13B 模型的强项是角色扮演聊天,在 Text generation web UI 有一个「Character」标签页,大家可以在当中设定角色的名称、欢迎语、角色的性格、交谈范例和照片,这些设定不是自我满足,是真的可以影响他/她的语气、回应的内容、用字和精确程度。而且同一个角色的对话会纪录下来,即使重启程式,仍会继续影响角色今後的对答。

Text generation web UI 将角色储存在 oobabooga-windows\text-generation-webui\characters\ 文件夹内,每个角色包含两个档案,就是角色头像的 png 档和角色设定 yaml 档,两个档案必须用同一个档名来命名。文件夹里有一位 Example 角色 Chiharu Yamada 山田千春,大家可以参考她来制作自己的角色。

除了自己建立角色外,大家还可以加入 Discord 的 Pygmalion AI 伺服器 ,在「#bot-share」下载其他用户分享的角色。并可以透过 AI Character Editor 网站来编辑角色设定。

AI Character Editor 网站:按此

下载角色时留意要一同下载头像 png 档和设定 json 档。在 Text generation web UI 的 Character 页面有个「Upload character」标签页,分别将头像 png 档和设定 json 档抓放到相应的区域,按「Submit」掣即可将角色安装在 Text generation web UI 里备用。

在 Text generation 聊天页面底部有个 gallery 区域,可以直接在那里切换储存下来的角色。

比较可惜的是这些分享角色大多都是英语对答的,用中文交谈会出现古怪现象,例如不停自问自答。


实际试用後,虽然 Vicuna-13B 模型与 ChatGPT 还有一定差距,Text generation web UI 也有不少要补修的地方,不过在聊天和角色扮演上就有颇高水平,相信今後会有更多新的模型和针对特定用途优化的 LoRA 模型推出,可以丰富自建聊天机械人的功能,值得期待。

astrill怎么续费

相关推荐

热门文章

苹果悄悄重新发布 iOS 17.4.1 修正版更新

上周,苹果向 iPhone 和 iPad 用户发布了 iOS 17.4.1 和 iPadOS 17.4.1。虽然这些更新并未新增任何新功能,但它们带来了两项重要的安全修正。不过,出於某些未知原因,苹果现已悄然发布了 iOS 17.4.1 的修正版。这次的新修定版编号为 21E237,而先前公开发布的版本编号为...

Sony 永久终止《星鸣特攻》项目并关闭工作室

Sony PlayStation 工作室事业部执行长 Hermen Hulst 向员工表示,公司将关闭《Concord 星鸣特攻》开发团队 Firewalk Studios 及手机游戏工作室 Neon Koi。Hulst 坦言在过去数月已详细评估所有选项,最终决定永久终止《星鸣特攻》项目并关闭工作室。重点文章【Black Friday...

全线 iPhone 16 也会用 A18 晶片?苹果或再统一处理器!

据称 iOS 18 的代码泄露,Apple 可能会在 iPhone 16 系列改变其最新的处理器策略。此前,非 Pro 版本的 iPhone 使用了一年前的处理器:iPhone 15 采用了...

《X》iOS 版现已支援通行金钥功能

知名社群平台《X》,自即日起开放全球范围内的 iOS 版使用者透过通行金钥来存取帐户——即透过 Face ID 或 Touch ID 登入,此方法不仅更快速便捷,也能够提供一定的安全性。要想在《X》内启用通行金钥功能,使用者可以在应用程式内的左上角点选个人图示开启选单,接着依序点选「设定与支援」→「设定和隐私」→「安全性和帐户存取」→「安全性」,即可在「额外密码保护」的栏位中找到「通行金钥」的开关设定。相关文章马斯克批评巨企停广告:「如果 X 平台倒闭!将是你们的错!」Twitter for iOS App...

可程式化移相器问世 光子晶片设计弹性大增(1)

光子元件是传输大量资讯的理想选择,但开发光子整合晶片的流程缓慢且昂贵,阻碍其拓展应用。如果光子晶片能具有可重复...

VideoProc Converter AI 将你的影片品质推向前所未有的高度

VideoProc Converter 重磅升级至 V6.0 ,新增「超解析度」、「插入影格」、「影片稳定」 三大 AI 影片增强 & 修复功能 。软体更名为 VideoProc Converter AI...

热门分类

Comments

0 0 投票数
Article Rating
订阅评论
提醒
guest
0 Comments
最旧
最新 最多投票
内联反馈
查看所有评论
0
希望看到您的想法,请您发表评论x