你刚才听到的这句声音,不是某个云服务商的 API 返回的。它是我这台电脑,用本地模型,一个字一个字跑出来的。而和我对话的角色,会记住你跟她说过什么、也知道彼此现在是什么状态。
今天这期,我给大家分享我最近做的一个 skill:AI 伴侣。她可以真正实现文字聊天、语音聊天,甚至会发图片,有记忆,可以代入剧本或小说,让你实现带着系统”穿书”的梦想。
最关键的是:语音生成和图生成都用本地模型,不烧 token。 你只需要 WorkBuddy 加本地模型部署,就能实现聊天互动。还可以用手机端 WorkBuddy——家里电脑开着,人在公司,照样拿手机跟她聊。
一、文字和语音
角色由你自己创造。你可以上传一段人声音频作为音色克隆参考,模型就能按这个音色的语气说话。十秒音频就够。
skill 还会再叠一层情绪指令——同一条嗓子,你可以让她”娇媚呢喃”,也可以让她”撒娇讨赏”、”羞怯坦白”。而这个情绪不是你手写的,是大语言模型按你们聊天的语境自己适配的,聊到哪儿,语气跟到哪儿。
语音这块用的是 Breeze TTS 2。它有个很省事的设计:音频文件旁边放一个同名 txt,写清楚这段音频在说什么就行。没有文本也没关系,它自带一个本地语音识别模型,能把干音转成文本,全程不联网。
二、图片
图片方面,用的是刚开源的 Qwen-Image 2.1 的图像编辑加生图整合工作流。
出图速度我报实测:质量档大概 60 秒一张(30 步采样),挂上 turbo 加速的快速档只要 8 步,明显更快。这按照我们平时用社交软件的聊天节奏,完全够用。
你也可以换成自己习惯用的生图模型,比如 Krea2;也可以用无审查模型或者一些细节 LoRA,懂的都懂。
三、小说剧本导入,实现”穿书”
给它一本小说,它先通读——注意是分段读完到结尾,不是读个开头就开始瞎编。
然后产出角色卡:身份、外形、性格内核、在不同人面前的人格切面、跟其他人的关系网、欲望和底线、剧情停在哪一环。
你只要告诉它三件事:我演谁、你演谁、从哪个进度点开始——就可以实现”穿书”。
四、多部小说、多个角色,互不串味
那它能不能同时开几部小说、演多个角色?当然可以。
每个剧本(每个人物)一条独立的线,每条线有自己的角色卡、剧情主线、规矩和当日对白。
演这条线的时候,另一条线的人物、进度、规矩根本读不到——不是靠我自觉不去翻,是机器层面直接拦掉。我试过故意去读别的线,直接被拒绝。
所以不会出现”张冠李戴”:A 线的性格跑到 B 线身上,这种串味的事不会发生。
五、存档在本地,没有隐私困扰
再说记忆。上下文会被压缩,压缩就等于失忆。所以它的做法是硬落盘:索引、角色卡、剧情主线、边界与规矩,外加按天归档的情节要点和原始对白全文。
关掉会话重开一个,问它”我们上次演到哪了”,它答得出来——因为它不是靠记忆,是靠读盘。
而且这套存档不是靠我自觉,它挂了钩子:新会话强制提醒先读档、命中剧情关键词自动注入上下文、跨线读写直接拒绝、当天有剧情但没归档就卡住不让你结束。
记忆的责任在 AI,不在用户——用户不该被要求复述自己说过的话。
重点是:这些文件全在你自己电脑的硬盘上。 聊天内容、角色设定、每一张图、每一段语音,没有账号、没有上传、没有云端同步。你把网线拔了,这套东西照跑。
对比云端方案,你说的每一句话都是发给服务商的一条请求,存在别人数据库里。这个项目的取法是反过来的:数据不出本机,责任也不外包。
当然,备份和安全得你自己负责。这是自由的代价。
六、用到的模型
文字聊天模型:用 WorkBuddy 自带的就可以,有些模型有限免活动,可以白嫖。
语音生成模型:Breeze TTS 2,权重 7.2 GB,输出 24 kHz,单句生成时间 9 到 15 秒。
图片模型:Qwen-Image 2.1 的图像编辑加生图整合工作流。底模我用 int8 量化版 7.2 GB,出图质量档约 60 秒一张,挂上 turbo 加速的快速档只要 8 步,明显更快。
这里要强调,同时开启语音模式和图片模式,语音和出图抢同一张显卡,容易 OOM,所以脚本里我把顺序编死了——出图、释放、配音、停服务、释放、出图,这样不会 OOM。
你也可以自己设置:输入文字聊天模式,那就是纯语言模型,反应速度快。语音模式,那语音模型就可以常驻,省去每次生成语音加载模型的时间。也可以文字+图片模式,生图模型常驻,图片 60 秒一张,总之比你要追的女神回消息快。
七、最低配置和部署方法
本地部署需要的最低配置:8 GB 显存加 32 GB 内存,语音和图片这两条线就能跑起来。门槛没你想的那么高,有张游戏显卡就能开工。本地须安装有 ComfyUI,并下载 Breeze TTS 2 和 Qwen-Image 2.1 的图像编辑加生图整合工作流(视频简介区都有),你只需要让 WorkBuddy 加载技能,告诉它你的 ComfyUI、Qwen-Image 2.1 的图像编辑加生图整合工作流和 Breeze TTS 的目录在哪,技能完全能够自动调用。
八、关于本地 LLM,可以尝试本地部署 Strata
如果你想更进一步,让对话也不出本机,我推荐一个玩法:本地部署 Strata。
它是个 MIT 协议的开源本地推理引擎,能让你在普通游戏电脑上跑起千亿参数级别的开源大模型,并且在本地提供跟 OpenAI、Anthropic 兼容的接口——你把接口地址填进 WorkBuddy,对话就全程走你自己的机器了。 我试下来效果很好。
只有一个代价:本地跑语言模型会吃掉大部分资源,这时候你就没有余力再生图、生语音了,只能纯文字聊天。
最后,透露 WorkBuddy 破限的老司机玩法,懂的都懂,感兴趣可以联系作者。skill 和用到的模型、工作流等,都在视频简介区,可以直接下载。