你好,千文。介绍一下你自己吧。给我讲一个笑话吧。
剧员说不用咖啡是热的
电脑说那好吧
我这就把咖啡也热一下
希望这个笑话能让你会心一笑
大家好啊
刚才给这是给大家展示了一下
这个项目的一个效果
那么今天呢
我们讲一个非常有趣
并且我感觉也比较新颖的一个项目
叫千万Audio Agent
大家看一下这个名字就非常清楚这个项目讲了个什么事
首先是audio
重要的是audio和agent
千万必须要介绍
肯定是人家阿里搞的
感谢官方的分享
然后audio和agent
结合在一起
大家实际看到了刚才我给大家展示的效果
可以进行语音交互
以及自然的问答
特别真实
特别流畅
而且大家也可以看到视频中
那么这个项目也支持这个打断功能
你随时可以新的问题提出可以打断
那么下面我们就看一下
这个项目的一些具体介绍
以及安装注意事项
先说这个介绍吧
因为安装注意事项那还是比较复杂的
然后说这个项目呢
官方说是真正的交流啊
不该再说完一句话后
陷入漫长的等待
也不该因为agent
他正在查资料
调用工具和处理任务
正常对话就此诈听啊
其实他
我是这么理解的啊
可能不是很准确
我认为就是
一个一个真正的对话的一个agent啊
不需要再打字啊
那么通过这种对话的交流啊
就可以实现调用agent啊
调用工具啊
实现某种电脑上的那具体的操作啊
然后我们接着看啊
做了这个
然后官方就做了这个agent啊
让agent持续交流
持续工作
持续实时对话进行交流啊
这个我觉得还是
比较新颖啊
比较特别的
而且大家也看到我
我们实际这个展示这个效果啊
我感觉这个效果还是非常好的啊
也没有打断很流畅很连贯啊
就是这么样一个效果
然后下面呢
就是它的一个日志
就是更新日志
大家可以具体看一看
然后这个呢
就是一个实际的展示视频
那么大家有兴趣的话
我就不在这给大家一块看了
大家这一分多钟
大家自己去慢慢看
然后看一下特色
说双双
全双公实施语音交互
自然打断持续多轮对话
刚才的演示
我已经充分了给大家展示了个
什么叫实时运营交互
什么叫打断
什么叫持续多轮
刚才演示中
已经给大家介绍了
已经给大家展示出来了
然后一键选择你办事的agent
服用所有的工具
mcp以及技能
这个项目还是扩展性还是很好的
就这个扩展性的说法
就是在于它可以
使用现有的工具
mcp及技能
这个扩展性非常好
而兼容性也非常好
扩展和兼容性都非常好
然后前台对话与后台任务
并加起去可以
随时追问任务技能和取消任务
这个我也尝试过
完全OK的
它甚至可以开子任务
但是它的子任务
我目前认为
可能他还是在在调用其他agent中的
的任务去执行相关的
呃任务工作啊
支持创建多个独立任务啊
然后由后台的agent一步执行啊
并持续追踪任务状态
就是我说的这个意思啊
其实用后台的这个agent
一步执行啊
多个独立的子agent的任务啊
就可以这么理解
可能比较绕嘴
还是其实呃
总体来说就这么样一个流程
就是说呃
前往audio agent去调用后台的agent
那么这个后台的agent有多种方案
那么你可以选取一种agent的方案
然后这个agent的方案
可以一步的去使用其中的自agent
去执行任务啊
就是这么样一个流程
大家可以理解一下
我说了这个意思啊
任务结束自动回答
回答到当前对话
就是说他的一步子任务啊
完成之后可以就给你一个反馈啊
就是一步的啊
支持继续追问和修改
那么你也可以对这个一部任务进行继续的追问修改
支持web UI
终端TUI和桌面球
这个目前的话web UI和终端UI的话
我没怎么用
但是我用的是个悬浮球
我认为这个悬浮球非常好用
我就没用web UI和中端TUI
其实这两个其实也没什么
其实这三个没什么区别
啊啊
我觉得这个中单球比较方便
所以也不占地方顺手就可以
拈来啊
比较舒服
所以我就用这个了啊
支持当心用户长期更新化的
跨会画机翼啊
这个我机翼我倒是
呃没没充分利用上啊
我等于后期研究研究再再给大家展示啊
那么这样这个就是探口价值不拖啊
那么用户问了
然后通过这个audio runtime啊
通过上下文去执行这个Audio Runtime
这个Agent
Agent Runtime
然后给反馈
最终给了用户
其实就这么样一个流程
其实这个流程中
我们看了三个主要主体用户
千万Audio Runtime
还有Agent
这么三个主要的角色
主体
任务主体
那么这样就是一个简单的架构图
还有一个具体的一个架构图
这个具体架构图
接入参考架构
那么这个架构图的话
大家就自己去详细看吧
因为这个上面文字比较多
我不希望视频太长
但流程其实就跟上面这个大差不诈
只不过是可能多了很多的细分
下面就说到了比较重要的东西了
就是它这个后端agent
就是我们刚才讲的后端agent这里
就刚才特色的后端agent
那么这个后端的agent呢
你可以选到没有啊
你也可以用目前一支的全部主流啊
记得是全部主流的这种agent工具啊
可能是agent工具啊
包括我就不念了
反正就是市面最主流的全部都有啊
这里面呢我用的是hermes
Hermes啊
我觉得OpenCloud我还挺想用的
但是呃我我我喜欢用的Hermes
因为我觉得现在Hermes的速度特别快啊
因为最近公新了这个呃
181920这个版本之后这个Hermes的嗯
至于说其他的比如说Codex啊
Claw Code啊还有这个OpenClaw呢
我因为他是巧接啊
巧接的话他的我觉得他的反应
反应速度可能没有远胜速度那么快啊
所以我这里面最推荐的还是用Hermes啊
大家可以啊就是用自己喜欢的
然后如果你是用这个这个Web UI啊
你可以用这个这个安装啊
安装一下这个NUDEJS安装一下啊
大家注意这个node.js版本就行了
然后呢
是配这个模型啊
这个这个如果你是用这个node.js这个这个安装方案的话
那你就要需要
嗯去去在这个webui或者tui里面去配置一下
嗯相关的这个模型
k啊
呃包括这个云前天模型
还有这个
agent 他的这个后台agent 的这个方案啊
嗯还有这个
后台模型啊
因为他这里面模型非常多啊
因为你看这就有
语音模型啊
语音前的语音模型用用于交互的啊
就是语音交互的啊
模型
然后这个后台模型呢
就是他交互的话
你不是有一个一个思考处理的过程吗
那么就是这个东西
其实啊
这个就负责语音交互啊
这个就负责这个
文字反馈啊
你可以这么想反馈吧
包括工具工具调用
也不是工具工具调用
其实也是后台agent就投作
就是一个反馈吧
问答问答反馈
就像你正常使用模型的问答反馈
然后包括这些设置
包括你可以用这个
这个tui可以听tui
如重点来了
大家重点
如果你想用本地部署
那你就需要s2s
这个本地部署方案
然后桌面版的这个TYF
后台的Agent
各样化记忆的话这个东西
我还真没没去试
但是我觉得这个东西其实没必要去试
为什么呢
因为这个东西跟OpenCloud和Hermes的话是一样的
那么都有这些角色都有那记忆
我认为没什么任何巨大的区别
巨大的区别顺手啊顺手拈来啊顺手就可以上手的事
所以你必要去具体去演示这个这个东西了啊
然后注意事项大家看一下啊
然后圆满圆满的开发啊
圆满由nojs去做一些开发工作啊
总体来说的话
这个项目啊
我认为还是比较吸引的
这种全创工的这种交互啊
打断而且准确率非常好啊
非常好啊
是这样的啊
我还要补充几点啊
补充几点呢
是在于这个安装和使用的问题啊
我找一下那个问题啊
就这里吧
就是说这个这个语音模型呢
它默认啊
你可以接阿里百列千万的这个这个API啊
那么APIAPI会一定的免费额度
那如果你想用本地的这个前台语音模型
那你只能用
刚才我说这个
s
s2s啊
刚才那个
我找一下那个位置啊
啊
就这个s2s啊
去去接这个
这个本地的
云音模型啊
本地的云音模型
那么这个问题就解决了
而且这个本地的云音模型
它又有两种方案
两种模型可以做
比如说
你可以走
GUF了和
这个
这个
这个
这个原本
他是这个模型啊
就反正
嗯
就是两种也是两种方案啊
但是根据你机器的情况啊
去做本地的部署
这这是这个这个云模型啊
那么这两个本地部署的模型
包括API
我都全部试了一遍啊
我认为可能API的
效果会
够好一点
但是其实本地的效果
我觉得也非常OK啊
就正常的
正常的识别以及正常的反馈都非常快啊
而且它的显存的话
应该从两三个G到最高占用六个多G吧
就是这么样的显存占用
如果是用本地的云云前台模型的话
那如果你用的是这个这个后台模型啊
就是说后台模型的话
你也可以用本地部署
因为你后台模型你可以接
这个用open cloud去接这个后台本地的这个模型啊
也可以就说
就说如果你不用这个后台
就是这个就就选择这个无模式啊
无无无这个后台agent的话
那么你就可以选用自己再接一个这个这个本地的这个
比如说千万3.6那一些模型啊
就可以了
所以这个项目
完全可以实现啊
本地化啊
完全本地化
而且他的本地化
我感觉他的效果
其实就说能达到APR
我就认为80%90%以上的效果
是没有任何问题的
我认为这个效果还是很好的
所以对于这种
语音全双公实施对话的agent
我还是比较看好的
也花了很长的时间
一两个周的时间
去对这个项目详细的了解一下
那么今天就把这个项目推荐给大家
还有一点我想补充的话
就是说这个项目的部署难度是
如果是就是说你要接API的话
那么难度还不是很高
但是如果说你要走原生本地
本地去全部本地离线去做部署的话
这个项目难度还是有一定的难度
如果按照10分满分的话
我认为他的部署难度可能在5分左右
但是如果说像我这样老鼠的话
部署的话应该也就那么回事
也就非常简单
也就部署完了
其实对于老鼠的话来说
这个项目并部署并没有难度
并没有难度
但是对于刚接触部署的新同学来说的话
难度我认为是至少得有5分左右
满分10分的话只有5分
所以这个项目推荐给大家啊
如果说大家在使用或安装过程中有任何的问题啊
欢迎大家平台随意我或者加我微啊
我的联系方式都在视频下方啊
感谢大家观看
我们下期再见