朋友们一个月前立的flag
今天正式开源了
我的语音控制的多agent的系统
你可以把它想象成
运行在你个人电脑
或者NAS上的一个贾维斯
它可以语音交互
可以编排多agent进行复杂的任务
而且它有一个非常不一样的交互界面
这之前看我视频的朋友应该都知道
那今天我就说话算话了
正式开源给大家
那本期视频我就跟大家聊一聊
它打算解决什么样的问题
它对什么样的人群有意义
适合做什么样的任务
以及它未来会朝什么样的方向发展
同时伴随着开源
我自己也会开始实践一种
build in public
现在不是流行这个吗
我也会在大家监督下
一边分享着我的领悟
一边去build这个产品
大家可以看一下我的视频新合集
我今后内容也会有相当一部分
来自于开发探索这个agent的系统
带来的一些领悟
那点个收藏吧
我们继续
以前我打算把这个产品叫牛马
挺好听的
也好记
而且我logo都设计好了
但是考虑到不论拼音还是中文
都已经是被注册的商标了
我过去吃过好多商标的亏
所以这次咱就不踩坑了
所以就先把名字改了
新的名字叫home rail
也描述了我到底想要它做一个什么
首先home的
这是一个为家庭数据中心造的产品
你们都知道我是玩home lab的
我心中理想的状态它应该是运行在NAS上的
但是肯定也可以通过各种中端
比如说windows啊
Mac啊
手机甚至是投影
电视
车机等设备去访问
然后rail的意思
它铁轨嘛
agent运行的轨道可以理解吧
就是你可以理解为就是workflow
但是它是一种可以动态调整的workflow
铁轨嘛
是不是在大方向不变的前提下
其实还是可以小范围的进行调整的
那今天开始啊
在我的repo上
你就可以看到它了
但是呢
在介绍它能干什么之前
让我先叠个假
我先介绍一下它不能干什么
以及当前的状态
免得大家期望太高
到时候会失望
首先啊
这个产品不是为了解决软件开发
自动化而设计的
虽然它一定程度上能做这样的任务
但是软件工程
大家都知道是个复杂的事
不是说开发一两个workflow
就能解决质量问题的
所以挺不适合这类任务
我未来也不会朝这个方向去发展
而且我有一个观点
就是AI现在大部分时间都在创造软件
它也更擅长这个
但软件未必是最终交付成果
对吧
比如说我是博主
我交付的最终成果是视频
但生产视频呢
可以是软件
所以我只需要确保
软件能生产
我需求质量的视频
那就好了
这就是能达到我的质量体系的软件
那在这个体系里
人工检查成果不是一个瓶颈
而软件工程就不一样了
所以home rail
它的目标不是做一个
更智能化的软件工程
它只适合在人工审查成果
不是瓶颈的场景
做一些适当的工作
那第二个
我当下说实话并不好用
实话实说达不到开箱可用
它只是搭好了一个架构
就是我为了后期的探索
更方便的一个架构
但是如果你要让每个任务都流畅运行
其实是需要对内部的agent的编排
其实是十分理解的
还要去测试哪些场景更适合它
并且要用AI去调有每个流程
当然这是我后面不断去探索和完善的部分
但是现在就告诉大家
它是需要你花费一些时间去研究
才能用的
所以如果你是需要开箱及用
那你稍微再等等
第三它目前没有对token的消耗和效率化
做任何的优化
而且我自己因为我有很多订阅
我的用不完
所以我都是靠大量的并发去消耗
去摸索它的边界
来换一个可复用的成果
所以如果大家本身没有本地部署
没有冗余的订阅
那还是应该稍微等一等我
或者是等等社区的其他伙伴
研究出来一些最佳实践之后再用
第四就是当前它的最佳使用形态
不是用UI
而是用coding agent
直接去通过内设的cli去调用后端的agent的编排
比如说我就经常用codex去控制
体验都很好
完全不需要使用前端
最后前端的体验
其实现在也还没有达到我的预期吧
现在它的概念就是有大量的生成式UI
但是这个生成式的东西还太少
也不过好看
也不过高小
所以还需要一定时间去摸索
让生成式的UI更加匹配具体的任务
OK叠假就叠到这里了
我是希望劝退那些希望开箱即用产品的朋友
你稍微降低一点预期
也给我一点时间
那接下来我们聊一下它现阶段它能干什么
首先啊现在发布的版本是各个平台它都能跑起来
我都试过了
只要你有一个coding agent
只要你把repo丢给它
它基本上就能部署起来
不过如果是windows啊
你需要有一个docker桌面板和gitbash
就跟cloudcode一样都需要gitbash
如果你是mac版的话
那你就只需要docker桌面板就行了
如果你是linux
那你需要给当前的用户加入docker这个组
让当前的用户不需要sudo
就可以使用docker命令的权限
windows上和mac上
我现在都做了个桌面板
适合那些不太会部署的朋友
但是现阶段我建议大家
让ai agent直接读代码库
然后让它去部署
那如果你要用到编排的话
也就是整个这个开源的系统的
最核心的部分
我建议大家是直接让ai agent
直接读代码库
让它去理解
让它去部署
然后你去要求ai来帮你去开发编排文件
也就是这个YAML的
也就是后台的这个DAG引擎所依赖的东西
你不需要去搞懂DAG的运行原理
你让ai搞懂就行了
我自己也从来没有手挫过编排文件
但是你可以让它按照你的逻辑
和你的工作流去实现一个编排
让AI再去帮你去调优
那如果你的任务流程里需要特定的环境
比如说你做视频吧
你需要FMPEG
那你就可以让ai agent的帮你去构建一个镜像
然后编排的时候就可以指定这个镜像来使用
我这个是在安装完了之后
会自动build的一个默认的镜像
但是你也可以做很多定制化的
然后桌面板现在也是一定程度可用的
桌面板有一个manager agent来负责扮演coding agent的这个角色
它可以创建编排也可以接入各种模型
当然我现在觉得体验比较好的还是codex
只要你本机有codex登录
它就可以直接可以用
如果你有小米memo的api key
你可以用他们家的ASR和tds
再给manager agent配置一个模型就可以语音控制了
我原本打算是指指语音的
但后来想了想还是加了一个能打字的功能
所以你就算没有ASR没有tds也能用
那前端现在是可以看到每个DAG的流程的
比较适合你用来调试
看着他们运行的行为是否符合你的预期
然后harness现在我不打算做任何harness
我都是用别人的
现在支持了cloudcode
kimi code以及codex
其中cloudcode
kimi code都是可以搭配其他模型使用的
提醒大家在接入codingplan的时候一定要慎重
因为有一些厂家的codingplan
是不支持其他harness
这种最好不要接
否则搞不好会分号
然后还有个好玩的东西
就我接入了一个实验性的功能
就是PS5手柄来控制
大家也可以去试试
为什么要做这个功能
我也分享一下
这个产品未来的定位
我是希望能用手机平板电视投影
都可以操作的语音agent
就像贾维斯一样
我之前也发过一个视频
就是我期望的是
场景是带孩子去旅游的时候
可以用车机加电视盒子来完成一些任务
这个tv版其实我已经做出来
但由于dx某版还是不够多
所以暂时做不了太多任务
所以我的roadmap
短期目标还是让它更稳定
多个操作系统都能跑起来
让新手朋友能无障碍的使用桌面板
同时把这个manager agent的skill不断优化
让他能够当一个值得信赖的助手
我的中期目标
我会着重放在生成式UI和编排模板
和编排skill的优化上
我自己的观点是这样
人的带宽是有限的
人应该和更容易看得懂的UI来交互
同时后台跑的应该是更加复杂的编排逻辑
人不应该去了解底层的细节
只是在关键的节点
通过生成式的动态UI面板
来了解每个阶段的进度就好
长期目标我希望它能稳定
跑在家庭的数据中心里
或者说NAS里
现在有个趋势
NAS的计算性能在不断的增长
他们现在已经不单纯是管理存储的角色
我觉得他们未来很有可能就成为agent的载体
我自己家里其实已经是这个样子了
Home Bill现在住在我的一台
256内存96G显存的非纽NAS里
我平时用投影加手柄去控制它
它可以操作海量的agent能来完成任务
我认为这就是未来家庭使用AI的画面
所以我会一直朝着这个目标
补权所有需要的模块
当然看到这里
可能大部分朋友还是没有办法把它用起来
我后面还会围绕着如何使用它
初一系列内容
包括如何接入模型
如何接入skill
如何调试编排
大家再多给我一点时间吧
太多内容需要去说了
需要去准备了
那最后如果能看到这里的朋友都是铁粉了
如果你们也能跑起来
那你们就悄悄玩就好
我还是需要更多的时间来好好完成我这个短中期的目标
那好了
希望这个开源和未来的系列你们都会喜欢吧
以上就是本期全部内容了
我们下期见
我会不会再来的

我会不会再来的
我会不会再来的
我会不会再来的
我会不会再来的
我会不会再来的
我会不会再来的
我会不会再来的