本集節目由VOAI絕好生創技術支援。VOAI提供富有情緒的高擬真台灣口音AI聲音,並提供上傳圖片與音檔一鍵生成虛擬人的功能,是最具台灣味的AI平台。
使用優惠碼 AI-LRB26。
吉祥VOAI網站以及API方案95折優惠。
大家聽到的這集Podcast是透過VOAI API生成的哦。
更多資訊請下資訊欄。
每天都有一堆新的AI工具冒出来
是不是常常不知道该从哪里开始
别担心
这里是AI懒人报
每天帮你精选五个最多人讨论的AI工具影片
每天十分钟
让AI走进你的生活中
让你不知不觉成为效率大师
今天这个工具最有趣的地方是
它可能让你再也不用半夜起来
修坏掉的Jason
这对我们这些每天跟AI流程打交道的人来说
简直是福音
好,那我们刚开始吧
先从一个很多人都有过的痛苦经验说起
你花了好几个小时设计一个自动化流程
测试的时候跑得很完美
你觉得这次终于搞定了
然后你把它排成
让它每天早上自动跑
第一天没问题
第二天没问题
第三天早上你打开电脑
一堆错误
为什么?
因为AI今天心情好
把一个应该是数字的栏位输出成字串了
或者他觉得自己很聪明
在Jason里多加了一个他觉得有用的栏位
结果你的后端完全吃不下去
所以你不是去改流程
你是去写验证逻辑
写从事机制
写各种备缘处理
花了整个周末
结果整个系统变得比手动作还复杂
说真的
我觉得这是用AI做自动化
最让人崩溃的地方
你明明是为了省时间
结果花更多时间在管理AI的输出
这个问题的根源在哪
在于现在主流的大型原模型
包括Chattgpt Cloud
还有最近很红的Astra跟Fable
他們的設計邏輯都是預測下一個Token
就算你在Prompt里寫得再清楚
請只輸出JSON
他還是有一定機率會偷偷加一個Markdown的反引號
或者換行多一個空格
或者把Tru寫成加引號的Tru
這並不是模型笨
這其實是他的架構
本質上就是機率性的
沒辦法百分之百保證格式
就像你請一個很會寫文章的朋友幫你填表格
他可能會寫得很精彩
但格式就不一定每次都對了
Jerby就是衝著這個問題來的
Jerby是Type Safe AI這家公司開發的
他們把它歸類為System 1 Model
跟我們熟悉的大型原模型是完全不同的東西
他不是用來聊天的
也不是用來寫文章或解釋概念的
他只做一件事看你給他的資料
對照你定義的schema
輸出一個結構完全正確的決策結果
你可以把它想像成一個非常嚴謹的表格填寫圓
你給他什麼格式
他就保證給你什麼格式
这里最关键的技术概念叫做
Constraint Decoding
也就是在推理层面就做好限制
一般的模型
在生成每一个Token的时候
理论上可以选任何字
但Jav的做法是
你传给他一个Schema
你可以先把它想成资料格式规则
他在生成每个Token的时候
会直接把所有金会违反这个规则的选项
从词汇表里遮掉
如果这个栏位的形别是不灵质
那他在那个位置能选的词就只有
2跟false
其他字根本不在选项里
这并不是说他很努力不出错
这是他在架构上就不可能出错
这两件事的差别非常大
前面那种你还是需要验证
后面这种你可以直接信任输出
就像你相信一个计算机算出来的结果一样
TypeSafe AI把这个特性叫做schema safe
意思就是输出永远符合你定义的行别结构
即对开发者来说
这意味着你可以把原本那些验证成
从事逻辑
得适修正的程式码
大部分都砍掉
你定义好行别
交给Jeff
就会拿到一个结构完全正确的结果
每次都是
这就像你请了一个永远不会犯错的秘书
他交给你的文件永远都是格式正确的
你完全不用再检查一遍
Jeff提供三个主要的功能界面
第一个叫Choice
你给他一个输入
再给他一个选项清单
他直接回传最符合的那个选项
最多可以有255个选项
这是像一个超级精准的选择题机器
你问他问题
他马上给你正确答案
第二个叫score
他会对输入打一个分数
同时附上confidence
也就是信心分数
让你知道他对这个分数有多确定
这就像一个很专业的评论员
不只给分数
还会告诉你
他打这个分数的把握有多大
第三个叫no-o
这个比较特别
他会输出一个0到1之间的几率值
代表某件事发生的可能性
而且這個機率是經過較準的
不是隨便說說的
意思是如果NO說退款機率是0.8
就代表10封類似的信裡
大概有8封真的會是退款需求
這個數字是可靠的
這三個功能合在一起
你就可以做很多事了
比如說你有一個客服系統
每天收到幾千封信
你想要自動分類
判斷優先順序
偵測有沒有退款需求
用傳統的大型語言模型
你要寫很長的prompt
還要解析它輸出的文字
然後還要擔心它今天心情不好
输出格式跑掉
用GF
你就把信的内容传进去
定义好schema
他直接给你一个Json
类别是什么
优先顺序
几分
是不是退款请求
信心分数多少
全部结构完整
直接可以用
这就像你把一大堆文件
丢给一个超级有效率的助理
他马上就能把所有资讯整理好
分门别类
让你一眼就能看懂
社群里有人做了一个测试
一次处理1000封信
平均回应时间大约是200毫秒
整批跑完费用是多少
非常少
因为JF的定价非常低
输入是每百万Token四分美金
输出是免费的
这个价格跟主流的大型原模型
比起来差距非常大
简直是佛星价
说到速度
TypeSafe AI官方的说法是
JF可以比传统Transformer模型
快20到200倍
便宜40到400倍
我知道这种数字看起来像行销化数
所以要说清楚
这个速度优势
是在特定的结构化决策任务上
而不是在所有任务上
你不能拿Jeff来写一篇文章
他根本不会
但如果你的任务是
看这段资料
告诉我他属于哪个类别
那这个速度差距是真实存在的
这就像你请一个
短跑选手去跑马拉松
他可能跑不完
但如果你让他去跑100公尺
他觉得是世界级的
为什么Jeff可以这么快
因为他根本不需要
做一般语言模型做的那一事
他不需要生成自然语言
不需要维护复杂的上下文
也不需要做什么深度推理
他的工作就是看schema
看输入输出
一个符合schema的决策
整个推理路径短很多
所以快很多
这就像一个专注于单一任务的机器人
他只做他被设计来做的事
所以效率极高
这个速度差距在某些使用情境上
会让整件事从可以用变成真正好用
最明显的例子是浏览器自动化
现在有很多工具
可以让AI控制你的浏览器
你给他一个目标
他自己去点页面
填资料
跳到下一页
但如果你真的试过用
Astra或Fable做这件事
你会发现他慢得很痛苦
Agent
结一张网页的截图
传给模型
然后你等2秒
3秒
有时候5秒
模型才决定要点哪里
这段时间里
网页可能已经更新了
或者跳出一个弹窗
然后Agent的动作就失效了
这就像你请一个动作很慢的人
帮你抢限量商品
等到他反应过来
商品早就被抢光了
这就是为什么浏览器自动化到现在
还是很难真正稳定部署的原因之一
延迟太高
反映跟不上动态网页的节奏
但如果你把决策层换成JF
延迟从秒级将到毫秒级
Agent看到DOM结构
马上对照Schema
马上输出下一个动作
他不需要思考
他就是执行
这样的速度才能让浏览器自动化
从一个很酷的示范
变成一个可以真正跑在生产环境的东西
这就像你给机器人装上超快速反应晶片
它能瞬间判断并执行任务
让整个流程顺畅无比
好,現在來到我覺得最有意思的部分,也就是第二個重點。
Jeff的定位很特別,他並不是要取代Astra或Fable,他其實是要跟他們一起用。
你可以把它想像成一個團隊裡的兩個角色,一個負責策略,一個負責執行。
我把這個架構叫做雙腦架構
概念很直觀
你用大型語言模型做需要深度推理的事
用Jav做需要快速執行的事
舉個具體的例子
假設你在建一個自動化的軟體開發agent
他可以看需求
寫程式
跑測試
修bug
當一個新的功能需求進來的時候
你先把它交給Fable或Astra
這些模型有深度的推理能力
它們可以分析整個專案程式碼
理解依賴關係
想清楚要怎麼實作
然后产出一份详细的执行计划
就是慢的贵的但值得
因为这个阶段真的需要深度思考
这就像一个公司的策略长
负责制定整体方向和计划
计划出来之后
Fable退场
Jeff接手
Jeff比较适合负责
判断下一步要做什么
输出固定格式的指令
如果测试失败了
Jeff不需要重新思考整个架构
他只需要看错误讯息
对照行别定义
修掉那个行别不符的地方
再跑一次几毫秒就完成
真正写大段程式码还是交给Fable或Extra
这就像公司的执行长
负责把策略长的计划
分解成一个个具体任务
并快速高效的执行
你把昂贵的推理集中在规划阶段
把执行交给一个高速低成本
格式保证正确的引擎
这样的组合才能让多A-系统真正规模化
以前这种架构的问题是成本和延迟
如果一个复杂的任务需要50个为决策
每个决策要2秒花3分美金
整个流程就要花1分多钟
1块多美金单次执行
这样的单位经济学根本没办法做自动化
因为跑几次就亏了
但Jeff把每个为决策的成本和延迟
都压到几乎可以忽略的程度
这个架构才真正变得可行
这就像以前你需要请好几个顾问来做决策
现在你只需要请一个策略顾问
然后把执行交给一个超便宜又超快的机器人
那实际上怎么把JAB接近你现有的流程
有几个很具体的切入点
最直接的方式是找出你现有AI流程里最容易坏掉的节点
通常就是那些让LLM从非结构化的资料里抽取资讯
然后格式化成某个固定格式的步骤
比如说从一封信里抓出客户名称
订单编号
问题类别
然后写进CIM
这种步骤犯成Jav是最直接的
你定义好schema让Jav做抽取
格式问题直接消失
这就像你把一个经常出错的环节
换成一个永远不会出错的自动化机器人
瞬间解决了所有问题
另一个很适合的使用情境是
vibe coding
就是你用AI辅助快速开发的那种模式
现在的vibe coding流程通常是
让AI生成程式码
你去跑
跑出错误
把错误贴回去给AI
等它修
再跑
这个回圈很慢而且很烦
因为Jeff速度过快
对程式语法的理解是原生的
你可以在IDE里设定一个背景监听器
每次有编译错误或测试失败
自动把错误丢给Jeff
让他在背景直接修掉
你甚至不需要手动介入
他已经修好了
这就像你身边有一个超级程式码修正助手
在你写程式的时候
他随时帮你检查并修复错误
让你专心在创作上
这个部分说完
我要讲一个很重要
但很多人在兴奋的时候会忘掉的是
速度越快
出错的代价越高
当你有一个模型
可以在毫秒内生成并执行程式码
你根本来不及在他出错之前阻止他
如果Jeff在自动化流程里
有权限存取你的档案系统
执行终端机指令
更新资料库
而他以200倍的速度在跑
那出了问题的时候
你看到的已经是结果
不是过程
这就像你开一台超级跑车
速度很快
但如果失控
造成的损害也会非常巨大
所以安全边界必须跟着调整
几个原则要记住
第一
就算是高准确定的模型
AI生成的程式码
预设要当成不信任的来处理
不要因为它很少出错
就给它最高权限
第二
如果你要在本机跑Jab做自动化
Docker容器把执行环境隔离起来
给它最小必要的权限
不要给root
第三
如果Jab在做浏览器自动化
不要用你平常已经登录的浏览器设定档
用独立的一次性的工作阶段
这样就算它误判了某个DOM元素
也不会动到你的生产环境
这就像你使用任何强大的工具一样
必须先做好安全防护
才能避免不必要的风险
Jeff帮你省下了写程式码的时间
但这些省下来的时间
你要拿去建更完善的自动化测试和安全验证
你的角色从写程式的人
变成设计系统架构和做安全审计的人
这就像以前你需要自己造车
现在你只需要设计好车子的功能和安全系统
然后让机器人去制造
最后来说说我对Jeff这件事的整体看法
过去一年多AI产业的主旋律
是把模型做得越来越大
越来越聪明
越来越贵
每个人都在追AGI
都在比谁的模型推理能力更强
Extra跟Fable在这条路上做得很好
他们真的很厉害
但真正在用AI做产品的人
工程师
独立开发者
小团队
我们不是每天都在解历史难题
我们大部分时间需要的是
这个资料是不是不领值
这个请求应该要分派给哪个服务
这封信的优先顺序
是高还是低
这些问题不需要深度推理
需要的是快
准
格式正确
这就像我们日常生活
大部分时候我们需要的不是哲学家
而是一个能快速精准回答问题的工具人
Jeff代表的是AI执行层的工业化
他承认一件事
未来的自动化不会是一个超级大脑
慢慢把所有事情都做完
而是一堆高度专门化的引擎分工合作
各自在自己最擅长的部分做到最好
这就像一个现代化的工厂
每个环节都有专门的机器人负责
协同合作
达到最高的效率
对那些花了无数个夜晚
在除错Jason格式问题的人来说
这个东西出现的时机真的很刚好
如果你觉得今天的内容让你有点收获
那就帮我到Apple Podcast按赞追踪
留个五星好评吧
FB IG Flats
收AI懒人报就找到我了
你的支持是我持续优化
内容的最大动力
最近的AI发展依然快的让我害怕
不想出过明天再继续
收听AI懒人报啰
我是汤懒懒
我们明天见
拜拜