來,各位家人們,最近幾天,整個硅谷都被一款叫做Jill的模型刷屏了。
然後呢,發布前三天已經被Wassel,Cloudflare,LongChang等主流平台迅速給集成了。
這個模型有什麼特點呢?
這款模型,它相比普通的模型推理速度,最高可以提升200倍,最高可以高到200倍。
然後呢,這個成本可以降低,最高可以降到400倍。
是一个非常非常恐怖的数字啊
而且是可以组合的前沿之冷
那么这种牛扮的东西到底是一个什么东西呢
它会不会把open AI把这个Athrope给颠覆掉呢
别张奇哈我们来认识一下
J5这个模型
那么J5这个模型呢一句话来干口啊
J5呢是一个决策模型
决策模型有什么特点呢
它不生成文本
不生成图片
只做结果化判断输出概率
也就是它只输出概率啊
专门给agent的程序做高频快判断
它是一个什么东西啊
它其实是一个决策模型
或者是一个判断模型
它其实跟GPT跟Cloud
跟GP9是有本质的区别的
GPT这种模型呢
其实是一个生成式模型
生成文本
生成图片
但是GP呢只做决策
它们是有本质的区别的
所以它们之间并不是一个
谁替代是这么一种关系
还是一种互补的关系
那么有种人讲
现在是生成式的天下
你这个东西有什么用呢
这个生成式模型
GPT
Cloat
真来也可以做决策对吧
你这个Jill有什么特点呢
对不对
凭什么这么招扬
是吧
也别着急
他其实有非常非常多的场景
我们稍后会来进行介绍
那我们再来看一下
Jill这个模型到底是怎么来的
这个模型呢
其实是由
前欧巴亚的研究员叫Digo
他这个创办的TypeSafe AI公司
在前几天发布的
在9月15号发布的
也前几天发布的
那么这个创始人
是非常非常厉害的一个人物
他参与了ChairGPT的创造
是一个非常非常有经验的
这么一个大佬
然后他自己呢
就是说在创造完ChairGPT之后
他一直在问自己一个问题
就是说这些超人的聊天模型
为什么没有带来这个AGI
那过去的两年
我一直在眼神
抓大家做两件事情
就是一种新的模型训练方法
就是它提出了一种新的训练方法
叫RLCD
然后呢和一种新内心的情形配安模型
就是JIL
这个东西
那
好了那么重点再来介绍这个JIL
那么JIL和这个一般的模型有什么区别呢
那么一般的模型啊
像这个GPT是什么呢
竹子生成Token
是自回归
那么它是呢
高延迟高成本
就是你问它一个问题
他呢就基于你这个问题
这个问题就是一个提示词
基于这个问题
他一个一个的生成这个token
把这个token拼在一起
他其实就是一个完整的这个回答
这么这样子来的
可以生成文本
可以生成逐变
但只有这个模型呢
他是一次效情计算
直接输出判断概率
他的特点是什么呢
延迟极低成本极低
记住啊
延迟极低
也就是说啊
你给一个问题
他基本上在500毫秒之内
可以得到这个结果啊
500毫秒之内其实是非常非常快的
非常非常快啊
那个说实话
你像使用GPT
那基本上几秒啊
十几秒才得到这个结果
对不对
它的延迟极低
500毫秒之内
就可以得到这个结果
成本极低啊
我们后面会介绍的成本
然后再来看一下啊
这个东西怎么使用啊
就是说你怎么去使用这个东西呢
使用这个Jill这个模型呢
使用Jill这个模型呢
通常啊
其实它是开放这个API给大家去使用
就大家通常都是调这个API的方式啊
去使用这个模型
那么它呢
主要提供两个东西
第一个就是state
这个什么东西呢
大家可以把它看作是一个context
一个上下文
然后第二个就是问题
就是开发者预先定义好的派对的任务
主要是两个东西
然后呢交给这个这个模型
这个模型然后再发挥一个结果
那发挥的结果会是个什么东西呢
这个结果啊
跟一般大模型还是有些区别的
一般大模型呢
其实是输出一个啊
会输出一道文本
对不对
那它这里呢
其实是输出一种强烈性的结构化JSON
是一种强烈性的结构化JSON
是一种JSON的文本
啊
JSON文本
它不包含这个自然语言文本
是一种纯JSON的文本
大概是变形结构预测
模型一次性返回所有概率
也就是说你丢给它几个问题啊
它是一次性给你返回所有的概率
它是变形预测的
第三个就是程序可以直接解析
才是反过一个接测文本嘛
是可以解析的
所以我们总结来的话
总结来这个这个这个这个模型
它的输入就是state加预定的question
然后呢输出一个回答对象
是这样子
好那么它的输出呢有三种类型啊
第一种类型呢是no啊
只有三种类型啊
第一个是no啊
no是一个概率类型
这个类型有什么特点呢
也就是不完类型判断
它是返回0到1的伏点数
数值代表成立概率
无需单独设置置信度
这段数字即为置信度
好 我们来看一下
就是它返回一个什么样的东西
这里是它返回的一个结构的一个实例
因为我先说过
它其实是它的使用
它使用的方式
其实跟contract GPT
跟GPT还是有些区别
对吧
通常是以结构的方式对外使用
你直接给他一个
你直接呢
通过这个机构的方式提供这个task需要的内容
state和这个question
然后他返回的是一个json的这样一个sultrime
这个sultrime里面呢
有两个重要的东西
第一个就是类型
类型就是no
它是概率类型
然后这个呢就是它的这个值
0.95
我们前面说过
它这里是0到1的这么一个伏点数
对不对
那么这个0.9.5其实就是表示一个概率
大家可以反而看作是一个概率
那么这个时候同学就会问了
这个这里有什么用呢
对吧
嗯反正0.95是吧
其实场景是非常多的
比如说
检测用户退款对不对
检测用户退款的话
其实呢
这个东西啊
当然你用XenGPT其实也可以回答
是不是
你丢给一个啊
就是用户的这个用户的信息啊
直接给到这个GPT
他也可以回答
说这个用户到底会不会退款
对不对
但是呢其实呢
那个东西有点什么
有点这个杀鸡又牛肉的感觉
其实这种需求呢
其实有更简单的方式去实现
就是所谓的Jell这种方式对吧
那么检测用户退款请求
这用户呢可能是一个信息发过来
那么给到Jell这个模型
那么Jell呢
直接就回答一个概率就可以了
比如说
用户呢不会退款
他就可能就返回给你
对不对
如果会退款
那么就返回这个
比如说0.9或者1就可以了
对不对
那么这样子其实非常方便的解决这个问题
那么它这个
它的成本会远远的低于这个
用GPT来解决这个问题
而且这个速度也会快很多
它的这个延迟的时间是500毫秒
它那个GPT那是几秒钟
对不对
所以它用它这种方式来解决
这个问题的话
其实是成本更低
然后那速度呢更好
是不是速度更快
效率更高
然後我們再來看第二個類型,就是Close類型。
這個什麼意思呢?也就是說,我們在去提供上下文的時候,其實是會帶好幾個選項過去的。
然后呢
这个这个模型说到这个
这个上下和和这个问题之后呢
他会选择其中的一个来作为回答
就是做选择题嘛
就ABC第四个选项
他选一个告诉你
好那么其实这个呢
就是他换回的结果
假设他这个提供的选项
有三个选项啊
一个是binim
这个是结算
然后这个是技术
然后是销售
就是三百三个部门啊
对吧
然后这里面他会选一个
他选择这个billion这个部门
就他选一个
你给他三个选项
他选一个出来
那这有时候这个东西
哪里有这个场景多不多呢
这个很多嘛
对不对
很多重要的场景
比如说这个三件商品
让他选一个
是不是
那其实这种场景是非常多的
是不是
OK我们来看一下
这个关键
只有关键的这个字段
这个是truth
就是概率最高的选项名称
就这个
就概率最高的
他选一个出来
就是ABCD四个选项
他选一个出来
他说不一定是ABCD四个选项
他最多可以255个选项
选项可以很多
你把它列出来
他会选一个出来
然后这个呢
就是概率的总和
就是所有或选项的完整的概率分布
那如果说是255个选项呢
那么就会列出255个选项
每一个选项的概率
那么这个trose这里呢
其实概念最高的那一个
那么这个是confidence
自信度啊
模型对本次分类结果的自信度
那么数值越高呢
就分类呢越确定
好那我们看一下这个自信度是0.8
对吧这是比较高的
是不是当然我们在进行
决策的时候呢
你可以跟这个自信度来进行
评估哈
就是如果自信度高于0.8
或者说高于0.7
我们就可以选择这样的一个结果
就是所谓的决策模型的
价值在这里面
好让我们再看第三个啊
就是score啊
打分啊
打个分数
啊
那么它的特点就是连续打分
各级别概率分布啊
confidence 知性度
我们来看一下这个结果啊
那么
通常它会去
比如说你给它三个选项啊
你给它一个问
就是说你给给问
给上下文给问题
然后提供选项
好那么它反而结果里面呢
它就会对三个选项呢
每个选项打一个分数
我们来看一下啊
好
它的分数是
非诊数打分值
这个是I.86
对不对
知情度是0.94
然后它提供了三个选项
这三个选项
评鉴
轻微不满
生气
极度愤怒
对吧
好上面就是分数
这个第一个评鉴
就是0.0分
就是不评鉴
对吧
OK
这里是0.0爱
这个轻微不满
对应的分数是0.0爱
然后这个是0.1
好
这个生气
然后极度愤怒
是年点88
那么这个分数最高了
对不对
那如果说你是基于这个分数来进行
啊
决策的话
那么你可能会选这个是不是
啊
这个其实就是对于
多个选项
进行打一个分数
啊
这个其实也是长期很多
啊
这个是
呃
我们的Jill这个模型啊
它的
返回结果的三个可能性
OK啊
三种结果
好
那么先怎么总结一下
Jill输出的关键的特性啊
第二点就是
年文本幻觉
它输出结构是强制约定的
宁格式错误
不乱增自断
然后是拼尿变形计算的
一次请就变形处理所有
然后校准级概念
直接预计分支
那么低分支可以人工复制
它会有一个知性度给你
然后输出你的费用
它这个模型输出是不收费的
你用它这个模型输出是不收费的
而且输入的成本也是非常低
它是我们使用
GPT的成本大概就是100万Token
对吧
就一兆
大概就是10美元
10美元
那么他这个
大概就是100万
大概就是0.0.4万美元
就是他这个10美元
他这个年纪年4万美元
所以他的成本低很多
那么也就是说
我们在实际上面进行
在做应用的时候呢
那么其实就给了我们很多的选择
有些场景其实并不完全需要
由GPT或者说
Close这种模型来进行处理
我们完全可以把它交给什么
交给我们的JP这种模型来处理
对不对
所以他们这其实是这样写的关系
并不是说替代的关系
并不是这样子
好那么接下来我们给大家看一个案例
就是到底它是怎么用的
这个东西
我们来看一下
官网上面提供了一个案例
我们直接来看到官网就可以了
好吧
就是汉缩入门
大家可以到这个网站
去看一下它的官网上面提供了一个案例
那么当然首先呢
我们需要去申请
申请
如果说你要使用的话
你需要到它的控制台去申请一个API-KIT
申请还是比较容易的
OK
然后得到一个接口之后呢
你就可以来进行使用了
好
那么这里呢
是CURL这个方式来去发行一个请求
你需要提供的是一个API-K
这是它的接口
然后你提供哪些数据呢
这个数据是State
大家可以把State看作是上线文
OK
这个是它的上线文
是在英文是吧
我们把它翻译一下
什么意思
OK
好
这个上线文是这样子
你好
我已经尝试您借我的strip账户三天了
但其实一直失败
我的销售正在锦上
请尽快帮我帮助我
对吧
这个东西
这个内容应该是一个
是一个street的客户是吧
在在咨询对吧
在向客户进行咨询啊
或者说储藏
储藏这么一个信息啊
ok
好
现在我们来看一下啊
这个模型呢
是Jill latest的这个模型
然后问题是什么呢
问题是这样子啊
在下面啊
这个是那个类型
就是你希望用什么类型来回复你这个问题啊
是no 是吧
也就是给个概率就可以了
我们看一下的问题是什么
这个信息的紧迫度
就是表达一下信息的紧迫度
这个内容的紧迫度是什么样子
对不对
那么然后这个时候
这个模型回复一个概率
年到一这样的一个分值过来
一个概率过来
如果说这个值是一的话
那么说明什么
说明这个紧迫度是很高的
对不对
如果是0.95的话
这个紧迫度也是很高的
好
然后我们再来看一下
那其他的这种
这个案例啊
如果说我们是
写代码掉结果
那么我们自己在代码里面
就要这样来写啊
好
那么同样的
它的这个
上下文还是这个啊
还是这个来举例啊
我们看一下它的模型
是Jolatist
好
那么这个下面是问题啊
它其实是什么呢
呃
它是它什么
它其实是一个一个上下文
它其实是问了三个问题啊
问了三个问题
其实用三种类型来问好
这个是choose
choose ok
这个呢就是它的问题
哪一个团队呢
来处理这样的一个事情
对吧
提供了三个选项
这个是结算这个团队
这个是技术这个团队
这个销售这个团队
这提供了三个选项
因為我們說過,truth嘛,對不對?
你是要大模型給你做選擇,所以你提供這個選項給他。
像ABCD,做選擇題,是這樣子。
好,我們看第二個,就是分數,score,使用這個類型來進行回答。
回答好那么他是什么呢
呃这个现在这个客户的这个什么啊
失望度呢怎么样对吗啊啊
什么怎么样啊OK
他同样的提供了三个什么呢
三种可能啊
第一个呢就是冷静
第二个呢是失望
而第三个是非常生气
就是你要根据什么
根据这个上下文来去对于这三个描述进行打分
打分
OK好我们再看第三个啊
第三个就是什么呢
那Noah这种类型其实就是
概率对吧是概率这个
那么也就是说你的问题一定是跟概率相关的是吧
这个信息它到底
也表示了它多么紧迫对吧
ok 那么这个时候你回答一个概率就可以了
好 我们再来看一下它的回答
因为你这里是三个类型的问题对吧
三个类型的问题
所以它的回答也是三个类型的
我们看choose
choose就是
它首先要做出一个选择对吧
ABCD要选一个选一个选一个答案
对不对啊
但是结果是技术部门是吧
技术部门来处理这个问题啊
之前都是0.78啊
然后当然他也会给三个选项呢
每一个打一个分数啊
我们看第二个第二个问题
第二个问题是打分对吧
打分啊打分的话
他会对于三个情绪啊
但见到打分那很明显啊
这个呢呃
第二个情绪他的这个分值是会高的
也就是他当前的用户所表达这个情绪
应该是这个是吧
啊
是这个
这个情绪啊
好我们看最后这个啊
最后这个是要表
要是输出一个概率是不是
然后直接给了一个概率是不是
这个最简单的啊
一点点说明这个事情的紧迫度啊
是非常非常大的
对不对
这个其实就是
Jayv这个模型啊
使用的这个
这样的一个方式啊
其实就是掉接口
然后呢
啊
接口里面呢
需要描述你的这个问题
其实需要提供一个上下文啊
把你的这个情况给交代啊
这个做用gp
用chat gpt
gpt或者glowd
都是一样的
要提供一个上下文对不对
然后就是问题
如果说是truth或者说score
那么还需要提供这个选项
啊OK
那么结果呢
就对方就会提供一个
啊json的这样的一个结果化的
一个字符传给到我们啊
他这个时候
大家就会问了
这这东西到底有什么用对吧
能用在哪个地方
啊好像没有这个chat gpt
这种这么方便
什么都可以问
然后他多给你一个回复
是不是
但其实这个场景是非常多的
我们来看一下他的场景
其实很多时候
其实并不需要用GPT这种模型
因为他成本太高了
第一个就是成本高
第二个就是什么
就是他的延时太高了
就是处理一个问题要好几秒
他这个几百毫秒就能解决
是不是
所以我们这个时候来看一下
他的场景
第一个场景其实就是
我们用在agent里面
比如说浏览器与这个电脑的使用
比如说什么
识别这个页面状态
判断下一个动作
因为它的这个动作
其实是有限的嘛
对不对
点击输入下拉对不对
就哪怕我玩游戏也是一样的
玩游戏它动作就那么点
选项只有那么多
对不对
你可以把它选项全部列出来
是不是
列出来给它就可以了
也就是说这种操作是有限的操作
其实非常适合用J5这种模型来处理的
还有智能工具路由
对吧
坚准选择工具
搜索数据库邮件询问用户
比如说安全降与分控
就是高危操作前的快速的安全判断
高频游戏
说实话
昨天我还用J5来去玩俄罗斯方块
因为俄罗斯方块的话
其实说实话
它只有那几种选项
对不对
你把选项全部列出来就可以了
用J5进行判断
最高他支持255种选项
是不是
那其实生活中绝大部分
其实实验绝大部分场景的
就有几少数场景
它是一种无限可能的
对不对
绝大部分场景都是有限可能的
是不是
我们这个只要把动作
全部罗列出来
就可以这样交给他去判断
他又快成本又低
是不是
好给我们看一下
比如说客户公单与客户
消息智能处理平台
比如说公单的分类
是吧
是物流问题
账单问题
产品故障还是投诉
对吧
比如说紧急度打分
这个情绪的强烈度
对不对
还有这个比如说像这个Node核心判断
是不是退款
是不是辱骂
是不是需要人工进入
对不对
做的非常非常适合用
我们的Jail这个模型来处理
真的非常非常方便
所以以后做这个智能体
它一定是什么
一定是Jail
一定是Jail和这个GPT或者和Lode
进行配合使用
就现在硅谷已经基本上
是这两个组合在一起使用了
啊
就跟我
根据我所找的信息
就是他们现在已经在调整自己的决策了
都是使用J5加什么
加GPT来做这个智能体
因为GPT其实实在是太贵了
知道吗
啊
好用就好
它实在是贵
而且效率比较低
所以不是所有的场景都适合用GPT键理
啊
其实少
就是大部分场景
其实都是比较适合用J5来做处理的
还比如说这个内容与文档的拼尿删讯
有些分类
是不是
啊
只要
就是只要给一个标记就可以了
对吧
还有评论
消息删选
对不对
说实话
你之前给几个标签给它
是不是
因为这个
这往判断是哪一种类型的
直接就说实话
就很快
就给我们打这个标签了
还能闻到删选
会议记样
是不是
还有实时业务分控
自动化
交易电带分控
服务器与AOT设备
告紧自动化
都适合用
用我们的J5来先处理
比如说模型的路由与大模型
这要评估
模型路由对不对
因为你全部使用GPT或者Close
来解决问题实在是太贵了
公司消耗不起对吧
那么这个时候呢
我就完全可以由J5来做一个模型的调度
来做一个路由
就是说你这个问题
到底适合有哪一个模型来进行处理
对不对
常用的模型可能也就十来个
你把这十来个模型全部累出来
然后你交个J5判断一下就可以了
到底选哪一个模型来处理这个问题
对不对
然后选出来之后
然后我们再交个对应的模型来处理
对不对
比如大模型输出降业预示
判断反复结果是否拼离核心要求
是否存在幻觉分件
做质量预示
比如数据及标注与评测
拼量进行按原判断与分离打分
高效替代大模型的榨纸调用
这只调用
这个其实就是说
它比这个原先用GPT去做决策呢
就要快很多
方便很多
就主打一个高效和年价
对吧
这是我们这种模型的特点
记住啊
它不是要去替代GPT
也不是要替代GPT
也不是替代这Cloud
还是给它们实现一种互补
来完成一个
一个又好用
又省钱的这么一个应用