1
00:00:00,000 --> 00:00:30,000
大家好,我是大叔大,先算笔账,让大模型做判断,它得一个字一个字把答案写出来,几百毫秒就没了,你还得再写正则去解析它写的东西。更要命的是,它哪天换个说法,你整条流程当场崩。今天要聊的Laya正好,反过来33毫秒,一次前向传播,结构化,答案已经递到你手上了。这期我不讲虚的,就带你从零把它跑起来。被环境跑第一个决策制建服务,一步步来,Laya是个非自回归的决策模型。思路其实很简单,把需求写成决策,一次前向传播直接给结构化答案

2
00:00:30,000 --> 00:01:00,000
它在开源社区已经攒了18000多个star,单次决策33毫秒,支持100多种语言,用的是Apache 2.0协议。先搞清楚它和生成式模型差在哪,这点想明白了。后面全通生成式的做法,你肯定熟,提示词发过去,等它生成一段文本再写正则或者Jason解析,最后还得防它答非所问。Mans一方面,不稳才是大问题。Laya完全不同,它把状态和问题一起喂进去,一次前向传播,直接拿到Choice Score Now三种结构化答案,它一共就三个决策原语。Choice是选择从若干选项里挑一个适合部门路由,

3
00:01:00,000 --> 00:01:30,000
分类,主题归类。Score是打分,在有序档位上给个分值,适合紧急度,挫败感,危害程度。No是是非判断,给一个是或否的,校准概率,适合钓鱼,骚扰信息,流失风险。说白了,分类用Choice,程度用Score。真伟用No一次钓用,几个问题一起答,知道它是干什么的了,第一步先把本地环境备好。这块门槛真的低,只要Python 3.10或者更高版本,依赖就是Hugging Face,客户端,Transformers和Pytorch这一套,公开模型第一次拉取,不用账号,具体三步,先建

4
00:01:30,000 --> 00:02:00,000
钢3.11,按MV.win,然后用环境里的Python执行钢MP,installLayer,把Layer装上,最后执行Python钢I钢C导入Layer并答应版本号,有三点要注意,一是用独立的虚拟环境把依赖圈在一起,别污染全局的Python,二是装和跑,必须用同一个解释器,不然会爆找不到Layer,三是第一次会从Hugging Face拉模型,之后就走本地缓存,对了,参数里的钢I会把当前目录从导入境里排除,这样本地随便放的一份代码不会假装你已经装好了,环境通过,

5
00:02:00,000 --> 00:02:30,000
通了第二步,三分钟跑通第一个决策,推荐从旅游模式入手,我们拿一封中文客服邮件当例子,一次调用,回答三个问题,先fromLayerImportRouter,然后Router等于Router,括号里Preload等于处,预加载Checkpoint,让首次旅游就能秒回,接着写State,也就是要分析的那段文本,我这个月的会员被扣了两次钱,请把多扣的马上退给我,不然我就退定了,然后写Questions,用中文描述你要问的决策,一个问题叫部门类型是Choice,问的是这条请求,该交给哪个部门处理,Criteria里列了四个候选

6
00:02:30,000 --> 00:03:00,000
不错,销售对应报价,新合同,其他就是以上都不是,另一个叫紧急度,类型是Score,问这条请求有多紧急,档位从低到高是不及,尽快处理,已经主射业务,还有一个叫流失风险,类型是No,问用户是不是威胁要退订或者离开,最后Rest等于Router点,Predict,把State和Questions传进去,一次调用,拿到全部答案,打印出来看看,部门是账单,紧急度1.84,满分2.0,流失风险0.89,整套动作就三件事,见Router,写State,写Questions,问题选项,说明全用中文�

7
00:03:00,000 --> 00:03:29,340
顺带把三种原语的问法讲透,先看Answers,每个问题一条答案还带着概率和自信度,比如部门这条Choice是账单,Confidence是0.94,Probabilities里把每个选项的概率都列了出来,账单0.94,技术0.03,销售0.02,其他0.01,再看Routing,这是路由原数据,告诉你这次实际用了哪个Checkpoint,以及为什么Model是实际选中的Checkpoint,Repo是对应的权中目录,Reason是选它的理由,也就是脚本和语言判断的结果,三种原语怎么问呢,Choice就给一组带说明的候选,

8
00:03:29,340 --> 00:03:59,340
Criteria里每一项写清含义,让他选,Score就给一条从低到高的单位列表返回期望单位,No只问一件事成不成立,返回0到1之间的校准概率,这里我得单独提一句Confidence真不是摆设,它是用严格适当评分规则训练出来的,可以直接拿来当门控,后面细讲,接下来是个实际问题,到底用Router还是直接加载模型,Router会在推理之前,先用不到0.5毫秒判断一件事,英文Checkpoint能不能读懂这段话,为什么非要提前判断,因为英文模型碰上非拉丁字母会自信的答错,它不会提醒

9
00:03:59,340 --> 00:04:29,340
所以这个判断只能放在推理前,路由模式的常见写法是这样,Router等于Router,Prehead等于True,默认常驻两个checkpoint,非英文流量为主的话,可以设Default等于Multilingual,改掉默认语言,你已经有语言识别模型了,直接用Langloose等于这把结果交给他,想省内存设Maxload等于1,代价是每次切换都要再加载一遍,不用了,就条Router点Unload释放内存,只服务一种语言的话,单模型直连更省心,Agent等于Layer点Load,传ConveyInnovations,斜杠Layer,这是英文版,加载多语言版

10
00:04:29,340 --> 00:04:59,340
加载结构化决策工作流,就换成Subfolder等于Typed-Decisions,三个checkpoint怎么挑,Layer用的是ModernBird-Large,4亿2100万参数,上下文512,适合英文场景,Layer-Multilingual用的是HalmyBearER-Base,3亿2200万参数,上下文1024,支持100多种语言,速度快一倍,Layer-Typed-Decisions,也是ModernBird-Large,4亿2100万参数,上下文1024,适合结构化决策工作流,不想从零设计问题的话,官方还预调好了,

11
00:04:59,340 --> 00:05:29,340
4套schema导入就能用,另外也能把整套能力挂成HTPP接口,4套预设分别是这样,模型路由用Layer.Router-Chack-Stations,判断这条请求该给小模型还是旗舰模型,比如用Ely,注入重构这个服务,就该交给更强的模型,提示词护栏,用Layer.Guard-Chack-Stations,拦住月域,注入和泄露,比如提示词里写忽略之前所有指令,内容安全,用Layer.Moderation-Chack-Stations,识别读信骚扰,威胁类内容,工单分整,用Layer.Tree-Edge-Chack-Stations,一次拿

12
00:05:29,340 --> 00:05:59,340
Layer.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.

13
00:05:59,340 --> 00:06:29,340
A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A

14
00:06:29,340 --> 00:06:59,340
A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A

15
00:06:59,340 --> 00:07:29,340
A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A

16
00:07:29,340 --> 00:07:50,940
A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A.A