1
00:00:00,000 --> 00:00:01,160
大家好,我是大叔大。

2
00:00:01,400 --> 00:00:09,160
说个真事,我上周想微调一个本地模型,先在电脑上装环境,从UDR到Conda折腾到半夜还是报错,那会儿真想摔键盘。

3
00:00:09,560 --> 00:00:15,300
转头去云端,租显卡,跑了一周,账单贵得吓人,训练数据还不敢往上传,全程提心吊胆。

4
00:00:15,460 --> 00:00:20,080
所以今天这期,我就给你讲一个把这些问题一次性解决的桌面APP,Oncelot Desktop。

5
00:00:20,420 --> 00:00:23,920
简单说,它就是一个能让你在自己电脑上免费跑和训练大模型的工具。

6
00:00:23,920 --> 00:00:34,940
它是免费开源的原生桌面应用Mac,OS,Windows,Linux,三个平台都支持,训练提速两倍,显存省70%,精度还不打折扣,500多个模型都能跑能训,而且不用写一行代码。

7
00:00:35,140 --> 00:00:36,680
接下来咱们一步步看,它到底怎么用。

8
00:00:36,780 --> 00:00:39,180
先说痛点吧,你是不是也被这几道门槛卡过?

9
00:00:39,540 --> 00:00:45,980
第一道,装环境,想本地训练大模型,得先配UDA,装Conda,还要处理各种依赖,光这一步就能劝退一半人。

10
00:00:45,980 --> 00:00:51,500
第二道,显存不够,教程动辄说,要24GB显存,普通8G显卡的用户只能干瞪眼。

11
00:00:51,740 --> 00:00:56,640
第三道云,服务烧钱,按小时计费不说,训练数据还得上传到云端,敏感数据根本不敢放。

12
00:00:56,920 --> 00:01:02,660
第四道,微调方法分不清,lower QLOR全参微调参数怎么调,显存怎么算,完全是一头雾水。

13
00:01:02,900 --> 00:01:05,440
说实话,这几道门槛,哪个单拎出来都够折腾的。

14
00:01:05,440 --> 00:01:08,660
好在现在有一款桌面App,把这些门槛一次性全拆掉了。

15
00:01:08,720 --> 00:01:10,640
那这款桌面App,到底是什么来头?

16
00:01:10,640 --> 00:01:18,400
Uncelos Desktop是Uncelos团队推出的免费开源桌面板,基于Tory框架是真正的原生应用,不是网页套壳,启动快,占用低。

17
00:01:18,600 --> 00:01:27,660
它有几个挺实在的特点,一是原生桌面体验,不是网页套壳,二是数据不出电脑,训练推理,数据全在本地硬件上完成,三是入口很省心,对话,微调,部署。

18
00:01:27,800 --> 00:01:30,040
生成一个界面,全搞定,上手也特别简单。

19
00:01:30,320 --> 00:01:33,140
三步,第一步,下载安装,去官网下载对应系统的安装包。

20
00:01:33,140 --> 00:01:42,060
双击装上就能启动,第二步,选模型下载,顶部选模型,或者进模型中心,按自己设备选量化版本,自动下载,第三步直接对话,或者开始训练,零配置就能开聊。

21
00:01:42,380 --> 00:01:47,540
这几个功能里,最值得说的,就是它的无代码,微调,不用写一行代码,就能完成大模型微调。

22
00:01:47,940 --> 00:01:54,920
你可以直接把PDF,CSV,JSON,DOC,X这些文件拖进去,它会自动清洗,自动构建数据集,训练方式也很全。

23
00:01:55,220 --> 00:01:59,120
LORA,QLORA,全餐微调,预训练,强化学习,全都支持。

24
00:01:59,120 --> 00:02:04,800
训完之后,可以直接导出GGUF等格式,接到Alamalama,CPP这些推理引擎上就能用。

25
00:02:05,260 --> 00:02:09,400
算下来特别划算,训练提数两倍,显存省70%,精度还不损失。

26
00:02:09,580 --> 00:02:14,740
说白了,同样一张显卡,别人训一个模型的时间,你能训两个,还能多塞下三倍的大模型。

27
00:02:15,120 --> 00:02:21,920
这里提醒一句,训练的时候,把P大小,就是Batch Size,设成1,2,3,能明显降低,显存占用,别让它爆内存溢出。

28
00:02:21,920 --> 00:02:29,120
那无代码微调,对显存的要求高不高,答案很简单,门槛大幅跳水,靠QRA4bit量化,微调所需显存被压到了很低的水平。

29
00:02:29,320 --> 00:02:36,080
3B模型,只要3.5GB,7B模型,5GB,8B,只要6GB,14B,8.5GB,27B,22GB,70B,41GB。

30
00:02:36,240 --> 00:02:42,040
也就是说,训练7B模型,只要5GB显存,训练8B,只要6GB,一块主流终端显卡就能跑起来,笔记本读显也能玩。

31
00:02:42,040 --> 00:02:50,580
原理其实一句话,Lawr只训练模型权重里1%的保矩阵QRA,再把权重量化到4bit,进一步省75%的内存,这就是Encelos内存优化的核心思路。

32
00:02:50,720 --> 00:02:59,060
除了训练,它的对话能力也不含糊,本地模型也能打工具,工具调用准确率,提升了50%,还带自愈机制,调用失败,会自动检测,修复。

33
00:02:59,060 --> 00:03:14,800
从4,同时支持并行对话,几个任务同时聊,它还支持安全的代码执行,在沙箱里,运行Bass和Python,调用更稳,防止死循环,防止代码串话,权限这块也做得细,模型访问文件,联网执行命令都要经过你确认可以完全在安全沙箱里跑,也可以授权直接改文件。

34
00:03:14,800 --> 00:03:19,600
另外还有不限量的私人网络搜索,和一个深度研究模式,先规划,再查员,最后成文。

35
00:03:19,800 --> 00:03:28,680
引用都有出处,光自己对话还不够,它还能让你的AI agent直接用上本地模型,一条命令就能接入主流agent工具,模型随便换,数据不出门,用量不花钱。

36
00:03:28,940 --> 00:03:43,320
在终端里输入,onslots start,clawed,就能接入clawed code,输入onslots start codex,接入openai codex,还有hermes,openclaw,opencode,分别对应hermes agent,openclaw和opencode,这么做的好处,其实就三个。

37
00:03:43,320 --> 00:03:47,720
第一,模型随便换,本地quian,deepseek,glm,想用哪个换哪个,随时切换。

38
00:03:47,840 --> 00:03:51,920
第二,代码不外泄,项目代码只在本地处理,再也不怕敏感,代码传云端。

39
00:03:52,140 --> 00:03:55,560
第三,用量不花钱,本地推理免费随便用,跑满也不心疼。

40
00:03:55,800 --> 00:04:05,780
模型够不够新,也是大家关心的事,它的生态非常丰富,支持500多个模型的推理与训练,文本,视觉,语音,嵌入,图像视频扩散,全类型覆盖。

41
00:04:05,780 --> 00:04:10,580
团队和多家模型厂商深度合作,做到当天首发,当天支持,叫DayZero。

42
00:04:10,880 --> 00:04:17,220
简单说,新模型当天发布,当天就能跑,能训不用等适配,第一时间体验最新大模型,最新的旗舰模型都能跑。

43
00:04:17,600 --> 00:04:27,120
比如quian 3.8 27b,kimik3,deepseek v4,glm5.3,minimax h3,还有museglimmer,jammer4,本地已有的GGUF模型,也能自动识别。

44
00:04:27,120 --> 00:04:29,700
不用重新下载,也可以手动指定自定义目录。

45
00:04:29,780 --> 00:04:33,640
它还不只是文本模型,图像,视频,语音,通通能训,能生成。

46
00:04:33,760 --> 00:04:38,380
图像视频方面,支持Flux,Z-Image,LTX-1,这些模型还能训练自己的扩散。

47
00:04:38,620 --> 00:04:48,680
Laura,比如SDXL,FLUX 2.0,Q1,Image,生成速度也很快,用minimax h3,生成一段960x544,124帧,8部的视频从70多秒,压缩到13秒。

48
00:04:48,680 --> 00:04:53,220
语音方面,文字转语音,语音转文字,Whisper,Q1,3ASR,全部本地处理。

49
00:04:53,220 --> 00:04:58,620
一份工具,覆盖文本图像视频,语音四条生成线,训练生成,微调,转写都在同一个界面完成。

50
00:04:58,800 --> 00:05:01,500
训练完的模型,怎么部署,它给了你三种方式。

51
00:05:01,660 --> 00:05:04,340
第一种,局域网访问,直接开启LNN模式。

52
00:05:04,520 --> 00:05:08,300
局域网内任意设备都能访问,流量不出网,延迟低,断网也能用。

53
00:05:08,480 --> 00:05:14,900
第二种,公网HTPPS,用免费的Cloud Flare隧道,把本地模型安全暴露到公网手机上随时能访问。

54
00:05:14,900 --> 00:05:19,920
第三种,OpenAI兼容API,提供标准接口,任何支持这个协议的应用都能直接接入。

55
00:05:20,200 --> 00:05:26,040
你也可以用Uncelot Run命令,启动模型服务,指定模型和推理参数,比如温度,采样方式这些就能对外提供接口。

56
00:05:26,240 --> 00:05:33,620
而且还能连接云端Provider,OpenAI,Anthropic,Alama,LamaCPP,VLLM,本地云端同一个界面来回切换。

57
00:05:33,620 --> 00:05:35,280
最后,隐私和兼容性。

58
00:05:35,480 --> 00:05:37,240
很多人特别关心,这里都讲清楚。

59
00:05:37,480 --> 00:05:41,280
隐私方面,零摇测,不上传任何使用数据,完全离线,也能正常跑。

60
00:05:41,280 --> 00:05:45,120
只会检测本机GPU类型来适配运行,硬件要求也不高。

61
00:05:45,440 --> 00:05:49,600
Windows 10或11,Mac OS 12以上,Ubuntu 20.04以上都行。

62
00:05:50,020 --> 00:05:54,080
VDI,AMD,Intel,显卡加Mac都能训练,存CPU也能用。

63
00:05:54,400 --> 00:05:55,740
对话和数据处理,没问题。

64
00:05:56,020 --> 00:05:59,620
几个常见问题也顺带回答,已经下载的模型能不能用,能自动识别?

65
00:05:59,860 --> 00:06:02,440
必须高端显卡吗?不用CPU,Mac都能跑。

66
00:06:02,720 --> 00:06:04,240
支持OpenAI兼容API吗?

67
00:06:04,540 --> 00:06:07,920
支持推理,偶尔曼,把联网搜索和代码执行关掉,速度立刻回来。

68
00:06:07,920 --> 00:06:11,560
说到这,Unclosed Desk的OPPO的核心价值已经很清楚了,一句话,

69
00:06:11,940 --> 00:06:15,720
总结它把本地训练大模型从极客专属变成了人人都能上手。

70
00:06:15,980 --> 00:06:19,860
它的核心价值就三个词,本地化,免代码,全类型模型支持,

71
00:06:20,200 --> 00:06:22,340
这也是桌面端本地训练大模型的新选择。

72
00:06:22,800 --> 00:06:25,200
回顾一下,无代码微调,丢文件就能训。

73
00:06:25,660 --> 00:06:28,040
两倍提速70%,神险存,精度无损。

74
00:06:28,480 --> 00:06:30,020
一行命令,接入AI agent。

75
00:06:30,480 --> 00:06:32,560
局域网,军网,API,全能部署。

76
00:06:32,560 --> 00:06:34,880
零瑶测,全力线,数据不出门,适合谁用。

77
00:06:35,220 --> 00:06:38,040
想本地微调模型的开发者注重数据隐私的企业和个人,

78
00:06:38,280 --> 00:06:41,460
想省云费用的用户,还有刚接触大模型的新手都值得试试。

79
00:06:41,780 --> 00:06:44,880
感谢观看,我是大叔大,后续会持续更新,下期见。