WEBVTT 00:00.000 --> 00:01.160 大家好,我是大叔大。 00:01.400 --> 00:09.160 说个真事,我上周想微调一个本地模型,先在电脑上装环境,从UDR到Conda折腾到半夜还是报错,那会儿真想摔键盘。 00:09.560 --> 00:15.300 转头去云端,租显卡,跑了一周,账单贵得吓人,训练数据还不敢往上传,全程提心吊胆。 00:15.460 --> 00:20.080 所以今天这期,我就给你讲一个把这些问题一次性解决的桌面APP,Oncelot Desktop。 00:20.420 --> 00:23.920 简单说,它就是一个能让你在自己电脑上免费跑和训练大模型的工具。 00:23.920 --> 00:34.940 它是免费开源的原生桌面应用Mac,OS,Windows,Linux,三个平台都支持,训练提速两倍,显存省70%,精度还不打折扣,500多个模型都能跑能训,而且不用写一行代码。 00:35.140 --> 00:36.680 接下来咱们一步步看,它到底怎么用。 00:36.780 --> 00:39.180 先说痛点吧,你是不是也被这几道门槛卡过? 00:39.540 --> 00:45.980 第一道,装环境,想本地训练大模型,得先配UDA,装Conda,还要处理各种依赖,光这一步就能劝退一半人。 00:45.980 --> 00:51.500 第二道,显存不够,教程动辄说,要24GB显存,普通8G显卡的用户只能干瞪眼。 00:51.740 --> 00:56.640 第三道云,服务烧钱,按小时计费不说,训练数据还得上传到云端,敏感数据根本不敢放。 00:56.920 --> 01:02.660 第四道,微调方法分不清,lower QLOR全参微调参数怎么调,显存怎么算,完全是一头雾水。 01:02.900 --> 01:05.440 说实话,这几道门槛,哪个单拎出来都够折腾的。 01:05.440 --> 01:08.660 好在现在有一款桌面App,把这些门槛一次性全拆掉了。 01:08.720 --> 01:10.640 那这款桌面App,到底是什么来头? 01:10.640 --> 01:18.400 Uncelos Desktop是Uncelos团队推出的免费开源桌面板,基于Tory框架是真正的原生应用,不是网页套壳,启动快,占用低。 01:18.600 --> 01:27.660 它有几个挺实在的特点,一是原生桌面体验,不是网页套壳,二是数据不出电脑,训练推理,数据全在本地硬件上完成,三是入口很省心,对话,微调,部署。 01:27.800 --> 01:30.040 生成一个界面,全搞定,上手也特别简单。 01:30.320 --> 01:33.140 三步,第一步,下载安装,去官网下载对应系统的安装包。 01:33.140 --> 01:42.060 双击装上就能启动,第二步,选模型下载,顶部选模型,或者进模型中心,按自己设备选量化版本,自动下载,第三步直接对话,或者开始训练,零配置就能开聊。 01:42.380 --> 01:47.540 这几个功能里,最值得说的,就是它的无代码,微调,不用写一行代码,就能完成大模型微调。 01:47.940 --> 01:54.920 你可以直接把PDF,CSV,JSON,DOC,X这些文件拖进去,它会自动清洗,自动构建数据集,训练方式也很全。 01:55.220 --> 01:59.120 LORA,QLORA,全餐微调,预训练,强化学习,全都支持。 01:59.120 --> 02:04.800 训完之后,可以直接导出GGUF等格式,接到Alamalama,CPP这些推理引擎上就能用。 02:05.260 --> 02:09.400 算下来特别划算,训练提数两倍,显存省70%,精度还不损失。 02:09.580 --> 02:14.740 说白了,同样一张显卡,别人训一个模型的时间,你能训两个,还能多塞下三倍的大模型。 02:15.120 --> 02:21.920 这里提醒一句,训练的时候,把P大小,就是Batch Size,设成1,2,3,能明显降低,显存占用,别让它爆内存溢出。 02:21.920 --> 02:29.120 那无代码微调,对显存的要求高不高,答案很简单,门槛大幅跳水,靠QRA4bit量化,微调所需显存被压到了很低的水平。 02:29.320 --> 02:36.080 3B模型,只要3.5GB,7B模型,5GB,8B,只要6GB,14B,8.5GB,27B,22GB,70B,41GB。 02:36.240 --> 02:42.040 也就是说,训练7B模型,只要5GB显存,训练8B,只要6GB,一块主流终端显卡就能跑起来,笔记本读显也能玩。 02:42.040 --> 02:50.580 原理其实一句话,Lawr只训练模型权重里1%的保矩阵QRA,再把权重量化到4bit,进一步省75%的内存,这就是Encelos内存优化的核心思路。 02:50.720 --> 02:59.060 除了训练,它的对话能力也不含糊,本地模型也能打工具,工具调用准确率,提升了50%,还带自愈机制,调用失败,会自动检测,修复。 02:59.060 --> 03:14.800 从4,同时支持并行对话,几个任务同时聊,它还支持安全的代码执行,在沙箱里,运行Bass和Python,调用更稳,防止死循环,防止代码串话,权限这块也做得细,模型访问文件,联网执行命令都要经过你确认可以完全在安全沙箱里跑,也可以授权直接改文件。 03:14.800 --> 03:19.600 另外还有不限量的私人网络搜索,和一个深度研究模式,先规划,再查员,最后成文。 03:19.800 --> 03:28.680 引用都有出处,光自己对话还不够,它还能让你的AI agent直接用上本地模型,一条命令就能接入主流agent工具,模型随便换,数据不出门,用量不花钱。 03:28.940 --> 03:43.320 在终端里输入,onslots start,clawed,就能接入clawed code,输入onslots start codex,接入openai codex,还有hermes,openclaw,opencode,分别对应hermes agent,openclaw和opencode,这么做的好处,其实就三个。 03:43.320 --> 03:47.720 第一,模型随便换,本地quian,deepseek,glm,想用哪个换哪个,随时切换。 03:47.840 --> 03:51.920 第二,代码不外泄,项目代码只在本地处理,再也不怕敏感,代码传云端。 03:52.140 --> 03:55.560 第三,用量不花钱,本地推理免费随便用,跑满也不心疼。 03:55.800 --> 04:05.780 模型够不够新,也是大家关心的事,它的生态非常丰富,支持500多个模型的推理与训练,文本,视觉,语音,嵌入,图像视频扩散,全类型覆盖。 04:05.780 --> 04:10.580 团队和多家模型厂商深度合作,做到当天首发,当天支持,叫DayZero。 04:10.880 --> 04:17.220 简单说,新模型当天发布,当天就能跑,能训不用等适配,第一时间体验最新大模型,最新的旗舰模型都能跑。 04:17.600 --> 04:27.120 比如quian 3.8 27b,kimik3,deepseek v4,glm5.3,minimax h3,还有museglimmer,jammer4,本地已有的GGUF模型,也能自动识别。 04:27.120 --> 04:29.700 不用重新下载,也可以手动指定自定义目录。 04:29.780 --> 04:33.640 它还不只是文本模型,图像,视频,语音,通通能训,能生成。 04:33.760 --> 04:38.380 图像视频方面,支持Flux,Z-Image,LTX-1,这些模型还能训练自己的扩散。 04:38.620 --> 04:48.680 Laura,比如SDXL,FLUX 2.0,Q1,Image,生成速度也很快,用minimax h3,生成一段960x544,124帧,8部的视频从70多秒,压缩到13秒。 04:48.680 --> 04:53.220 语音方面,文字转语音,语音转文字,Whisper,Q1,3ASR,全部本地处理。 04:53.220 --> 04:58.620 一份工具,覆盖文本图像视频,语音四条生成线,训练生成,微调,转写都在同一个界面完成。 04:58.800 --> 05:01.500 训练完的模型,怎么部署,它给了你三种方式。 05:01.660 --> 05:04.340 第一种,局域网访问,直接开启LNN模式。 05:04.520 --> 05:08.300 局域网内任意设备都能访问,流量不出网,延迟低,断网也能用。 05:08.480 --> 05:14.900 第二种,公网HTPPS,用免费的Cloud Flare隧道,把本地模型安全暴露到公网手机上随时能访问。 05:14.900 --> 05:19.920 第三种,OpenAI兼容API,提供标准接口,任何支持这个协议的应用都能直接接入。 05:20.200 --> 05:26.040 你也可以用Uncelot Run命令,启动模型服务,指定模型和推理参数,比如温度,采样方式这些就能对外提供接口。 05:26.240 --> 05:33.620 而且还能连接云端Provider,OpenAI,Anthropic,Alama,LamaCPP,VLLM,本地云端同一个界面来回切换。 05:33.620 --> 05:35.280 最后,隐私和兼容性。 05:35.480 --> 05:37.240 很多人特别关心,这里都讲清楚。 05:37.480 --> 05:41.280 隐私方面,零摇测,不上传任何使用数据,完全离线,也能正常跑。 05:41.280 --> 05:45.120 只会检测本机GPU类型来适配运行,硬件要求也不高。 05:45.440 --> 05:49.600 Windows 10或11,Mac OS 12以上,Ubuntu 20.04以上都行。 05:50.020 --> 05:54.080 VDI,AMD,Intel,显卡加Mac都能训练,存CPU也能用。 05:54.400 --> 05:55.740 对话和数据处理,没问题。 05:56.020 --> 05:59.620 几个常见问题也顺带回答,已经下载的模型能不能用,能自动识别? 05:59.860 --> 06:02.440 必须高端显卡吗?不用CPU,Mac都能跑。 06:02.720 --> 06:04.240 支持OpenAI兼容API吗? 06:04.540 --> 06:07.920 支持推理,偶尔曼,把联网搜索和代码执行关掉,速度立刻回来。 06:07.920 --> 06:11.560 说到这,Unclosed Desk的OPPO的核心价值已经很清楚了,一句话, 06:11.940 --> 06:15.720 总结它把本地训练大模型从极客专属变成了人人都能上手。 06:15.980 --> 06:19.860 它的核心价值就三个词,本地化,免代码,全类型模型支持, 06:20.200 --> 06:22.340 这也是桌面端本地训练大模型的新选择。 06:22.800 --> 06:25.200 回顾一下,无代码微调,丢文件就能训。 06:25.660 --> 06:28.040 两倍提速70%,神险存,精度无损。 06:28.480 --> 06:30.020 一行命令,接入AI agent。 06:30.480 --> 06:32.560 局域网,军网,API,全能部署。 06:32.560 --> 06:34.880 零瑶测,全力线,数据不出门,适合谁用。 06:35.220 --> 06:38.040 想本地微调模型的开发者注重数据隐私的企业和个人, 06:38.280 --> 06:41.460 想省云费用的用户,还有刚接触大模型的新手都值得试试。 06:41.780 --> 06:44.880 感谢观看,我是大叔大,后续会持续更新,下期见。