工作清單

【保姆级】Unsloth桌面版本地微调大模型：无代码训练+显存省70%全流程

逐字稿文字預覽

大家好,我是大叔大。
说个真事,我上周想微调一个本地模型,先在电脑上装环境,从UDR到Conda折腾到半夜还是报错,那会儿真想摔键盘。
转头去云端,租显卡,跑了一周,账单贵得吓人,训练数据还不敢往上传,全程提心吊胆。
所以今天这期,我就给你讲一个把这些问题一次性解决的桌面APP,Oncelot Desktop。
简单说,它就是一个能让你在自己电脑上免费跑和训练大模型的工具。
它是免费开源的原生桌面应用Mac,OS,Windows,Linux,三个平台都支持,训练提速两倍,显存省70%,精度还不打折扣,500多个模型都能跑能训,而且不用写一行代码。
接下来咱们一步步看,它到底怎么用。
先说痛点吧,你是不是也被这几道门槛卡过?
第一道,装环境,想本地训练大模型,得先配UDA,装Conda,还要处理各种依赖,光这一步就能劝退一半人。
第二道,显存不够,教程动辄说,要24GB显存,普通8G显卡的用户只能干瞪眼。
第三道云,服务烧钱,按小时计费不说,训练数据还得上传到云端,敏感数据根本不敢放。
第四道,微调方法分不清,lower QLOR全参微调参数怎么调,显存怎么算,完全是一头雾水。
说实话,这几道门槛,哪个单拎出来都够折腾的。
好在现在有一款桌面App,把这些门槛一次性全拆掉了。
那这款桌面App,到底是什么来头?
Uncelos Desktop是Uncelos团队推出的免费开源桌面板,基于Tory框架是真正的原生应用,不是网页套壳,启动快,占用低。
它有几个挺实在的特点,一是原生桌面体验,不是网页套壳,二是数据不出电脑,训练推理,数据全在本地硬件上完成,三是入口很省心,对话,微调,部署。
生成一个界面,全搞定,上手也特别简单。
三步,第一步,下载安装,去官网下载对应系统的安装包。
双击装上就能启动,第二步,选模型下载,顶部选模型,或者进模型中心,按自己设备选量化版本,自动下载,第三步直接对话,或者开始训练,零配置就能开聊。
这几个功能里,最值得说的,就是它的无代码,微调,不用写一行代码,就能完成大模型微调。
你可以直接把PDF,CSV,JSON,DOC,X这些文件拖进去,它会自动清洗,自动构建数据集,训练方式也很全。
LORA,QLORA,全餐微调,预训练,强化学习,全都支持。
训完之后,可以直接导出GGUF等格式,接到Alamalama,CPP这些推理引擎上就能用。
算下来特别划算,训练提数两倍,显存省70%,精度还不损失。
说白了,同样一张显卡,别人训一个模型的时间,你能训两个,还能多塞下三倍的大模型。
这里提醒一句,训练的时候,把P大小,就是Batch Size,设成1,2,3,能明显降低,显存占用,别让它爆内存溢出。
那无代码微调,对显存的要求高不高,答案很简单,门槛大幅跳水,靠QRA4bit量化,微调所需显存被压到了很低的水平。
3B模型,只要3.5GB,7B模型,5GB,8B,只要6GB,14B,8.5GB,27B,22GB,70B,41GB。
也就是说,训练7B模型,只要5GB显存,训练8B,只要6GB,一块主流终端显卡就能跑起来,笔记本读显也能玩。
原理其实一句话,Lawr只训练模型权重里1%的保矩阵QRA,再把权重量化到4bit,进一步省75%的内存,这就是Encelos内存优化的核心思路。
除了训练,它的对话能力也不含糊,本地模型也能打工具,工具调用准确率,提升了50%,还带自愈机制,调用失败,会自动检测,修复。
从4,同时支持并行对话,几个任务同时聊,它还支持安全的代码执行,在沙箱里,运行Bass和Python,调用更稳,防止死循环,防止代码串话,权限这块也做得细,模型访问文件,联网执行命令都要经过你确认可以完全在安全沙箱里跑,也可以授权直接改文件。
另外还有不限量的私人网络搜索,和一个深度研究模式,先规划,再查员,最后成文。
引用都有出处,光自己对话还不够,它还能让你的AI agent直接用上本地模型,一条命令就能接入主流agent工具,模型随便换,数据不出门,用量不花钱。
在终端里输入,onslots start,clawed,就能接入clawed code,输入onslots start codex,接入openai codex,还有hermes,openclaw,opencode,分别对应hermes agent,openclaw和opencode,这么做的好处,其实就三个。
第一,模型随便换,本地quian,deepseek,glm,想用哪个换哪个,随时切换。
第二,代码不外泄,项目代码只在本地处理,再也不怕敏感,代码传云端。
第三,用量不花钱,本地推理免费随便用,跑满也不心疼。
模型够不够新,也是大家关心的事,它的生态非常丰富,支持500多个模型的推理与训练,文本,视觉,语音,嵌入,图像视频扩散,全类型覆盖。
团队和多家模型厂商深度合作,做到当天首发,当天支持,叫DayZero。
简单说,新模型当天发布,当天就能跑,能训不用等适配,第一时间体验最新大模型,最新的旗舰模型都能跑。
比如quian 3.8 27b,kimik3,deepseek v4,glm5.3,minimax h3,还有museglimmer,jammer4,本地已有的GGUF模型,也能自动识别。
不用重新下载,也可以手动指定自定义目录。
它还不只是文本模型,图像,视频,语音,通通能训,能生成。
图像视频方面,支持Flux,Z-Image,LTX-1,这些模型还能训练自己的扩散。
Laura,比如SDXL,FLUX 2.0,Q1,Image,生成速度也很快,用minimax h3,生成一段960x544,124帧,8部的视频从70多秒,压缩到13秒。
语音方面,文字转语音,语音转文字,Whisper,Q1,3ASR,全部本地处理。
一份工具,覆盖文本图像视频,语音四条生成线,训练生成,微调,转写都在同一个界面完成。
训练完的模型,怎么部署,它给了你三种方式。
第一种,局域网访问,直接开启LNN模式。
局域网内任意设备都能访问,流量不出网,延迟低,断网也能用。
第二种,公网HTPPS,用免费的Cloud Flare隧道,把本地模型安全暴露到公网手机上随时能访问。
第三种,OpenAI兼容API,提供标准接口,任何支持这个协议的应用都能直接接入。
你也可以用Uncelot Run命令,启动模型服务,指定模型和推理参数,比如温度,采样方式这些就能对外提供接口。
而且还能连接云端Provider,OpenAI,Anthropic,Alama,LamaCPP,VLLM,本地云端同一个界面来回切换。
最后,隐私和兼容性。
很多人特别关心,这里都讲清楚。
隐私方面,零摇测,不上传任何使用数据,完全离线,也能正常跑。
只会检测本机GPU类型来适配运行,硬件要求也不高。
Windows 10或11,Mac OS 12以上,Ubuntu 20.04以上都行。
VDI,AMD,Intel,显卡加Mac都能训练,存CPU也能用。
对话和数据处理,没问题。
几个常见问题也顺带回答,已经下载的模型能不能用,能自动识别?
必须高端显卡吗?不用CPU,Mac都能跑。
支持OpenAI兼容API吗?
支持推理,偶尔曼,把联网搜索和代码执行关掉,速度立刻回来。
说到这,Unclosed Desk的OPPO的核心价值已经很清楚了,一句话,
总结它把本地训练大模型从极客专属变成了人人都能上手。
它的核心价值就三个词,本地化,免代码,全类型模型支持,
这也是桌面端本地训练大模型的新选择。
回顾一下,无代码微调,丢文件就能训。
两倍提速70%,神险存,精度无损。
一行命令,接入AI agent。
局域网,军网,API,全能部署。
零瑶测,全力线,数据不出门,适合谁用。
想本地微调模型的开发者注重数据隐私的企业和个人,
想省云费用的用户,还有刚接触大模型的新手都值得试试。
感谢观看,我是大叔大,后续会持续更新,下期见。

來源：transcript.txt

本次執行流程與問題處理

  1. 下達指令

    指令：videonote https://b23.tv/Ef2ynag --language zh --auto-source-subtitles

    來源：https://b23.tv/Ef2ynag

    辨識語言：zh ｜ 參數：--language zh --auto-source-subtitles

  2. 預期流程

    依指令產生的處理順序：

    1. 自動字幕優先，Whisper 作為備援
    2. 來源選擇與品質檢查
    3. 文字校正與句子單元
    4. 筆記與發布
    5. 公開網頁發布

  3. 1. 下載與語音辨識

    工具：videonote-transcribe-url（主辨識管線：下載、Whisper 辨識與選稿）

    處理：下載音訊、以 Whisper 辨識並選出最佳逐字稿

    產出：yt_dlp_meta.json（影片元資料）、audio_16k_mono.wav（16kHz 單聲道音訊）、transcript.whisper.json（Whisper 辨識結果）、transcript.json（正式逐字稿）、transcript_selection_report.json（來源選擇報告）

    耗時：27.5 秒

    關係：依序執行

    結果：完成

  4. 2. 全文快速校讀

    工具：videonote_rapid_transcript_review.py

    處理：先速讀完整逐字稿，再修正高可信突兀詞句並列出待確認項目

    產出：rapid_transcript_review_report.json（產出檔案）

    耗時：39.6 秒

    關係：依序執行

    結果：完成

  5. 3. 建立句子單元

    工具：videonote-build-sentence-units

    處理：將逐字稿切成帶時間軸的句子單元

    產出：sentence_units.json（句子單元）

    耗時：0.7 秒

    關係：依序執行

    結果：完成

  6. 4. 句子密度平衡

    工具：videonote_balance_sentence_units.py

    處理：平衡句子長度與密度

    產出：sentence_units.json（句子單元）

    耗時：0.7 秒

    關係：依序執行

    結果：完成

  7. 5. 時間軸稽核

    工具：videonote_timeline_audit.py

    處理：檢查時間軸與音訊對齊

    產出：timeline_audit_report.json（時間軸稽核）

    耗時：0.7 秒

    關係：依序執行

    結果：完成

  8. 6. 品質檢查

    工具：videonote_controlled_quality.py（檢查時間軸與品質）

    處理：檢查語言、時間軸與可讀性品質

    產出：controlled_quality_report.json（品質報告）、language_sanity_report.json（語言檢查）

    耗時：0.8 秒

    關係：依序執行

    結果：完成

  9. 7. 播放時間軸回填

    工具：videonote_rebase_display_timeline.py

    處理：將網頁播放時間軸回填為校正字幕時間

    產出：display_timeline_rebase_report.json（時間軸回填報告）

    耗時：0.8 秒

    關係：依序執行

    結果：完成

  10. 8. 逐字稿交叉檢查

    工具：videonote_cross_check_transcript.py

    處理：交叉檢查逐字稿與來源字幕

    產出：transcript_crosscheck_report.json（交叉檢查）

    耗時：0.8 秒

    關係：依序執行

    結果：完成

  11. 9. 來源句整理

    工具：videonote_prepare_source_entries.py

    處理：整理來源句子供時間軸與頁面使用

    產出：sentence_units.json（句子單元）

    耗時：0.8 秒

    關係：依序執行

    結果：完成

  12. 10. 生成筆記摘要

    工具：videonote-generate-note（生成筆記摘要）

    處理：生成筆記摘要與重點

    產出：note.md（筆記 Markdown）、note.html（筆記 HTML）

    耗時：136.8 秒

    關係：依序執行

    結果：完成

  13. 11. 建立筆記頁面

    工具：videonote-render-html（產生筆記 HTML）

    處理：產生可閱讀的筆記 HTML 頁面

    產出：note.html（筆記 HTML）

    耗時：0.8 秒

    關係：依序執行

    結果：完成

  14. 12. 發布公開頁面

    工具：videonote-publish（發布公開頁面）

    處理：發布到公開網站與每日列表

    產出：公開筆記網址、result.json（管線結果）

    耗時：0.9 秒

    關係：依序執行

    結果：完成

手動來源字幕

自動來源字幕

Whisper 字幕

Qwen 字幕

Parakeet 字幕

MOSS 字幕

聲學時間證據（PyAnnote / WhisperX）

校正前後逐字稿

目前待解決問題與初步改善方向

進一步精進字幕與筆記
使用 Workbench 上傳校正字幕、中文參考稿或回饋 SRT，重新產生雙語與學習單元。
開啟 Workbench