各位朋友大家好,歡迎大家關注昆蓬特,今天給大家介紹一個小模型叫SoloX DuPRO 0.6B,那這個模型呢它是一個全商工的語音交互,什麼叫全商工就是能夠實時對話的一個模型,它的模型只有0.6B,0.6B什麼概念?就是你在手機上就能運行一個全本地的一個對話的一個模型,那它的效果還是非常不錯的,一會給大家演示一下,我本地沒有去跑它。
首先第一個呢,它是用來還是VD模型的這種,然後它後面呢是用一個叫它那個語音模型是用了千問3的一個0.6B的一個模型應該是。
然後它安裝我們可以看一下它的安裝的方式,它目前是Github一個倉庫,然後在Github上可以去運行推理它,因為目前對於這種全商工的這種推理的框架不多,所以比如說NAMA.CPP啊,它可能也還沒有支持這種模型。
那前段時間,OpenBnB他們開玩那個叫NAMA.CPP-OMINI的一個模型,那它那個裡面是能實現這些功能,但是那個框架的可能也是OpenBnB他們剛出的,然後不太通用。
那這個模型呢,它的信息很少,那我們可以看一下,它底下呢,說它致謝了一下這個千問的JM,千問的這個LM和JM4的,這應該是個TTS吧。
這相當於它是一個縫合怪,那本身呢,基於這種全商工呢,它其實就是,第一個呢,是做語音識別,類似於SR,然後呢,然後識別完了之後呢,底層還有一個LM模型,模型進行推理。
推理完成之後呢,再用TTS給你讀出來,就是這麼一個情況,然後只不過它處理速度極快,導致你以為是跟一個,呃,完整的一個模型進行對話。
那這個是它的一個Demo,我們來演示一下。
你好,你是誰?
嗯,占用時間了,咱們繼續。
嗯,抱歉,可能,我的麥克風被這個占用了,那我。
我聽著呢。
哦,不是,還是喊過來,我以為是我的麥克風占用了。
有什麼想知道的都可以問我哦。
你,你是什麼模型?
不完全是呢,我是Elva,我們都是阿里集團研發的語言模型。
但功能和特點可能有所不同。
Elva,你確定嗎?你的語言模型不是簽文嗎?
我就咱們倆在聊天呢。
其他的就是根據需要調用不同的模型來提供幫助或者進行對話了。
Elva,嗯,那你現在裡面都有哪幾個語言模型在裡面?
我能回答問題,講故事,提建議,還能陪你聊天,解解悶。
你想要聊些什麼?
哦,好的,那你都會哪些模型?
你,你會哪些模型的功能啊。
對,我的響應速度挺快的。
基本上是你說完我馬上就能接上話,不會讓你整太久。
有才事可以隨時跟我說。
說完話,它能夠實時,就能夠識別出來。
而且它還支持打斷。
那可能是當時的情況來特殊。
你看它,你中間在說話的時候,你可以把它打斷。
當然可以,你想說啥就直接告訴我吧。
哎,我記得,我記得我剛才跟他說話的時候能打斷的。
他這個好像剛才這個沒,沒生效。
現在呢,現在可以打斷嗎?
啊,對,應該。
嗯,好的。
那這個就是一個小模型。
那其實這個模型是可以在部署在手機上的。
那你Mac上也是完全可以的哦。
而且呢,如果你感興趣的話呢,相當於我們過來給大家看一下這個模型它的文件。
你其實,如果你可以的話,你可以把這個模型。
嗯,sorry。
不應該呀。
你都可以把這個模型它的,RM模型換成那個大模型。
那它相當於是,嗯,這是用了JM4的FoistTokenator。
這個是,嗯,這個是TTS嗎?好像不是TTS。
還真是用了千文三的Valba這個模型。
然後呢,它其實就相當於把幾個小模型的一個功能集成在一起。
然後通過工程的能力,然後把它們進行做了一個拼接。
嗯,那如果感興趣的話呢,可以來嘗試一下。這個模型還是非常小哈。
應該是可以在手機上去部署起來的。
當然呢,那可以等等,應該會有一些第三方的一些工具,會把這些產品模型提升起來。
能在本地運行。目前它這個模型沒有量化之前是7個G。
那比如說Q4的話,應該是在3、4個G左右的一個大小。
完全是可以在手機上跑起來的。
好的,今天就介紹在這兒。謝謝大家。
謝謝大家。