大家,這兩天非常熱門的模型是Jer。那這個模型呢,非常有意思。它不能對話,不能寫代碼,也不能識別圖片。它唯一能做的事情就是幫你去做選擇。那本期視頻就給大家來了解一下這一款熱門的決策型模型Jer。其實當我看到這個模型的時候,我也非常詫異。一款不能對話,也不能寫代碼,也不能識別圖片的模型到底有什麼用呢?當我看了官網的例子和外網的一些例子之後,我發現這款模型真的非常有用。
因為其實不管是你在工作還是生活中,非常非常多的時候是需要決策的。如果我們用其他的模型,比如說CHALEJPT,或者是Cloud模型去做這種決策的話,推理的成本是非常高的。
反應的時間也不會特別快,相當於你用大炮打了一個蚊子。那麼Jer這個模型呢,就是專門幹決策。那我們先用一個非常通俗的例子來理解一下Jer這個模型的輸入和輸出。
那麼我們如果要用Jer這個模型的話,需要提供兩個東西。一個叫背景知識。這是我的理解。背景知識就是你要讓他做決定的話,你肯定要提供一些背景知識給他。
然後就是問題,你的問題是什麼?發個Jer。那Jer就會做出選擇。然後你拿到這個選擇之後,再去走其他的流程。
所以從這個大的這個流程裡面,我們能知道Jer是一個中間環節。就你可能這是你的一個工作流。那麼Jer只是起到一個中間路由,或者是中間判斷的一個過程。
那麼他的選擇呢支持三種選擇。那第一種就是啊,我們可以認為叫做yes or no。
我們用一個例子來解決定。比如說,小明的歲月成績考了60分。小明的父母是比較溫和的。但是如果他分數低於及格線的話,也會很生氣。
那麼我們的背景知識就是這個。那我們的問題,那第一種回復的方式。問題是,父母會生氣嗎?那發給這個Jer。
那Jer就會反過一個這樣的概率。會的概率是10%,那麼不會的概率是90%,那麼你就知道父母是不會生氣的。
那這種就是Jer的第一種選擇方式。那麼你要告訴我,你在,要用這個Jer就是大摩寫生說,你要告訴他用的是哪一種。
那第二種就是我們應該用的最多的,就是選項。還是一樣。但是問題就變成了,父母最可能如何回應小明這次考試。
那麼你給出四個選項。A,表揚小明。B,溫和的鼓勵。三,認真的溝通。D,明顯生氣或嚴厲批評。那發給這個Jer。
那Jer就給每個選項一個評分。那麼你從評分裡面能看到,是0.55。那C這個選項是最有可能的。
認真溝通學習問題保持冷靜。那麼你就得到了一個最有可能的這個結果。
最有可能的結果。那這個是第二種。第二種我覺得是在現實場面中用的最多的。
那最後一個就是評分式的。那這種方式比如說,這個問題就變成了,父母對這次考試成績會有多不高興。
你看這個問題就變成了一個分數的一個判斷。就是你有多大力度去這個選項。
比如說A是基本滿意。沒有明顯不高興。B是略有失望。C是明顯不滿意。D呢非常生氣。
那他的這個生氣的力度是在增加的。那你發給J5,J5會給到一個ABCD的相似投票一樣。
那麼我們可以看到這個他的回答。B0.6現在得了65票。也就是說。
那越有失望。讓態度溫和的概率是最高的。那這個時候。
那你就可以根據他的評分的不同。去做下一步的選項。
所以通過這三個選項的處理啊。還有這個場景啊。我們大概網上裡面就有一個概念了。
那J5其實做最大的事情就是。你給他變成知識。你給他問題。給他選項。或者讓他回答yes or no。
或者讓他去打一個分數。他其實最大的作用就是這個。幫你去做決策的參考。
那很多人可能到這裡的時候。會覺得為什麼我們不用模型。去做這種決策的參考呢。
那其實模型也可以做這種決策的參考。但是他Token的推理成本就高。
那他小型速度可能不會很快。那比如說J5他的小型時間是100毫秒左右。
成本是100萬Token。只要0.042美元。輸出完全免費。所以呢。
這也就決定了J5這個模型。只能是成為你眾多工作流的一個部分。
某些很多細分場景的模型的使用。它是不可能取代像Cloud。
或JPT這些通用模型的。那麼這裡有一個案例可以讓大家進一步去了解。
J5這個模型和其他大模型怎麼配合。比如說。
你在你的這個A型工具裡面做了一個模型的路由。
簡單的任務用便宜的模型。复杂的任務用好的模型。
那怎麼去判斷這個任務的。复杂、簡單。
那麼這個就可以交給J5去判斷。
那他的判斷成本是非常低的。
他判斷完了之後。然後再路由到這個模型裡面去。
再接著往下走。所以他就成為你A型的裡面的。
某個環節裡面的一部分了。
那麼在這裡來我也做了一個。用J5來玩這個。
然後用J5去做這種選項的判斷。
因為俄羅斯方塊只要控制方向就行了。
我們來看一下。
那這邊的話會接收俄羅斯方塊的這種做標信息。
然後他這邊會返回。
應該是怎麼操作。
返回的指令裡面是包括了他的操作方向。
那麼J5的這個判斷的準確率。
也不是說是100%。大概在五六成左右。
這個可能需要模型去疊代。
然後你用其他的大模型其實也可以玩。
但是成本和速度可能是沒有這個J5更快。
更省成本。
那這個想像速度是非常快的。
那官網這邊提供了非常多的案例。
比如說像這種模型路由啊。
還有這種客戶的這種處理。
客戶支持的處理。
保險理賠。
法律合規。
那麼我在外網上也是有一個很多。
比如說這種去除流氧器廣告。
把整個流氧器的道路信息發送給J5。
讓J5去判斷哪個是廣告。
並且消除。
還有這種郵件欺詐的。
就是說把所有的郵件和相關的背景信息發給J5。
讓J5去判斷哪些郵件的欺詐。
那還有這個非常有意思的是什麼呢?
它是用J5做了一個Cloud的插件。
來判斷一下Cloud有沒有調用不必要的工具。
那節省這個Token從100萬降到86K。
這個非常厲害。
有空的話就可以去試一下。
然後這裡面其實還有很多很多這種場景。
也就是你可以想像一下。
你在生活工作中這些場景是需要判斷的。
那麼你就可以使用J5來去做這個郵船裡面的替換。
那麼你如果你想體驗這款模型的話,
在OpenRot上還有這個官網上都可以去申請使用。
官網上這邊申請的話很快就通過了。
而且用起來速度也非常快。
以上就是我對J5的一些初步看法了。
那麼大家可以試一下自己的場景。
真的有很多很多場景可以使用它來去體驗一下。
OK,那本視頻就到這。
希望這個視頻給你有所幫助。
希望這個視頻給你更多。