start end text 760 9720 大家好,今天我們給大家講解這個Voice Agent的一個總體架構啊,以及它的這個完整流程。 10500 20480 我們首先了解一下什麼是Voice Agent。你看這個Voice,Voice就是語音的意思,就是語音智能體。也就是說不僅有語音,還有智能體。 22020 29960 那最簡單的比如說你用豆包的書,或者用LGBT的書,你跟它對話。那這個就是最基本的一個語音智能體。 30760 42280 它裡面有哪些關鍵技術呢?有Web RC,有STD,有TTS,有IIM,這幾個關鍵的技術。這幾個名詞呢,希望大家都去查一下。 42800 55600 那首先,Web RC解決什麼?Web RC解決就是說,音視頻的問題。你比如說你的聲音怎麼採集的,你聲音怎麼播放的,聲音怎麼傳輸的,這個是由Web RC來解決的。 56120 58420 那麼STD是什麼?STD就是 58920 60200 語音轉文字。 60460 61240 也就是說 61740 67120 你語音採集了以後,需要把它轉成文字,這個文字再交給大語音模型。 67640 68660 也就是LM 69160 70200 決定說什麼? 70440 75560 也就是說,LM是把文字拿到以後,它會加工,會思考,會返回。 75820 76840 返回完以後, 77100 78120 這不有文字了嗎? 78380 79400 文字在 79660 81460 第一個,它首先會發到 82220 87100 這個端上,也就是比如,一般我們叫前端,比如網頁裡面,或者手機裡面。 88120 94000 然後不經意發,有可能要播語音,這個播語音就要把這個文字再轉成語音,這個過程叫TTS。 95020 97580 所以說,這裡面有幾個關鍵概念,叫Web RC 97840 98620 STD 98860 99640 TTS 99900 100660 LM 101420 101680 對吧 102200 103980 好,我們來看一下它總體架構 104760 105260 首先是 106040 108340 前端,前端呢,它有一個 108860 109880 比如說可能是瀏覽器 109880 111680 有可能是App 111920 113200 甚至是一個硬件啊,對吧 113460 115000 好,那麼麥克風採集 115520 116280 那音頻 116800 119860 同時音頻可能會播放,然後屏幕上可能有文字 120120 121140 大家用這個 121400 123960 用豆包的時候,你在跟它對話的時候,它不經常有這個 125240 127800 會有文字顯示嗎?另外一個它會播放語音 128820 130100 那麼音頻會上行 130360 131120 到後端 131640 132160 後端呢 132660 135480 它這裡面呢,它會比如說,它一般是Web RC 136500 137520 處理啊,處理完 138040 138800 以後呢,它會 139060 140840 把這個聲音提取出來 141100 142640 然後把這個聲音呢,丟給 142900 143660 STT 143920 144680 STT呢 144940 145460 呃 145960 148520 有幾種,一種是你本地的這種服務,對吧 148780 150060 你可能從歐拉馬來接入 150320 152360 第二種呢,有可能比如說你是阿里的 152620 152880 對吧 153140 154420 也有可能是騰訊的 154680 156720 也有可能是火山引擎的 156980 158000 也可能是MiniMax 158260 158520 是吧 159540 160560 STT,MiniMax 160820 161320 目前 161840 162360 不一定有 162600 163880 然後你可能Deepgram 164140 165420 有可能是ElevenLab 165680 167220 這裡面就有中英文 167480 169780 這裡面我們主要以中英文給大家解釋就行了 170300 172600 那麼由它轉動文字又返回給 172860 177200 這個後端,後端這塊它又會掉的這個IMO,也就是掉的大元模型 177460 179760 這裡面選擇就多了,你比如說你可以用Deepseek 180020 181300 可以用這個 182060 184120 MiniMax,可以用這個Kimi 184380 186940 可以用這個OpenAI,對吧 187440 188460 你可以用 188720 190520 這個很多很多模型啊,都可以用 191020 191540 那 191800 193580 丟給大元模型,大元模型會 193840 195620 對你的畫進行加工 195880 197160 加工完以後 197420 198960 他比如說你今天問了一個 199220 201000 舉個例子,什麼是人工智能對吧 201260 202280 他會肯定回答 203060 204580 一堆這個內容嘛,然後 205100 205860 他返回完 206120 207920 返回他以後,然後後端呢 208680 208940 又 209200 209960 緊接著 210220 212260 調這個TTS模型,這個TTS模型也有 212520 214580 比如火山引擎呢,阿里騰訊呢 214840 217660 對吧,Deepgram,ElevenLav,他都會把 218160 219180 文字再轉成語音 219440 220720 轉成語音呢,他會有一個 220980 224560 實實的流,這個實實流呢,再通過WebSEE技術再傳給前端 224820 226100 前端把聲音播放出來 226620 228660 同時文字部分呢,他也會到前端 229180 229940 那這時候呢 230960 231480 這時候呢 231740 233260 就完成了整個的 234300 235320 完成了整個的這個 235580 236600 voice agent的一個流程 237360 239160 那麼為什麼我們又稱為agent呢 239920 240180 就是 240940 242220 不僅是voice,為什麼agent呢 242220 245300 原因就是因為這裡面有R,就是大語言模型的介入 245540 246320 它是一個智能的 247080 248360 所以說我們就要 248880 249900 voice agent 250160 251440 你既然是agent,那麼 251700 255020 他可能也可以做RE,也就是檢索增加生成 255280 255780 比如說 256040 257060 我經常問的問題 257320 258600 那麼我們可以把這個問題 258860 261940 問的問題以及回答的過程把它傳到相量信息庫裡面 262180 265260 那你問題問多了以後,那麼以後他在 265780 268080 你再問他問題的,他就更懂你了,對吧 268340 271660 更懂你了,知道你以前問過,他會知道怎麼再去回答你 272180 272940 這個就是 273460 276020 接入這個大語言模型的好處 276260 278580 這個你還在這部分進行加強 278820 279600 就這部分加強 280360 280880 好 281140 282660 那下面這邊有解釋 283440 285740 好,我們看到總體的架構,我們再看一下這個 286000 288560 還有完整流程,那這個裡面當然就更詳細了 288820 291880 比如說瀏覽器這邊設計到麥克風採集 292140 292660 對吧 294180 294960 重採樣 295220 295720 分針 296240 298020 這個技術名稱我們不需要長那麼細 298280 298800 暫時 299300 300580 然後二金字上行 300840 301600 對吧 301860 302620 然後 302880 303900 這邊還會分發 304940 307740 那麼這邊有VAD檢測,這個VAD是幹什麼 308260 309540 你跟這個 310060 310560 AI 310820 312360 對話的時候你不經常可能會 312620 313900 打斷他嗎?比如說 314140 315420 他正在回答你某一個 315680 317480 某一段話的時候你突然間打斷他了 317740 319520 那如果是有打斷的話 319780 320300 對吧 320540 321320 有打斷的話 321580 322080 那麼 322860 324380 這時候會丟給LM 324640 325160 對吧 325420 326180 會切這個句子 326440 327460 然後又貼貼的再返回 327460 328220 對吧 328480 330020 如果不打斷的話 330280 331040 不打的話他就 331560 332840 他就整個就是 333860 335140 朝下去走 335400 336160 這個意思 336680 337440 整個朝下去走 337700 338460 直接從這 338720 339240 TDS 339740 340000 這走 340260 341280 然後就返回 341540 342560 再返回到前端 343340 344100 然後進行播放 344360 345120 播放這個聲音 345640 346660 中間發生的過程就是 346920 347680 STT code端 347940 348200 你要走 348460 349220 STT的服務 349480 349740 對吧 349980 350500 你比如說 351020 351780 阿里的呀 352040 352540 Deepgram呀 352800 353060 之類的 353320 353820 那麼 354600 355620 這個如果是Irm的話 355880 356640 你可能接入OpenAI 356900 356900 357160 357920 也可能接入Deepseek 358180 358940 有可能接入Milimax 359200 359460 Kimi 359720 360220 都可以 360480 360740 好 361000 361260 那麼 361500 362280 TDS這塊 362540 363560 通過SSE的流 363820 364320 來進行播放 364580 365600 那麼SSE什麼呢 365860 367900 這個是AI裡面的一個技術 368160 369700 就是一個流式的 370220 370980 返回的 371240 371500 一個 371740 372520 處理技術 373020 374300 就是文字的一個流式 374560 375840 同時還有音頻的 376620 377380 最後到 377380 380700 網頁這段它有音頻的一個流式 381480 383780 所以這個是更詳細的一個完整流程 384040 385820 這裡面涉及到好些技術 386600 386860 好技術 387100 387880 大家這些技術 388140 388900 我們會一步步拆解 389160 389660 給大家講的 390180 390440 那麼 390700 392220 我們對於一個 392480 394280 總體的架構以及完整流程 394540 395300 有所了解以後 395820 396580 你才能搞懂 396840 398620 我們後續要給大家講的 399400 399900 比如說 401960 404000 從Web端到Server端的整個的一個 404780 406820 Voice Agent的一個整個流程 406820 408100 那麼我們這個例子 408360 409120 寫的不是很大 409380 410660 但是通過這個例子 410920 411180 你 411420 413220 能對Voice Agent有一個 413740 415260 完整的流程的一個理解 415520 416040 並且 416300 417820 它是正式辦理能跑起來的一個項目 418340 420140 我們首先是把理論先搞清楚 420900 421660 這裡面 421920 422700 我們可以看到 422940 423980 這裡面我們涉及的各種服務 424220 425000 比如 425260 425760 STTS 426020 426540 IM 426780 427040 這些 427300 429100 大家都可以去採用不同的 429600 430380 Provider 430620 431400 有著供應商的服務 431660 432680 不一定說是非要某一間的 432940 433180 對吧 433960 434460 ! 434460 437020 比如說如果說我們英文的我建議大家用Deepgram 437280 438040 Eleven Lab 438300 440600 如果說是中文的建議大家用 441120 443940 阿里的騰訊的火車引擎的像這些 444180 445220 包括Millimax像這些 445720 447000 這樣的話是比較好的 447260 447780 因為 448020 449060 肯定是 450080 450840 各自的模型 451100 454180 它對中英文支持的出來的效果是不一樣的 454940 457240 當然同時它還支持方言的 457500 458520 比如說粵語 459040 459800 對吧 460320 460560 等等 460820 462100 像這些方言的四川話 462620 463120 普通話 463900 465440 像方言普通話都支持的 466460 467220 所以說這個 467480 468760 你要不同的去 469020 468760 測 469020 469520 另外還有一個 469780 470560 VED打斷 470800 471580 VED打斷的 471840 472340 不同的 473120 473880 比如STT 474140 474400 就是 474640 475160 它叫 475420 475680 實際上叫 475920 476960 AS2技術 477460 478480 不同的 479520 480280 廠商提供出來的 480540 481560 質量也是不一樣的 481820 482840 這個都去接 483360 484380 然後我們這裡面當然就接了 484640 485140 有阿里的 485400 485920 有Deepgram 485920 486440 這些 486940 489240 已經有兩個比較好用的給大家接進來了 489500 490520 告訴大家怎麼去接的 491800 492060 好 492320 496420 那麼關於它的這個總體的架構儀完整流程的我們就先講到這裡謝謝大家觀看