ChatGPT火了之后，很多對(duì)未來(lái)生成式AI的愿景直覺性的指向微信。這個(gè)超過(guò)12億人每天多次打開的地方，是當(dāng)下最活躍的信息交換場(chǎng)，也是最期待被生成式AI重做一遍的地方。這從不斷出現(xiàn)又不斷被封的各種野生“微信Bot”中可見一斑。
敲邊鼓的人多了，更顯出騰訊的謹(jǐn)慎。
(資料圖片)
“對(duì)于工業(yè)革命來(lái)講，早一個(gè)月把電燈泡拿出來(lái)，在長(zhǎng)的時(shí)間跨度上來(lái)看是不那么重要的”，馬化騰在今年5月的一季度財(cái)報(bào)會(huì)上這樣說(shuō)。他還表示，“關(guān)鍵還是要把底層的算法、算力和數(shù)據(jù)扎扎實(shí)實(shí)做好——更關(guān)鍵的是場(chǎng)景落地”。
言下之意，騰訊要拿出來(lái)的，一定是在產(chǎn)品和技術(shù)上完備，并且想清楚如何落地的東西。
6月19日，距離馬化騰的發(fā)言一個(gè)月后，騰訊首次披露大模型方面的進(jìn)展，主角是騰訊云，攻的是行業(yè)大模型。
“精選商店”
如果說(shuō)大模型競(jìng)爭(zhēng)是一場(chǎng)在技術(shù)上拉平所有AI領(lǐng)域玩家的競(jìng)爭(zhēng)，那么隨著過(guò)去幾個(gè)月國(guó)內(nèi)對(duì)于大模型的討論逐漸從通用轉(zhuǎn)向更務(wù)實(shí)的產(chǎn)業(yè)視角，大廠反而在更具體的競(jìng)爭(zhēng)中找到了自己的優(yōu)勢(shì)。
“現(xiàn)在是一個(gè)合適的時(shí)間點(diǎn)，把我們過(guò)去一段時(shí)間（大模型）的實(shí)踐、沉淀、思考和我們所積累的工具鏈給大家做一些分享”，騰訊云副總裁、騰訊優(yōu)圖實(shí)驗(yàn)室總經(jīng)理吳運(yùn)聲表示。
騰訊云在大模型方向上邁出的第一步是騰訊云MaaS，或者叫一站式行業(yè)大模型精選商店。
云廠商被認(rèn)為會(huì)在大模型滲入垂直領(lǐng)域的過(guò)程中發(fā)揮巨大作用，因其在天然在服務(wù)企業(yè)客戶的過(guò)程中具備垂直領(lǐng)域視角的同時(shí)，又站在領(lǐng)域內(nèi)各企業(yè)狹窄的個(gè)體視角之外。企業(yè)在大模型訓(xùn)練、部署的門檻與成本考慮中遇到的障礙會(huì)在云廠商所處的更高維度的行業(yè)視角下找到平衡。
首先是數(shù)據(jù)質(zhì)量差的問(wèn)題 。構(gòu)建大模型也是成本極高的系統(tǒng)工程，大模型需要大量的高質(zhì)量數(shù)據(jù) 進(jìn)行訓(xùn)練和優(yōu)化，還必須經(jīng)過(guò)清洗和預(yù)處理，以消除噪聲、填補(bǔ)缺失值并確保數(shù)據(jù)質(zhì)量， 經(jīng)常會(huì)因?yàn)閿?shù)據(jù)各類問(wèn)題，導(dǎo)致模型的效果和效率無(wú)法得到保障。如果導(dǎo)入的數(shù)據(jù)質(zhì)量低，那訓(xùn)練出來(lái)的模型也會(huì)有問(wèn)題——所謂的 garbage in garbage out。
再者是計(jì)算資源有限 。大模型需要較高的計(jì)算資源和存儲(chǔ)資源，但很多企業(yè)和機(jī)構(gòu)缺乏這方面的資源，導(dǎo)致無(wú)法進(jìn)行大模型的訓(xùn)練和推理。對(duì)比一般服務(wù)器來(lái)說(shuō)，GPU服務(wù)器的穩(wěn)定性比較低，大模型訓(xùn)練需要的GPU動(dòng)輒千卡，而且在訓(xùn)練集群里，連接幾百臺(tái)GPU服 務(wù)器所要求的網(wǎng)絡(luò)速度極高，如果網(wǎng)絡(luò)有點(diǎn)擁塞，訓(xùn)練速度就會(huì)很慢，效率很受影響。
除此之外，對(duì)于大模型的 開發(fā)和落地環(huán)節(jié)專業(yè)知識(shí)和人才的缺乏 又會(huì)進(jìn)一步拉高企業(yè)在大模型上的投入成本。
騰訊云做MaaS并不讓人意外，后者稱為未來(lái)云廠商的基礎(chǔ)能力已經(jīng)開始成為共識(shí)。而不同的是，騰訊云嘗試用更“量體裁衣”的解決方案，來(lái)拆解企業(yè)在大模型落地時(shí)面臨的實(shí)際問(wèn)題。
這個(gè)“精選商店”拆開來(lái)看是一個(gè)三層架構(gòu)：頂層是面向行業(yè)的MaaS層，底層是以行業(yè)大模型和基礎(chǔ)設(shè)施組成的技術(shù)底座，以騰訊TI平臺(tái)為主體的的工具層則成為中間支撐，為企業(yè)客戶提供涵蓋模型預(yù)訓(xùn)練、模型精調(diào)、智能應(yīng)用開發(fā)等一站式行業(yè)大模型解決方案。
發(fā)布會(huì)上17家來(lái)自不同行業(yè)的生態(tài)伙伴同臺(tái)出現(xiàn)，騰訊云在行業(yè)大模型上的優(yōu)勢(shì)首先來(lái)自多年在產(chǎn)業(yè)互聯(lián)網(wǎng)上積累下的行業(yè)知識(shí)。
通用大語(yǔ)言模型在應(yīng)對(duì)產(chǎn)業(yè)場(chǎng)景落地時(shí)存在一定的局限性。一來(lái)通用大模型的訓(xùn)練數(shù)據(jù)主要來(lái)自公開數(shù)據(jù)集或網(wǎng)絡(luò)數(shù)據(jù)，對(duì)于特定行業(yè)的專業(yè)領(lǐng)域知識(shí)了解有限。并且通用大語(yǔ)言模型的訓(xùn)練需要大量計(jì)算資源和漫長(zhǎng)的訓(xùn)練周期，這對(duì)企業(yè)來(lái)說(shuō)是高昂成本。
騰訊云MaaS的訓(xùn)練基于包括金融、政務(wù)、文旅等一整套高質(zhì)量的行業(yè)大模型，目前在大模型行業(yè)應(yīng)用方面已經(jīng)有了包括智能客服、OCR、跨模態(tài)檢索等領(lǐng)域在內(nèi)的50多個(gè)行業(yè)解決方案。對(duì)于這些領(lǐng)域的企業(yè)來(lái)說(shuō)，這意味著一個(gè)具有行業(yè)通識(shí)的大模型是現(xiàn)成的。在此基礎(chǔ)上加入自己獨(dú)有的場(chǎng)景數(shù)據(jù)做精細(xì)化的訓(xùn)練，門檻要低得多。企業(yè)可以快速生成自己的專屬模型，也可根據(jù)自身業(yè)務(wù)場(chǎng)景需求，按需定制不同參數(shù)、不同規(guī)格的模型服務(wù)。
而在具體的訓(xùn)練環(huán)節(jié)，企業(yè)并不希望回答一個(gè)完全開放性的問(wèn)題。他們需要完善的模型工具，和一個(gè)被反復(fù)驗(yàn)證的高效而成熟的訓(xùn)練流程來(lái)做指引。騰訊內(nèi)承擔(dān)全棧式AI開發(fā)服務(wù)的TI平臺(tái)所提供的工程化能力是騰訊云MaaS的核心，后者擁有從數(shù)據(jù)標(biāo)注、訓(xùn)練、評(píng)估到測(cè)試和部署的一整套大模型工具鏈。
TI平臺(tái)是背后核心
2021年騰訊云在TI平臺(tái)下推出了TI DataTruth、TI ONE和TI Matrix三大AI底層平臺(tái)，提供包括算法開發(fā)、模型訓(xùn)練、數(shù)據(jù)標(biāo)注和數(shù)據(jù)處理等一系列開發(fā)能力。這一平臺(tái)升級(jí)計(jì)劃強(qiáng)化了TI平臺(tái)的工具屬性，也成為騰訊云在大模型領(lǐng)域?qū)ふ易约何恢玫姆P。
TI-DataTruth 聚焦數(shù)據(jù)生產(chǎn)要素 ——提供數(shù)據(jù)標(biāo)注作業(yè)、數(shù)據(jù)眾包管理、 場(chǎng)景數(shù)據(jù)挖掘等智能數(shù)據(jù)生產(chǎn)服務(wù)。
TI-ONE 是整個(gè)大模型開發(fā)流程的重心 ——內(nèi)置多種訓(xùn)練方式和算法框架，為用戶提供從數(shù)據(jù)接 入、模型訓(xùn)練、模型管理到模型服務(wù)的全流程開發(fā)支持， 滿足不同 AI 應(yīng)用場(chǎng)景的需求。
TI-Matrix 靠近應(yīng)用層 ——支持快速接入各種數(shù)據(jù)、算法和智能設(shè)備，并提供可視化編排工具，進(jìn)行模型服務(wù)和資源的管理及調(diào)度，進(jìn)一步通過(guò) AI 服務(wù)組建集成和標(biāo)準(zhǔn)化接口開 放，降低AI應(yīng)用開發(fā)成本。
而騰訊自研的機(jī)器學(xué)習(xí)框架“太極Angel”也在傳統(tǒng)CV、NLP算法模型的基礎(chǔ)上，新增了對(duì)大模型的訓(xùn)練和推理加速能力。通過(guò)異步調(diào)度優(yōu)化、顯存優(yōu)化、計(jì)算優(yōu)化等方式，“太極Angel”加持下的訓(xùn)練和推理過(guò)程相比行業(yè)常用方案性能提升30%以上。
“現(xiàn)在把TI平臺(tái)升級(jí)到MaaS，不是說(shuō)工具屬性沒了。工具屬性仍然有了，仍然是非常重要的，但是除了有工具屬性之外，我們內(nèi)制了很多行業(yè)大模型，在平臺(tái)內(nèi)訓(xùn)練了自己的模型之后，這個(gè)模型可以直接完成下游任務(wù)，提供對(duì)外的服務(wù)去做應(yīng)用。”
吳運(yùn)聲表示，此次TI平臺(tái)完成了一次從算法到產(chǎn)品層面的完整升級(jí)，而隱于其后的充沛算力供給，來(lái)自專為大模型訓(xùn)練設(shè)計(jì)的 新一代HCC(High-Performance Computing Cluster)高性能計(jì)算集群 。
今年 4 月，騰訊云面向大模型訓(xùn)練的新一代HCC高性能計(jì)算集群發(fā)布，后者采用最新一代的騰訊云星星海自研服務(wù)器，多層加速的高性能存儲(chǔ)系統(tǒng)，加上高帶寬、 低延遲的網(wǎng)絡(luò)傳輸，具備3.2Tbps業(yè)界最高互聯(lián)網(wǎng)帶寬，算力性能提升3倍。
去年10月騰訊完成首個(gè)萬(wàn)億參數(shù)的AI大模型混元NLP大模型訓(xùn)練，在同等數(shù)據(jù)集下，前一代HCC高性能計(jì)算集群已經(jīng)可以將訓(xùn)練時(shí)間由50天縮短到11天，而如果基于新一代集群，訓(xùn)練時(shí)間將進(jìn)一步縮短至4天。在行業(yè)大模型的討論里，一切為最終的產(chǎn)業(yè)落地服務(wù)，這不是一場(chǎng)萬(wàn)億模型的規(guī)模游戲，重點(diǎn)在靈活和效率。
騰訊云也推出了更適合AI運(yùn)算的 向量數(shù)據(jù)庫(kù) 。后者能夠更高效地處理圖像、音頻和文本等非結(jié)構(gòu)化數(shù)據(jù)源，能力源自騰訊內(nèi)部每日處理千億次檢索的向量引擎（OLAMA），提供高吞吐、低延遲、低成本、高可用、彈性擴(kuò)展的一站式向量檢索數(shù)據(jù)庫(kù)，單索引支持10億級(jí)向量規(guī)模，檢索，數(shù)據(jù)接入AI的效率會(huì)比傳統(tǒng)方案提升10倍。
大模型的興起正在反過(guò)來(lái)重塑云廠商未來(lái)的發(fā)展發(fā)向，騰訊云副總裁劉穎將此歸為一個(gè)從AI1.0到AI2.0的變化。
“在AI1.0時(shí)代，我們重視單機(jī)單卡的性能、標(biāo)量數(shù)據(jù)的結(jié)構(gòu)化精準(zhǔn)檢索，以及云原生帶來(lái)的自動(dòng)調(diào)度。新的背景下，AI2.0的業(yè)務(wù)迭代更快，服務(wù)重心也變成了AI企業(yè)及大模型，我們需要把關(guān)注點(diǎn)轉(zhuǎn)移到集群性能的提升、向量數(shù)據(jù)的存儲(chǔ)與檢索，以及自動(dòng)容錯(cuò)能力上?！?
“這意味著需要更加靈活、自由、高性能的云平臺(tái)?！边@也是騰訊云切入大模型的姿態(tài)。
關(guān)鍵詞：
