天天百事通！字節(jié)跑步進場“大模型”，人工智能黃金十年已開啟

最新消息，字節(jié)跳動在大模型上已有所布局，分別在語言和圖像兩種模態(tài)上發(fā)力。

// 字節(jié)緊急布局 //

據(jù)報道，語言大模型團隊由字節(jié)搜索部門牽頭，團隊規(guī)模在十數(shù)人左右。圖片大模型團隊則由產(chǎn)品研發(fā)與工程架構部下屬的智能創(chuàng)作團隊牽頭。字節(jié)跳動語言大模型團隊在今年組建，探索方向主要為與搜索、廣告等下游業(yè)務的結合，“搜索業(yè)務部門、AI Lab和AML（應用機器學習）團隊都調(diào)了一部分人支援語言大模型，團隊目前的預期是在今年年中推出大模型”。據(jù)悉，語言大模型團隊負責人與圖像大模型團隊負責人的間接和直接匯報對象，均為Tik Tok產(chǎn)品技術負責人朱文佳。

(相關資料圖)

對AI領域的布局，字節(jié)的反應速度一直較快。據(jù)了解，目前AIGC（AI生成內(nèi)容）技術也已結合到頭條的內(nèi)容創(chuàng)作以及抖音的圖文內(nèi)容生成中。比如2021年，抖音上線的可以把人臉卡通畫的“漫畫臉”就小范圍出圈。

ChatGPT模式證明，大模型的訓練是入場費高昂的長跑。在算力保障方面，字節(jié)旗下的企業(yè)技術服務平臺火山引擎，在2021年正式進軍基礎云市場（IaaS層），為大模型所需的算力奠定了基礎。

// 大廠跑步進場 //

所謂“大模型”，通常是在無標注的大數(shù)據(jù)集上，采用自監(jiān)督學習的方法進行訓練。之后在其他場景的應用中，開發(fā)者只需要對模型進行微調(diào)，或采用少量數(shù)據(jù)進行二次訓練，就可以滿足新應用場景的需要。

在大模型的框架下，ChatGPT所使用的GPT模型，每一代參數(shù)量均高速擴張，預訓練的數(shù)據(jù)量需求和成本亦快速提升。據(jù)資料，僅GPT-3訓練一次的成本約為140萬美元，對于一些更大的LLM模型，訓練成本介于200萬美元至1200萬美元之間。因此說進入大模型首先得肯燒錢。另外從參數(shù)數(shù)量上，國內(nèi)并不缺數(shù)據(jù)，百度、字節(jié)跳動這樣的公司都有海量的數(shù)據(jù)積累，不過后續(xù)包括數(shù)據(jù)清洗、標注以及模型的結構設計，訓練、推理等都需要時間積累。此外想做大模型，不僅是資金，還有人力和基礎模型，對于互聯(lián)網(wǎng)大廠而言，難度也是不小。

ChatGPT帶動了國內(nèi)互聯(lián)網(wǎng)大廠大模型熱潮。據(jù)悉，目前已經(jīng)有多家互聯(lián)網(wǎng)大廠宣布正開展ChatGPT相關研發(fā)。此前，百度高調(diào)宣布，已站上ChatGPT競賽的跑道。按照百度的規(guī)劃，其將于今年3月推出類ChatGPT產(chǎn)品文心一言，外界猜測，文心一言要么與百度搜索引擎入口打通，要么推出類似AI畫作平臺文心一格的獨立入口。

阿里方面也確認，阿里達摩院正在研發(fā)類 ChatGPT 的對話機器人，目前處于內(nèi)測階段。三六零在互動平臺表示，360 公司也計劃盡快推出類 ChatGPT 技術的 demo 版產(chǎn)品。

騰訊方面還沒有確切的消息傳來，不過，2月3日，騰訊申請的“人機對話方法、裝置、設備及計算機可讀存儲介質(zhì)”專利獲授權，該項專利與ChatGPT的原理十分相似。

// 將獲得政策大力支持 //

2月24日，國新辦舉行“權威部門話開局”系列主題新聞發(fā)布會?？萍疾扛咝录夹g司司長陳家昌在談到近期引起廣泛關注的ChatGPT時表示，科技部將把人工智能作為戰(zhàn)略性新興產(chǎn)業(yè)，作為新增長引擎，繼續(xù)給予大力支持。將推動人工智能與經(jīng)濟社會深度融合，在重大應用場景中錘煉技術，升級迭代，培育市場。

CSR-期貨專題統(tǒng)計

關鍵詞： 機器學習 人工智能技術 chatgpt