Llama2等30+模型接入千帆大模型平臺，推理成本降50%

魚羊 發自 凹非寺

量子位 | 公眾號 QbitAI

最強開源大模型Llama2，性能更進一步~

【資料圖】

7B、13B、70B三個版本全都有，均可以直接調用部署。

你可能想不到的是，這波操作還是百度搞出來的。

最新消息，百度智能云千帆大模型平臺又雙叒升級了，這回還悄然變身國內擁有最多大模型的平臺：

不僅能跑文心大模型，Llama2全系列、ChatGLM2-6B、RWKV-4-World、MPT-7B-Instruct、Falcon-7B等共33個大模型也已全面接入。

還都是經過性能、安全雙重增強的那種——

通過優化模型吞吐、降低模型尺寸，實測調優后模型體積可壓縮至25%-50%，推理成本最多可降低50%。百度智能云還基于自身安全積累，完成了二次安全增強。

于是，一聽說千帆大模型平臺已經開放申請測試，我們趕緊第一時間上手體驗了一把。

有意思的是，我們親測發現，這波更新之后，用大模型的門檻還肉眼可見越來越低了。

如果你還沒搞清楚“千帆大模型平臺”究竟是什么，那么可以簡單這樣理解：

一個支持各種大模型開發部署的“煉丹爐”。

在千帆這個一站式大模型平臺上，企業用戶可以按照自身的需求，直接把大模型接入自家應用，或者干脆重新訓練、調優出一個屬于自己的大模型。

正如前文所言，為了滿足企業對大模型多樣的需求，千帆大模型平臺除百度自研的文心大模型外，還支持Llama 2全系列、ChatGLM2-6B、RWKV-4-World、MPT-7B-Instruct、Falcon-7B等33個大模型。

從后臺界面可以看出，從數據服務，到大模型訓練，再到大模型的評估、測試、部署，千帆都提供了完整的開發和應用工具鏈。

在“模型倉庫”中的預置模型中，可以找到文心大模型、BLOOMZ-7B和此番更新的全部第三方大模型，一鍵就能開始部署。

辣么問題來了，其中不少都是開源模型，在千帆上調用跟直接拿代碼用相比，有啥好處？

直白一點說，就是便宜、易用，“千帆優選”。

首先，在諸多開源大模型中，并不是每一個都效果理想，有可商用協議。而對上線千帆平臺的第三方模型，百度都會事先完成測試驗證，確保模型在效果、安全性、可商用三個方面的可靠性。

其次，百度會提前對第三方模型進行性能增強。具體而言，是通過優化模型吞吐、降低模型尺寸，實現模型推理速度的大幅提升。

根據百度的測算，調優后模型體積可壓縮至25%-50%，推理成本最多可降低50%。

實際上，推理恰恰是大模型應用階段的算力消耗大戶。量子位智庫認為，隨著大模型訓練階段完成，未來AI服務器的主要需求將向推理側轉移。IDC的預測則顯示，到2026年，AIGC的算力62.2%將作用于模型推理。

再者，調用開源模型很大的一個問題就是，在安全合規方面不能滿足國內的需求。為此，千帆對第三方大模型做了二次安全增強，接入了百度多年來在安全上的積累。另外百度也保證，客戶在千帆上調用第三方模型，享有平臺的安全保障。

最后，如果有進一步調優大模型的需求，那么在千帆這樣的平臺上，各個環節都集成了低門檻工具，上手十分方便，包括數據的標注、處理、回流，SFT（全量參數微調、P-tuning、LoRA）、RLHF等調優方法，以及大模型的評估、壓縮、測試、部署等。

此前，百度智能云就曾在技術交流活動中現場上演10分鐘微調大模型。

值得一提的是，在此番更新之后，百度智能云還上線了Prompt模板庫，長這樣：

關注大模型的小伙伴們想來沒少聽說過“提示工程”這個詞。所謂提示（Prompt）工程，就是通過聊天提問的方式，來影響大模型輸出內容的質量。

也就是說，只要你的提問技巧夠高明，在不耗費大量資源更新模型權重（微調）的情況下，也能讓大模型的回答質量更上一層樓。

不過雖說是“聊天”，但針對大模型的提問，那絕對是項技術活兒。吳恩達老師就專門出過有關提示工程的課程。

而千帆平臺的這個Prompt模板功能，實際上就是幫你在不熟悉提示工程的情況下，也能快速玩轉大模型。

比如讓某開源大模型幫忙推薦菜譜。

如果只是告訴它：想吃辣。

生成的回答是這樣的：

沒什么毛病但有點簡略。這個時候就可以一鍵引用千帆模型庫里的“廚師”模板：

我想讓你充當我的私人廚師。我將告訴你我的飲食偏好和過敏癥，你將建議我嘗試的食譜。你應該只回復你推薦的菜譜，而不是其他。不要寫解釋。想吃辣。

就能得到一份更為詳細的建議：

目前，千帆共預置了103款Prompt模板，覆蓋對話、編程、電商、醫療、游戲、翻譯、演講等十余個場景。

看來，很多問題不是大模型不會，是我問的不對

。

待你“參透”這些咒語的通用規律，比如設定角色、細化要求，還可以在千帆上自制模板，方便測試效果和復用。

千帆大模型平臺研發團隊認為，很多企業使用大模型時，覺得效果不好是模型本身的問題。但其實很多情況下，企業無需花費大量資源調優大模型，基于模板優化Prompt，即可得到滿意的模型效果。

工程師們還向我們透露，根據調研，隨著大模型能力的逐漸增強，越來越多的中小企業逐漸由監督微調改為直接調用大模型。因此如何通過優化跟大模型對話的方式，讓大模型輸出更好的內容，其實正是大模型落地探索過程中的一大痛點。

千帆上線海量Prompt模板，實際上就降低了企業應用大模型的門檻。

不難看出，千帆這波大更新，主打的就是一個簡單易用。

事實上，當大模型走過最初的技術狂熱，真正來到探索應用的階段，不僅是大模型正在激發全新的應用創新，越來越多傳統行業也在積極融入大模型生態。

而在這個過程中，無論是前者還是后者，對于降低大模型的使用門檻，都有著迫切的需求。

千帆工程師也表示，從百度自身的實踐上來看，大模型最終要達到好的應用效果，除了基礎模型本身的能力之外，更重要的是要“找到場景”。而只有降低門檻，才能讓更多專業的人把精力聚焦到對場景的理解和場景的應用之上。

千帆大模型平臺，如今正是在這一方向上持續打樣。

這一方面是因為百度在打造文心大模型的過程中，對大模型技術本身有更深入的理解。

另一方面，在3月份率先發布國產大語言模型之后，百度是國內“目前接觸用戶/開發者最多的大語言模型廠商”，手握國內最豐富的大模型客戶測試經驗，對于行業當下所面臨的痛點，有著更明確的認識。

甚至可以說，在國內的一眾大模型廠商中，百度無疑擁有從數據，到算力，到算法再到實踐經驗的最全大模型生成資料。

如今，百度不僅局限于自己打造大模型，還正在把越來越多第三方大模型做進基礎設施，并不斷降低基礎設施的使用門檻。

在搜索時代的“百度一下”，或許也將在大模型時代，通過千帆賦予新的意義——

現在接觸大模型，最直接的方式還是：百度一下。

— 完 —

量子位 QbitAI · 頭條號簽約

關鍵詞：