一份被意外泄露的谷歌內(nèi)部文件，將Meta的LLaMA大模型“非故意開源”事件再次推到聚光燈前。

“泄密文件”的作者據(jù)悉是谷歌內(nèi)部的一位研究員，他大膽指出，開源力量正在填平OpenAI與谷歌等大模型巨頭們數(shù)年來筑起的護城河，而最大的受益者是Meta，因為該公司2月意外泄露的LLaMA模型，正在成為開源社區(qū)訓(xùn)練AI新模型的基礎(chǔ)。

(資料圖片僅供參考)

幾周內(nèi)，開發(fā)者與研究人員基于LLaMA搞起微調(diào)訓(xùn)練，接連發(fā)布了Alpaca、Vicuna、Dromedary等中小模型，不只訓(xùn)練成本僅需幾百美元，硬件門檻也降低至一臺筆記本電腦甚至一部手機，測試結(jié)果不比GPT-4差。

除了AI模型之外，F(xiàn)reedomGPT等類ChatGPT應(yīng)用也如雨后春筍般涌現(xiàn)，基于LLaMa的“羊駝家族”不斷壯大，這位研究員認(rèn)為，Meta很可能借此形成生態(tài)，從而成為最大贏家。

事實上，人工智能的世界里，的確有一部分進入了“安卓時刻”，這個部分就是開源社區(qū)。特斯拉前AI主管Andrej Karpathy評價開源社區(qū)中的AI進化時稱，他看到了“寒武紀(jì)大爆發(fā)的早期跡象”。

在AI競速的賽道上，奔跑的不只有科技巨頭，開源社區(qū)正在從小徑中涌入大道，成為人工智能開發(fā)層面不可忽視的力量。

LLaMa意外開源養(yǎng)出 “羊駝家族”

“我們沒有護城河，OpenAI 也沒有?！币黄獊碜訥oogle 內(nèi)部的文章在 SemiAnalysis 博客傳播，文章作者認(rèn)為，Meta的LLaMa開源模型快速聚集起生態(tài)雛形，正在消除與GPT之間的差距，開源AI最終會打破 Google與OpenAI的護城河。

這篇文章讓人重新注意到了Meta的 LLaMA 大模型，該模型代碼被泄露后的2個月里意外成了開源社區(qū)訓(xùn)練自然語言模型的基礎(chǔ)，還產(chǎn)生了諸多中小模型及應(yīng)用。

時間回到今年2月24日，Meta推出大語言模型LLaMA，按參數(shù)量分為7B、13B、33B和65B四個版本。別看參數(shù)量遠(yuǎn)遠(yuǎn)不及GPT-3，但效果在AI圈內(nèi)獲得了一些正面評價，尤其是能在單張GPU運行的優(yōu)勢。

Meta在官方博客中曾稱，像LLaMA這種體積更小、性能更高的模型，能夠供社區(qū)中無法訪問大量基礎(chǔ)設(shè)施的人研究這些模型，進一步實現(xiàn)人工智能大語言模型開發(fā)和訪問的民主化。

“民主化”來得異?？?。LLaMA推出一周后，一位名叫l(wèi)lamanon的網(wǎng)友在國外論壇4chan上以種子文件的方式上傳了7B和65B的LLaMA模型，下載后大小僅為 219GB。此后，這個種子鏈接被發(fā)布到開源社區(qū)GitHub，下載量超過千次。LLaMA就這樣被泄露了，但也因此誕生了諸多實驗成果。

最初，名叫 Georgi Gerganov 的開發(fā)者開源了一個名為llama.cpp的項目，他基于LLaMA 模型的簡易Python語言的代碼示例，手?jǐn)]了一個純 C/C++ 語言的版本，用作模型推理。換了語言的最大優(yōu)勢就是研究者無需 GPU、只用 CPU能運行LLaMA模型，這讓大模型的訓(xùn)練硬件門檻大大降低。

正如谷歌那位研究員寫得那樣，“訓(xùn)練和實驗的門檻從一個大型研究機構(gòu)的全部產(chǎn)出降低到1個人、1晚上和1臺性能強大的筆記本電腦就能完成?！痹陂_發(fā)者的不斷測試下，LLaMA已經(jīng)能夠在微型計算機樹莓派4和谷歌Pixel 6手機上運行。

開源社區(qū)的創(chuàng)新熱情也徹底點燃，每隔幾天都會有新進展，幾乎形成了一個“LLaMA（羊駝）生態(tài)”。

3月15日，斯坦福大學(xué)微調(diào)LLaMA后發(fā)布了Alpaca（美洲駝）模型，僅用了52K數(shù)據(jù)，訓(xùn)練時長為3小時。研究者宣稱，測試結(jié)果與GPT-3.5不分伯仲，而訓(xùn)練成本還不到600美元，在一些測試中，Alpace與GPT-3.5的獲勝次數(shù)分別為90對89。

隨后，加州大學(xué)伯克利分校、卡內(nèi)基梅隆大學(xué)、加州大學(xué)圣地亞哥分校的研究人員又提出新的模型Vicuna（小羊駝），也是基于LLaMa做出來的，訓(xùn)練成本僅300美元。

在該項目的測評環(huán)節(jié)，研究人員讓GPT-4當(dāng)“考官”，結(jié)果顯示，GPT-4在超過90%的問題中更強傾向于Vicuna的回答，并且Vicuna在總分上達(dá)到了ChatGPT的92%。

用GPT-4測評Vicuna與其他開源模型

短短幾周，基于LLaMa構(gòu)建的“羊駝家族”不斷壯大。

4月3日，伯克利人工智能研究院發(fā)布了基于LLaMa微調(diào)的新模型 Koala（考拉），訓(xùn)練成本小于100美元，在超過一半的情況下與 ChatGPT 性能相當(dāng)；5月4日，卡內(nèi)基梅隆大學(xué)語言技術(shù)研究所、IBM 研究院與馬薩諸塞大學(xué)阿默斯特分校的研究者們，推出了開源自對齊語言模型Dromedary（單峰駱駝），通過不到300行的人工標(biāo)注，就能讓65B的LLaMA基礎(chǔ)語言模型在TruthfulQA（真實性基準(zhǔn)）上超越GPT-4。

在國內(nèi)，垂直醫(yī)療領(lǐng)域的 “羊駝家族”成員也出現(xiàn)了，哈爾濱工業(yè)大學(xué)基于LLaMa模型的指令微調(diào)，推出了中文醫(yī)學(xué)智能問診模型HuaTuo（華駝），該模型能夠生成專業(yè)的醫(yī)學(xué)知識回答。

哈工大推出中文醫(yī)學(xué)智能問診模型HuaTuo（華駝）

基于該模型的開源創(chuàng)新不僅在大模型上，應(yīng)用層也有多點開花之勢。

3月31日，AI公司Age of AI推出了語言模型FreedomGPT，正是基于斯坦福大學(xué)的Alpaca開發(fā)出來的；3月29日，加州大學(xué)伯克利分校在它的Colossal-AI基礎(chǔ)下發(fā)布了ColossalChat對話機器人，能力包括知識問答、中英文對話、內(nèi)容創(chuàng)作、編程等。

從基礎(chǔ)模型層到應(yīng)用層，基于LLaMa所誕生的“羊駝家族”還在一路狂奔。

由于被 “開源” 的 LLaMA 出自 Meta 之手，那位發(fā)文的谷歌研究員認(rèn)為，Meta意外成了這場AI競爭中的最大受益者——借助開源社區(qū)的力量，Meta獲得了全世界頂級開發(fā)者的免費勞動力，因為大多數(shù)開源的 AI 創(chuàng)新都發(fā)生在他們的基礎(chǔ)架構(gòu)內(nèi)，因此，沒有什么能阻止 Meta將這些成果直接整合到他們的產(chǎn)品中。

開源力量觸發(fā)“AI的安卓時刻”

ChatGPT引爆AI熱后，英偉達(dá)的CEO黃仁勛將這股浪潮喻為“AI的iPhone時刻”，他認(rèn)為，AI行業(yè)進入了如iPhone誕生顛覆手機行業(yè)時的革命性時間點。而當(dāng)LLaMA開啟開源社區(qū)的小宇宙后，網(wǎng)友認(rèn)為，“AI的安卓時刻”來了。

回顧過去，谷歌曾以開源思想讓更多的開發(fā)者參與到安卓應(yīng)用生態(tài)的建設(shè)中，最終讓安卓成為電腦與手機的系統(tǒng)/應(yīng)用主流。如今，LLaMA再次讓AI業(yè)內(nèi)看到了開源力量的強大。

智能軟硬件件開發(fā)公司出門問問的CEO李志飛也注意到了谷歌這篇內(nèi)部聲音：

“大模型這個領(lǐng)域，Google已經(jīng)在聲勢上大幅落后于OpenAI。在開源生態(tài)上，如果Google再猶豫不決，后面就算想開源也會大幅度落后于Meta的LLaMA。相反，如果開源，可以把OpenAI的壁壘進一步降低，而且會吸引（或留?。┖芏嘀С珠_源的高級人才?！?/p>

特斯拉前AI主管Andrej Karpathy認(rèn)為：

“當(dāng)前開源大模型的生態(tài)之勢，已經(jīng)有了寒武紀(jì)大爆發(fā)的早期跡象?！?/p>

確實，開發(fā)者對開源的AI模型前所未有的熱情正在從Github的打星量指標(biāo)中溢出：Alpaca獲得了23.2k星，llama.cpp獲26.3k星，LLaMA獲20.8k星……而在“羊駝家族”之前，AutoGPT等開源項目也在Github擁有超高的人氣，突破100k星。

開發(fā)者對開源AI模型的打星量

此外，為了追趕 ChatGPT，構(gòu)建大型開源社區(qū)的 AI 初創(chuàng)公司Hugging Face 也在近日推出了開源聊天機器人HuggingChat，該機器人的底層模型擁有300 億個參數(shù)，并對外開放了訓(xùn)練數(shù)據(jù)集。英偉達(dá) AI 科學(xué)家 Jim Fan認(rèn)為，如果后續(xù)開發(fā)應(yīng)用程序，Hugging Face將比 OpenAI 更具優(yōu)勢。

開源力量來勢洶洶，手握OpenAI的微軟也并不準(zhǔn)備把雞蛋都放在一個籃子里。今年4月，微軟推出了開源模型DeepSpeed Chat，為用戶提供了 “傻瓜式” 操作，將訓(xùn)練速度提升了15倍。

以LLaMA 為核心的AI開源社區(qū)正在平行空間中，與OpenAI等走閉源路線的大模型巨頭展開競速，開源思想與實踐中爆發(fā)出的創(chuàng)新力量已經(jīng)不容巨頭小覷了。

責(zé)任編輯：

關(guān)鍵詞：