圖片來(lái)源：中國(guó)工業(yè)互聯(lián)網(wǎng)研究院

近日，中國(guó)工業(yè)互聯(lián)網(wǎng)研究院（以下簡(jiǎn)稱“工聯(lián)院”）針對(duì)人工智能大模型在中文工業(yè)領(lǐng)域的應(yīng)用性能、技術(shù)架構(gòu)、標(biāo)準(zhǔn)體系進(jìn)行系統(tǒng)性評(píng)測(cè)，并發(fā)布系列報(bào)告。評(píng)測(cè)對(duì)象涵蓋GPT-4、GPT-3.5、文心一言、ChatGLM等國(guó)內(nèi)外具有代表性的頭部大模型。

本次工業(yè)知識(shí)問(wèn)答測(cè)試主要分為客觀題與主觀題兩大類，總計(jì)超過(guò)1100個(gè)問(wèn)題。主觀題主要考察四大維度：基礎(chǔ)能力、語(yǔ)句能力、概括能力和邏輯能力。評(píng)測(cè)結(jié)果顯示，GPT-4表現(xiàn)最佳。國(guó)內(nèi)頭部大模型表現(xiàn)亮眼，整體與GPT-3.5相當(dāng)。其中百度文心一言在國(guó)內(nèi)大模型中排名第一。

在客觀題方面，GPT-4與文心一言表現(xiàn)優(yōu)于其他大模型。但評(píng)測(cè)結(jié)果也同時(shí)指出，大模型在準(zhǔn)確率方面有較大的提升空間。在主觀題方面，國(guó)內(nèi)大模型的基礎(chǔ)能力、語(yǔ)句能力與GPT-4接近，概括能力、邏輯能力與GPT-4存在一定差距。

評(píng)測(cè)數(shù)據(jù)集由工業(yè)領(lǐng)域八大行業(yè)的相關(guān)數(shù)據(jù)構(gòu)成。包括電子設(shè)備制造業(yè)、裝備制造業(yè)、鋼鐵行業(yè)、采礦行業(yè)、電力行業(yè)、石化化工行業(yè)、建材行業(yè)和紡織行業(yè)。工聯(lián)院根據(jù)工業(yè)經(jīng)驗(yàn)，結(jié)合外部數(shù)據(jù)源，按行業(yè)構(gòu)建行業(yè)知識(shí)測(cè)試集。

從行業(yè)維度看，大模型在八個(gè)行業(yè)知識(shí)問(wèn)答能力上差異明顯，個(gè)別行業(yè)需進(jìn)一步優(yōu)化提升。其中，電子、裝備行業(yè)評(píng)價(jià)指數(shù)較高，紡織、采礦行業(yè)綜合評(píng)價(jià)指數(shù)相對(duì)較低。

分析大模型落地垂直行業(yè)痛點(diǎn)，豐富特定行業(yè)專業(yè)知識(shí)。雖然國(guó)內(nèi)大模型在本次評(píng)測(cè)中表現(xiàn)較好，甚至在部分行業(yè)評(píng)分優(yōu)于GPT-3.5，但工聯(lián)院評(píng)測(cè)報(bào)告指出，國(guó)內(nèi)外通用大模型在工業(yè)知識(shí)問(wèn)答領(lǐng)域探索仍處于初級(jí)階段，國(guó)內(nèi)大模型與GPT-4有差距，行業(yè)間的泛化能力有待加強(qiáng)。對(duì)此，工聯(lián)院評(píng)測(cè)報(bào)告給出的建議是進(jìn)一步豐富相關(guān)專業(yè)領(lǐng)域的數(shù)據(jù)訓(xùn)練集，進(jìn)行專業(yè)化的微調(diào)。