達(dá)摩院發(fā)布中文社區(qū)最大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型

　　近日，阿里巴巴達(dá)摩院發(fā)布中文社區(qū)最大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型PLUG。該模型參數(shù)規(guī)模達(dá)270億，集語(yǔ)言理解與生成能力于一身。

　　該模型背后的操作原理是自然語(yǔ)言處理。這是人工智能的核心技術(shù)。它無(wú)縫彌合了復(fù)雜的人類語(yǔ)言和編碼機(jī)器之間的通信鴻溝，讓機(jī)器“聽得懂”人話。而預(yù)訓(xùn)練語(yǔ)言模型正是目前自然語(yǔ)言處理的一種主流技術(shù)。它可以基于大規(guī)模文本預(yù)訓(xùn)練，得出通用的語(yǔ)言知識(shí)，然后經(jīng)過微調(diào)，有針對(duì)性地將學(xué)習(xí)到的知識(shí)傳遞給不同的下游任務(wù)。

　　從產(chǎn)業(yè)發(fā)展的角度來看，基于人工智能的語(yǔ)言模型提供了一種基于海量非監(jiān)督數(shù)據(jù)自學(xué)習(xí)的范式，減少人工干預(yù)成本，加快AI技術(shù)的商業(yè)化落地。近年來，AI領(lǐng)域興起了預(yù)訓(xùn)練語(yǔ)言模型浪潮。2020年5月，OpenAI發(fā)布的1750億參數(shù)超大規(guī)模預(yù)訓(xùn)練模型GPT-3“一炮而紅”。微軟巨額投資跟進(jìn)，獲得GPT-3語(yǔ)言模型的獨(dú)家許可。2021年1月，谷歌推出1.6萬(wàn)億參數(shù)的超級(jí)語(yǔ)言模型Switch Transformer，也受到了高度關(guān)注。

　　“通常情況下，越多訓(xùn)練數(shù)據(jù)，越大參數(shù)規(guī)模，一般能夠獲得更好的性能。當(dāng)然，到了一定程度也有一定的上限?！边_(dá)摩院深度語(yǔ)言模型團(tuán)隊(duì)負(fù)責(zé)人黃松芳在接受記者采訪時(shí)表示。大規(guī)模AI語(yǔ)言模型競(jìng)爭(zhēng)的背后，實(shí)際上是數(shù)據(jù)量、算力和模型結(jié)構(gòu)設(shè)計(jì)之間的較量。

　　據(jù)黃松芳介紹，PLUG的亮點(diǎn)主要體現(xiàn)在兩個(gè)方面：首先，不同于GPT-3單向生成模型，PLUG是一個(gè)雙向的自然語(yǔ)言理解和生成統(tǒng)一模型，集成了達(dá)摩院自研的語(yǔ)言理解StructBERT和語(yǔ)言生成PALM雙模型，通過構(gòu)建輸入文本雙向理解能力，顯著提升了輸出文本的相關(guān)性。其次，得益于阿里云EFLOPS高性能AI計(jì)算集群和高效的并行訓(xùn)練優(yōu)化算法，PLUG基于1TB的文本數(shù)據(jù)訓(xùn)練，參數(shù)規(guī)模達(dá)到270億，在語(yǔ)言理解任務(wù)上，PLUG以80.614分刷新了CLUE分類榜單紀(jì)錄；在語(yǔ)言生成任務(wù)上，PLUG多項(xiàng)應(yīng)用數(shù)據(jù)較業(yè)內(nèi)最優(yōu)水平提升了8%以上。

　　然而，黃松芳也坦言：“目前PLUG是全球中文領(lǐng)域最大的純文本預(yù)訓(xùn)練語(yǔ)言模型，但相比國(guó)外以英文為核心的GPT-3模型1750億的參數(shù)規(guī)模，還只有其1/6不到?！睋?jù)介紹，達(dá)摩院計(jì)劃將PLUG參數(shù)規(guī)模擴(kuò)大至2000億級(jí)，并進(jìn)一步提升文本生成質(zhì)量。

　　“后續(xù)，我們?cè)诒M力繼續(xù)擴(kuò)大模型參數(shù)規(guī)模的同時(shí)，也會(huì)關(guān)注超大模型的落地應(yīng)用實(shí)踐，努力探索低碳、高效、業(yè)務(wù)可用的預(yù)訓(xùn)練語(yǔ)言模型。另外，對(duì)于大規(guī)模訓(xùn)練語(yǔ)言模型的發(fā)展趨勢(shì)，我們將從數(shù)據(jù)驅(qū)動(dòng)逐步發(fā)展到知識(shí)驅(qū)動(dòng)，探索數(shù)據(jù)和知識(shí)深度融合的預(yù)訓(xùn)練語(yǔ)言模型。”黃松芳說。

　　未來，PLUG有望廣泛運(yùn)用于日常生產(chǎn)及生活的場(chǎng)景中。例如，在醫(yī)療領(lǐng)域中，PLUG可用于電子病歷的質(zhì)量控制、臨床醫(yī)學(xué)的輔助診療等；在電力領(lǐng)域，可用于各種電力設(shè)備文檔的解析，打造為電力企業(yè)員工提供設(shè)備故障診斷的AI助手，還可以幫助理解電力故障報(bào)案需求，提供高效的電力調(diào)度支持。

　　“超大規(guī)模預(yù)訓(xùn)練模型將作為一種AI基礎(chǔ)設(shè)施，推動(dòng)相關(guān)理論研究和技術(shù)應(yīng)用更上一層，從而改變整個(gè)產(chǎn)業(yè)格局。”智源學(xué)術(shù)副院長(zhǎng)、清華大學(xué)教授唐杰表示，“繼基于數(shù)據(jù)的互聯(lián)網(wǎng)時(shí)代、基于算力的云計(jì)算時(shí)代之后，接下來可能將進(jìn)入基于模型的AI時(shí)代?！保ㄓ浾咚捂海?/p>

　　轉(zhuǎn)自：中國(guó)電子報(bào)

　　【版權(quán)及免責(zé)聲明】凡本網(wǎng)所屬版權(quán)作品，轉(zhuǎn)載時(shí)須獲得授權(quán)并注明來源“中國(guó)產(chǎn)業(yè)經(jīng)濟(jì)信息網(wǎng)”，違者本網(wǎng)將保留追究其相關(guān)法律責(zé)任的權(quán)力。凡轉(zhuǎn)載文章及企業(yè)宣傳資訊，僅代表作者個(gè)人觀點(diǎn)，不代表本網(wǎng)觀點(diǎn)和立場(chǎng)。版權(quán)事宜請(qǐng)聯(lián)系：010-65363056。

延伸閱讀