廣州熱線(xiàn)

近日,自然語(yǔ)言處理領(lǐng)域權(quán)威排行榜——GLUE通用語(yǔ)言理解評(píng)估基準(zhǔn)新排名出爐。百度自研的語(yǔ)義理解技術(shù)與平臺(tái)文心ERNIE以90.9的分?jǐn)?shù)再登榜首,領(lǐng)先微軟?DeBERTa/TuringNLRv4,谷歌?T5以及阿里巴巴、華為等研發(fā)的其他同類(lèi)別技術(shù)。

GLUE排行榜由紐約大學(xué)、華盛頓大學(xué)、谷歌DeepMind等機(jī)構(gòu)聯(lián)合推出,涵蓋自然語(yǔ)言推斷、語(yǔ)義相似度、問(wèn)答匹配、情感分析等9大不同類(lèi)型的NLP任務(wù)。GLUE榜單的挑戰(zhàn)者包含了谷歌、Facebook、微軟等國(guó)際頂尖科技公司以及斯坦福大學(xué)、卡耐基·梅隆大學(xué)等知名高校,含金量極高。GLUE榜單在一定程度上成為了衡量各機(jī)構(gòu)自然語(yǔ)言處理預(yù)訓(xùn)練技術(shù)水平最重要的指標(biāo)之一。

一級(jí)首創(chuàng)層次化學(xué)習(xí)

早在2019年12月,百度文心ERNIE就曾以9個(gè)任務(wù)平均得分首次突破90大關(guān)的好成績(jī),刷新GLUE榜單歷史奪得榜首。此次百度文心ERNIE再度登頂,主要源于文心ERNIE對(duì)模型持續(xù)學(xué)習(xí)方式的進(jìn)一步升級(jí)和模型神經(jīng)元數(shù)目的進(jìn)一步增多,使得模型能更加高效地、高質(zhì)量地學(xué)習(xí)海量數(shù)據(jù)中的豐富知識(shí)。具體來(lái)說(shuō),文心ERNIE提出了層次化Post-LN Transformer算法,解決了大規(guī)模Post-LN Transformer模型訓(xùn)練不穩(wěn)定問(wèn)題,保證了模型訓(xùn)練效果。此外,文心ERNIE還利用了百度飛槳獨(dú)創(chuàng)的Hybrid Sharding分布式算法,極大地降低了模型訓(xùn)練時(shí)間。

文心ERNIE層次化Post-LN Transformer技術(shù)圖解

一級(jí)業(yè)界領(lǐng)先的語(yǔ)義理解技術(shù)與平臺(tái)——文心ERNIE

自然語(yǔ)言處理NLP被稱(chēng)為人工智能皇冠上的一顆明珠,該領(lǐng)域的技術(shù)突破對(duì)于機(jī)器認(rèn)知智能發(fā)展至關(guān)重要。百度文心ERNIE則是一個(gè)取得世界級(jí)突破的語(yǔ)義理解技術(shù)與平臺(tái),它依托于百度的深度學(xué)習(xí)平臺(tái)飛槳打造,將機(jī)器理解語(yǔ)言的水平提升到一個(gè)新的高度,為計(jì)算機(jī)帶來(lái)了認(rèn)知智能領(lǐng)域的巨大跨域。此次文心ERNIE能夠再次超越國(guó)際頂尖公司及高校榮登榜首,背后是百度在NLP技術(shù)的長(zhǎng)期積累。

文心ERNIE的核心技術(shù)優(yōu)勢(shì)在于,它開(kāi)創(chuàng)性地將大數(shù)據(jù)預(yù)訓(xùn)練與多源豐富知識(shí)相結(jié)合,通過(guò)持續(xù)學(xué)習(xí)技術(shù),不斷吸收海量文本數(shù)據(jù)中詞匯、結(jié)構(gòu)、語(yǔ)義等方面的新知識(shí),實(shí)現(xiàn)模型效果不斷進(jìn)化,如同人類(lèi)持續(xù)學(xué)習(xí)一樣。這讓它在16個(gè)中英文典型 NLP任務(wù)上顯著超越當(dāng)時(shí)世界最好效果。

文心ERNIE語(yǔ)義理解平臺(tái)集先進(jìn)的預(yù)訓(xùn)練模型、全面的NLP算法集、端到端開(kāi)發(fā)套件和平臺(tái)化服務(wù)于一體,為企業(yè)和開(kāi)發(fā)者提供一站式NLP開(kāi)發(fā)與服務(wù)。

如今,百度在自然語(yǔ)言處理領(lǐng)域的深厚積累已輻射至不同領(lǐng)域。文心ERNIE已廣泛地應(yīng)用于百度內(nèi)外多個(gè)產(chǎn)品和技術(shù)場(chǎng)景,在百度搜索、小度音箱、信息流推薦等一系列產(chǎn)品應(yīng)用中發(fā)揮了重要作用,大幅提升了產(chǎn)品效果和用戶(hù)體驗(yàn),并通過(guò)百度智能云形成“云智一體”的競(jìng)爭(zhēng)優(yōu)勢(shì),輸送到金融、通信、教育、互聯(lián)網(wǎng)等行業(yè),助力各行各業(yè)產(chǎn)業(yè)智能化升級(jí)。