深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)可能規(guī)模龐大，需要強(qiáng)大的計(jì)算能力

很多文章的報(bào)道都是由微觀而宏觀，今日小編講給大家?guī)淼年P(guān)于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)可能規(guī)模龐大，需要強(qiáng)大的計(jì)算能力的資訊也不例外，希翼可以在一定的程度上開闊你們的視野！y有對(duì)深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)可能規(guī)模龐大，需要強(qiáng)大的計(jì)算能力這篇文章感興趣的小伙伴可以一起來看看
在一篇新論文中， Frankle及其同事發(fā)現(xiàn)了埋伏在BERT中的此類子網(wǎng)，BERT是一種用于自然語言處理(NLP)的先進(jìn)神經(jīng)網(wǎng)絡(luò)方法。作為人工智能的一個(gè)分支，NLP旨在通過預(yù)測文本生成或在線聊天機(jī)器人等應(yīng)用程序來解密和分析人類語言。在計(jì)算方面，BERT體積龐大，通常需要大多數(shù)用戶無法獲得的超級(jí)計(jì)算能力。從而可能使更多用戶在智能手機(jī)上開辟有效的NLP工具。

弗蘭克勒說：“我們正在達(dá)到必須使這些模型更精簡，更高效的地步。”他補(bǔ)充說，這一進(jìn)步有一天可能會(huì)“減少NLP的準(zhǔn)入門檻” 。
麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室的邁克爾·卡賓小組的博士生Frankle是該研究的共同作者，該研究將于下個(gè)月在神經(jīng)信息處理系統(tǒng)會(huì)議上發(fā)表。德克薩斯大學(xué)奧斯汀分校的陳天龍是該論文的主要作者，其中包括得克薩斯州A&M的合作者Wang Zhangyang Wang，以及所有MIT-IBM Watson AI Lab的常石宇，劉思佳和張揚(yáng) 。
您今天可能已經(jīng)與BERT網(wǎng)絡(luò)進(jìn)行了互動(dòng) 。這是Google搜索引擎的基礎(chǔ)技術(shù)之一，自Google于2018年公布BERT以來，它向來引起研究人員的興奮。BERT是一種創(chuàng)建神經(jīng)網(wǎng)絡(luò)的方法-使用分層節(jié)點(diǎn)或“神經(jīng)元”的算法來學(xué)習(xí)執(zhí)行通過培訓(xùn)大量實(shí)例來完成一項(xiàng)任務(wù) 。

BERT是通過反復(fù)嘗試填寫寫作段落中遺漏的單詞來進(jìn)行訓(xùn)練的，它的功能在于此初始訓(xùn)練數(shù)據(jù)集的龐大大小。然后，用戶可以將BERT的神經(jīng)網(wǎng)絡(luò)微調(diào)至特定任務(wù)，例如構(gòu)建客戶服務(wù)聊天機(jī)器人。但是爭執(zhí)的BERT需要大量的處理能力。
弗蘭克爾說：“如今，標(biāo)準(zhǔn)的BERT模型-園林品種-具有3.4億個(gè)參數(shù)，”他補(bǔ)充說，這個(gè)數(shù)字可以達(dá)到10億。對(duì)如此龐大的網(wǎng)絡(luò)進(jìn)行微調(diào)可能需要一臺(tái)超級(jí)計(jì)算機(jī) 。“這簡直太貴了。這遠(yuǎn)遠(yuǎn)超出了您或我的計(jì)算能力。”
【深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)可能規(guī)模龐大，需要強(qiáng)大的計(jì)算能力】為了削減計(jì)算成本，Chen和他的同事試圖找出隱藏在BERT中的較小模型。他們通過迭代修剪整個(gè)BERT網(wǎng)絡(luò)的參數(shù)進(jìn)行了實(shí)驗(yàn) ，然后將新子網(wǎng)的性能與原始BERT模型的性能進(jìn)行了比較。他們對(duì)一系列NLP任務(wù)進(jìn)行了此比較，從回答問題到填充句子中的空白詞。

欧美国产高清污视频在线观看-欧美久久综合九色综合-国产黄色自拍网站在线-国产三级精品三级在专区精-97中文字幕一区二区-大吊操白虎学生妹逼-精品久久久久亚洲综合网-青青草原国产av一区欧美-国产在线一区二区三区在线

深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)可能規(guī)模龐大，需要強(qiáng)大的計(jì)算能力

猜你喜歡