欧美国产高清污视频在线观看-欧美久久综合九色综合-国产黄色自拍网站在线-国产三级精品三级在专区精-97中文字幕一区二区-大吊操白虎学生妹逼-精品久久久久亚洲综合网-青青草原国产av一区欧美-国产在线一区二区三区在线

  1. 首頁 > 生活百科 > >

微軟發(fā)布了DialogGPT AI對話模型

【微軟發(fā)布了DialogGPT AI對話模型】很多文章的報道都是由微觀而宏觀，今日小編講給大家?guī)淼年P(guān)于微軟公布了DialogGPT AI對話模型的資訊也不例外，希翼可以在一定的程度上開闊你們的視野！y有對微軟公布了DialogGPT AI對話模型這篇文章感興趣的小伙伴可以一起來看看
微軟公布了DialogGPT AI對話模型
微軟研究院的自然語言處理小組公布了對話生成預(yù)訓(xùn)練變壓器(DialoGPT) ， 這是一種用于自動會話響應(yīng)生成的預(yù)訓(xùn)練深度學(xué)習(xí)自然語言處理(NLP)模型 。該模型接受了超過147百萬次對話的培訓(xùn)，并在若干基準(zhǔn)上取得了最新成果 。

微軟發(fā)布了DialogGPT AI對話模型


該小組在ar Xiv上發(fā)表的一篇論文中介紹了該系統(tǒng)的細節(jié) 。DialoGPT建立在GPT-2變壓器架構(gòu)上，并使用從Reddit注釋線程中刮來的數(shù)據(jù)集進行培訓(xùn) 。該模型使用兩個測試數(shù)據(jù)集進行評估，即Dialog系統(tǒng)技術(shù)挑戰(zhàn)(DST C-7)數(shù)據(jù)集和一個新的6k實例數(shù)據(jù)集 。對于這兩個數(shù)據(jù)集，該團隊使用機器翻譯指標(biāo) ， 如BLEU和Meteor，以評估DialoGPT的性能，與微軟的個性聊天和“團隊B”，DSTC-7的贏家 。在所有指標(biāo)上，DialoGPT優(yōu)于其他模型 。該小組還使用人類法官對DialoGPT的輸出進行排名，以對抗真實的人類反應(yīng);法官們更喜歡DialoGPT的反應(yīng) ， 大約50%的時間 。
微軟發(fā)布了DialogGPT AI對話模型


變形金剛體系結(jié)構(gòu)已成為NLP任務(wù)的一種流行的深度學(xué)習(xí)模型..這些模型通常是預(yù)先訓(xùn)練的，使用無監(jiān)督學(xué)習(xí)，在大型數(shù)據(jù)集上 ， 如維基百科的內(nèi)容 。預(yù)培訓(xùn)同意 模型學(xué)習(xí)自然語言結(jié)構(gòu)，然后再對特定任務(wù)的數(shù)據(jù)集(如DSTC-7數(shù)據(jù)集)進行微調(diào) 。即使沒有微調(diào)，大型預(yù)先訓(xùn)練的模型也能在NLP基準(zhǔn)上達到最先進的結(jié)果..然而，DialoGPT團隊指出，這些模型中的許多都是“以生成平淡、不具信息性的樣本而臭名昭著的 。”為了解決這一問題 ， 他們實現(xiàn)了最大限度的相互信息評分功能，重新對模型的輸出進行排序，懲處“平淡”的輸出 。研究小組還使用強化學(xué)習(xí)來改進模型的結(jié)果，但發(fā)現(xiàn)這通常會導(dǎo)致簡單地重復(fù)源句的反應(yīng) 。
預(yù)先訓(xùn)練的模型對于會話系統(tǒng)特殊有吸引力，因為缺乏高質(zhì)量的對話任務(wù)培訓(xùn)數(shù)據(jù)集 。不過，使用Reddit或Twitter等互聯(lián)網(wǎng)網(wǎng)站提供的自然對話信息會帶來風(fēng)險，這種模式將暴露于攻擊性言論 ， 并且可以從中吸取教訓(xùn) 。微軟早些時候的實驗聊天機器人Tay在與Twitter用戶交談后產(chǎn)生了“極其不恰當(dāng)和應(yīng)受責(zé)備”的輸出 。微軟的個性聊天云服務(wù)試圖通過使用一系列機器學(xué)習(xí)分類器在自動生成響應(yīng)之前過濾掉攻擊性輸入來解決這個問題 。作為預(yù)防措施，DialoGPT團隊選擇不釋放將模型輸出轉(zhuǎn)換為實際文本字符串的解碼器 。同樣 ， OpenA I最初由于擔(dān)心“技術(shù)的惡意應(yīng)用”而抑制了他們經(jīng)過充分訓(xùn)練的模型 。
微軟發(fā)布了DialogGPT AI對話模型


Reddit的一位用戶對解碼器進行了逆向工程，并公布了使用該模型的一些結(jié)果，同時還公布了評論：
我想說，考慮到給出的信息很少，所有幾代人在語法上都是可以接受的 ， 而且令人印象深刻，大約五分之一的人看起來非常連貫，有時甚至非常諷刺(很像紅色) 。那些提出了一個明確界定的主題的人肯定更好地解決了問題 。
NLP研究員Julian Harris在推特上說：
在這些報告中，人們總是需要記住，“接近人類的表現(xiàn)”只是為了測試場景 。自動生成響應(yīng)(NLG)仍然是一個非常新的領(lǐng)域，并且是高度不可預(yù)測的.因為這樣的深度學(xué)習(xí)生成的會話對話目前充其量是娛樂的 ， 最糟糕的是，一個可怕的，破壞品牌的用戶體驗 。
DialoGPT代碼和經(jīng)過預(yù)先訓(xùn)練的模型可在GitHub上獲得 。

    猜你喜歡