隨著計(jì)算機(jī)科學(xué)的不斷發(fā)展，以及社會(huì)對(duì)個(gè)性化人機(jī)交互需求的不斷增強(qiáng)，情感計(jì)算在人機(jī)交互中的重要性日益凸顯，基于情感理解與表達(dá)的人機(jī)交互研究也受到了各領(lǐng)域的廣泛關(guān)注 。情感計(jì)算對(duì)人的感知、推理、決策、規(guī)劃、創(chuàng)造、社會(huì)互動(dòng)等許多活動(dòng)起著不可或缺的作用 。基于情感計(jì)算的研究在行為分析科學(xué)中具有重要意義 。情感計(jì)算大致可分為單模態(tài)情感計(jì)算和多模態(tài)情感計(jì)算，如下圖所示 。
單模態(tài)情感計(jì)算單模態(tài)情感計(jì)算主要包含文本、語音、視覺、生理信號(hào)等四種模態(tài) ， 下面將分別介紹其技術(shù)情況 。
文本情感計(jì)算
文本就是人與人之間的交流因時(shí)空等限制而借助的媒介，也是記錄信息的一種載體 。文本記錄了人的思維意識(shí)活動(dòng)，其中一些文本一定帶有情感傾向，那么對(duì)這部分信息的挖掘、研究和應(yīng)用就是文本情感計(jì)算的主要內(nèi)容 。
（1）研究背景和發(fā)展現(xiàn)狀
由于機(jī)器無法直接理解語言文字這種非結(jié)構(gòu)化的數(shù)據(jù)，自然語言處理（Natural LanguageProcessing，NLP）應(yīng)運(yùn)而生 。NLP 有兩個(gè)核心任務(wù)：一是自然語言理解（Natural Language Understanding，NLU）通過語法分析、句法分析與語義分析對(duì)句子、段落、語篇等長(zhǎng)文本進(jìn)行理解；二是自然語言生成（Natural Language Generating，NLG）將非語言格式的數(shù)據(jù)轉(zhuǎn)換成人可以理解的語言格式 。NLP建立了人類與計(jì)算機(jī)溝通的橋梁 。由于數(shù)據(jù)的龐雜，人工分析成本高且耗時(shí)耗力，運(yùn)用大數(shù)據(jù)技術(shù)和人工智能技術(shù)對(duì)文本的情感進(jìn)行分析可以極大地提高效率和準(zhǔn)確率 。因此，文本情感計(jì)算應(yīng)運(yùn)而生且成為 NLP 的一大研究熱點(diǎn) 。
目前，文本情感計(jì)算屬于計(jì)算機(jī)語言學(xué)的研究范疇，主要研究情感狀態(tài)與文本信息的對(duì)應(yīng)關(guān)系 。文本情感的計(jì)算主要由文本情感特征標(biāo)注、文本情感特征提取算法和文本情感分類技術(shù)組成 。
計(jì)算機(jī)無法識(shí)別文本，需要先將文本轉(zhuǎn)為向量再進(jìn)行分析 。目前，常見的文本生成向量的方法有 CNN、RNN、長(zhǎng)短期記憶網(wǎng)絡(luò)（Long Short-TermMemory，LSTM）等 。
快速啟動(dòng)RealOnePlayer的技巧：在Real的文件夾下搜索netid.smi和 getmedia.ini將其改名為：betid_bak.smi和getmedia_bak.ini，然后再打開 試試，是不是快很多.
（2）數(shù)據(jù)集
NLP 數(shù)據(jù)集主要按語言種類進(jìn)行生產(chǎn) 。中文文本分類領(lǐng)域的相關(guān)數(shù)據(jù)集有根據(jù)新浪新聞 RSS 訂閱頻道 2005—2011 年的歷史數(shù)據(jù)篩選過濾生成的THUCNews 數(shù)據(jù)集、根據(jù)新浪微博生成的 weibo_senti_100k 和 simplifyweibo_4_moods、今日頭條新聞文本分類數(shù)據(jù)集、搜狗實(shí)驗(yàn)室開發(fā)的全網(wǎng)新聞數(shù)據(jù)（SogouCA）和搜狐新聞數(shù)據(jù)（SogouCS）、騰訊云消息隊(duì)列 CKafka 上線的數(shù)據(jù)中心接入的服務(wù)模塊 DataHub 等 。英文文本分類領(lǐng)域的相關(guān)數(shù)據(jù)集有亞馬遜評(píng)論數(shù)據(jù)集（Amazon Reviews Dataset）、安然電子郵件數(shù)據(jù)集（Enron Email Dataset）、包含 5萬余條電影評(píng)論的影評(píng)數(shù)據(jù)集（IMDB Dataset）、大型英文詞匯數(shù)據(jù)庫(kù) WordNet 等 。
（3）主要方法
文本情感分析的首要研究問題是情感分類，當(dāng)前主流的情感分類方法大致有五種：通過構(gòu)建帶有情感傾向的情感詞典再基于情感詞典進(jìn)行比較分析的方法、基于機(jī)器學(xué)習(xí)的方法、基于情感詞典 機(jī)器學(xué)習(xí)的方法、基于弱標(biāo)注的方法、基于深度學(xué)習(xí)的方法 。
基于傳統(tǒng)機(jī)器學(xué)習(xí)的情感分析方法主要有三類：監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí) 。監(jiān)督學(xué)習(xí)本質(zhì)上是分類，通過已有的訓(xùn)練樣本去訓(xùn)練以獲得一個(gè)最優(yōu)模型，再將全部的輸入映射為相應(yīng)的輸出，對(duì)輸出進(jìn)行簡(jiǎn)單的判斷從而實(shí)現(xiàn)分類目的的方法 。常見的監(jiān)督學(xué)習(xí)方法有 K 最近鄰（K-NearestNeighbor，KNN）、樸素貝葉斯（Naive Bayes）、支持向量機(jī)（Support Vector Machine ， SVM）等 。無監(jiān)督學(xué)習(xí)沒有任何訓(xùn)練樣本 ， 需要直接對(duì)數(shù)據(jù)進(jìn)行建模 。常用的無監(jiān)督學(xué)習(xí)方法有 K 均值聚類算法（k-means clustering algorithm，K-means）、主 成分分析法（Principal Component Analysis，PCA）等 。
半監(jiān)督學(xué)習(xí)的方法是監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)相結(jié)合的一種學(xué)習(xí)方法 。
上述方法雖然簡(jiǎn)單易懂也具有較高的穩(wěn)定性，但是存在精度不高和依賴人工操作的缺陷 。基于深度學(xué)習(xí)的分析方法彌補(bǔ)了這種缺陷 。一方面，神經(jīng)網(wǎng)絡(luò)的引入使模型的預(yù)測(cè)精度得到提高；另一方面，不需要額外構(gòu)建字典，從而降低了工作復(fù)雜度，減少了對(duì)人工操作的依賴 。例如 ， LSTM 能夠?qū)η昂笪倪M(jìn)行連貫性建模、BERT 能夠?qū)⑷淖鳛橛?xùn)練樣本抽取特征 。
當(dāng)人在閱讀一段文本時(shí) ， 都是基于自己已經(jīng)擁有的對(duì)先前所見詞的理解來推斷當(dāng)前詞的真實(shí)含義，也就是說，思想具有持久性 。于是，循環(huán)神經(jīng)網(wǎng)絡(luò)最先被應(yīng)用到 NLP 中 ， 保證了信息的持久化和前后信息的連貫性，其中比較經(jīng)典的 RNN是 LSTM、 門 控 循 環(huán) 單 元（Gate Recurrent Unit，GRU） 。隨著神經(jīng)網(wǎng)絡(luò)在 NLP 中的應(yīng)用逐漸深入，研究者發(fā)現(xiàn)組合神經(jīng)網(wǎng)絡(luò)與單一的神經(jīng)網(wǎng)絡(luò)相比往往有性能上的提升 。例如 ， 在 LSTM 的神經(jīng)層后面接上捕捉局部特征的 CNN，能夠進(jìn)一步提高精確度 。但是，循環(huán)神經(jīng)網(wǎng)絡(luò)也不是完美的，尤其是RNN 的機(jī)制會(huì)存在長(zhǎng)程梯度消失的問題，對(duì)于較長(zhǎng)的句子也很難寄希望于將輸入的序列轉(zhuǎn)化為定長(zhǎng)的向量而保存所有的有效信息 。為了解決由長(zhǎng)序列到定長(zhǎng)向量轉(zhuǎn)化而造成的信息損失的問題，注意力機(jī)制（Attention Mechanism）被引入 。2018 年 ， 谷歌公司推出的預(yù)訓(xùn)練語言理解模型 BERT，通過大量無標(biāo)注的語言文本進(jìn)行語言模型的訓(xùn)練，從而得到一套模型參數(shù)，利用這套參數(shù)對(duì)模型進(jìn)行初始化，再根據(jù)具體任務(wù)在現(xiàn)有語言模型的基礎(chǔ)上進(jìn)行精調(diào)來提高模型精度 。
（4）問題和挑戰(zhàn)
由于語言的復(fù)雜性，目前文本提取仍面臨諸多挑戰(zhàn)，如文本隱含內(nèi)容的提取、非標(biāo)準(zhǔn)化文本的出現(xiàn)、不同語言的文本情感分析等 。鑒于文本情感分析應(yīng)用范圍的復(fù)雜性，模型的適用范圍往往較為單一，很難在多個(gè)應(yīng)用場(chǎng)景下均保持良好的表現(xiàn) 。此外，有限的數(shù)據(jù)集也限制了文本情感分析在多元化場(chǎng)景中的應(yīng)用 。
雖然文本能獨(dú)立地表示一定的情感，但是人的交流總是通過信息的綜合表現(xiàn)來進(jìn)行的 。因此 ， 多模態(tài)的情感分析更符合人對(duì)情感的感知，更符合人表達(dá)情感的模式 。研究的結(jié)論也表明，相比單一的文本情感分析，多模式的情感分析效果更好 。根據(jù)模態(tài)組合的常見方式，由文本情感分析衍生出兩大類多模態(tài)分析，即文本音頻分析和視頻文本分析 。這也是目前研究者普遍關(guān)注的領(lǐng)域 。
語音情感計(jì)算
（1）研究背景和發(fā)展現(xiàn)狀
傳統(tǒng)的語音處理系統(tǒng)僅僅著眼于語音詞匯傳達(dá)的準(zhǔn)確性，隨著語音識(shí)別技術(shù)的迅速發(fā)展，如何識(shí)別語音中的情感已成為語音識(shí)別領(lǐng)域新興的研究方向 。如今，物與人的交互變得更加頻繁和重要，人與人之間最自然的交互——語音交互，成為物聯(lián)網(wǎng)中較為理想的人機(jī)交互方案 。
語音情感是指語音信號(hào)蘊(yùn)含的說話者的情感 ， 主要表現(xiàn)在兩個(gè)部分：一個(gè)是語音所包含的語言情感內(nèi)容，另一個(gè)是聲音本身所具有的情感特征，如音調(diào)的高低變化等 。與語音情感相關(guān)的計(jì)算稱為語音情感計(jì)算 。語音情感計(jì)算的研究?jī)?nèi)容包括語音情感識(shí)別和語音情感合成 。
（2）數(shù)據(jù)集
語音情感數(shù)據(jù)集是語音情感計(jì)算的重要組成部分 。目前 ， 數(shù)據(jù)集的主要分類方式有兩種：按照情感語音的生成方式、情感的描述模型進(jìn)行分類 。
根據(jù)語音的生成方式分類，語音情感數(shù)據(jù)集可被分為三類，分別是表演型、引導(dǎo)型、自然型；根據(jù)情感的描述模型分類，數(shù)據(jù)集可被分為兩類，分別是離散語音情感數(shù)據(jù)集、維度語音情感數(shù)據(jù)集 。常用的代表性語音數(shù)據(jù)集如圖所示 。
（3）主要方法
語音情感識(shí)別系統(tǒng)對(duì)給定語音的潛在情感進(jìn)行分類的方法包括傳統(tǒng)方法、基于深度學(xué)習(xí)的方法 。傳統(tǒng)的分類器有兩類：一類是基于統(tǒng)計(jì)的分類器，另一類是基于判別的分類器 。基于統(tǒng)計(jì)的分類器主要包括隱馬爾可夫模型（Hidden MarkovModel，HMM）、高斯混合模型（Gaussian MixtureModel，GMM）和 KNN 。基于判別的分類器主要包括人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN）、決策樹（Decision Tree）和 SVM 。深度學(xué)習(xí)算法由于多層次的結(jié)構(gòu)和高效的結(jié)果而被廣泛應(yīng)用于語音情感識(shí)別領(lǐng)域，主要包括深度玻爾茲曼機(jī)（Deep Boltzmann Machines，DBM）、遞歸神經(jīng)網(wǎng)絡(luò)、CNN、LSTM，以及引入注意力機(jī)制的 LSTM 。
（4）問題和挑戰(zhàn)
語音情感計(jì)算雖然具有廣闊的應(yīng)用前景，但是尚未達(dá)到成熟階段 。目前 ， 語音情感計(jì)算尚待解決的問題包括缺少被廣泛認(rèn)可的數(shù)據(jù)集、標(biāo)注困難、語音的聲學(xué)特征與情感映射關(guān)系不清等 。
視覺情感計(jì)算
（1）研究背景和發(fā)展現(xiàn)狀
在社交媒體時(shí)代，隨著具有拍照功能的移動(dòng)終端的普及，各類圖片和視頻如潮水般涌入網(wǎng)絡(luò)，這為情感計(jì)算研究者提供了海量數(shù)據(jù)，人們嘗試用合適的模型來識(shí)別圖片和視頻所承載的情感信息 。
目前，視覺情感計(jì)算的研究熱點(diǎn)主要包括基于面部表情的情感識(shí)別研究和基于肢體動(dòng)作的情感識(shí)別研究 。基于面部表情的情感識(shí)別研究主要通過傳統(tǒng)計(jì)算機(jī)視覺以及深度學(xué)習(xí)來理解面部特征和情感；基于肢體動(dòng)作的情感識(shí)別主要通過人體肢體動(dòng)作來獲取人的情感信息 。肢體動(dòng)作與面部相比具有更大的自由度，這使得它能夠通過更豐富的方式來表達(dá)更復(fù)雜的情緒甚至意圖，也有助于使機(jī)器具有理解更豐富、更細(xì)微情感的能力，進(jìn)而挖掘個(gè)體內(nèi)心更深層次的情感和意圖 。
（2）數(shù)據(jù)集
視覺情感數(shù)據(jù)集可以分為圖片情感數(shù)據(jù)集和視頻情感數(shù)據(jù)集 。
（3）主要方法
汽車保養(yǎng)燈亮了怎么消除？保養(yǎng)燈歸零大全圖解為了保證汽車正常行駛 ， 廠家在生產(chǎn)汽車的時(shí)候 ， 設(shè)置了一些提醒指示燈，到了一定行駛里程后，車主就要及時(shí)更換配件 。
視覺情感計(jì)算主要研究從視覺信息感知和理解人的情緒，可以通過傳統(tǒng)機(jī)器學(xué)習(xí)方法與基于深度學(xué)習(xí)的方法對(duì)視覺情感計(jì)算進(jìn)行研究 。
傳統(tǒng)機(jī)器學(xué)習(xí)方法主要有方向梯度直方圖、支持向量機(jī)、K 最近鄰、隨機(jī)森林等 。但是，當(dāng)面對(duì)爆炸式增長(zhǎng)的視覺內(nèi)容數(shù)據(jù)量時(shí)，傳統(tǒng)機(jī)器學(xué)習(xí)方法難以快速、準(zhǔn)確地處理多媒體內(nèi)容數(shù)據(jù)的伸縮性、泛化性問題 。
近年來，深度學(xué)習(xí)在許多領(lǐng)域均取得不錯(cuò)的成績(jī)，尤其是在圖片分類、圖片識(shí)別、圖片檢索等計(jì)算機(jī)視覺領(lǐng)域 。視覺情感計(jì)算的深度學(xué)習(xí)方法與傳統(tǒng)方法相比，具有更高的魯棒性與準(zhǔn)確性，因此被廣泛應(yīng)用于基于視覺的情感計(jì)算與分析領(lǐng)域 。圖片情感計(jì)算方法以卷積神經(jīng)網(wǎng)絡(luò)方法為代表，主要通過深度學(xué)習(xí)從大量圖像數(shù)據(jù)中自動(dòng)學(xué)習(xí)有助于情感分類的有效特征或強(qiáng)特征 ， 以進(jìn)一步提升圖片情感計(jì)算或分類能力 。視頻情感計(jì)算方法以循環(huán)神經(jīng)網(wǎng)絡(luò)為主 ， 該深度學(xué)習(xí)方法擅長(zhǎng)處理視頻等序列輸入，被廣泛應(yīng)用于計(jì)算機(jī)視覺任務(wù) 。
（4）問題和挑戰(zhàn)
視覺情感計(jì)算在實(shí)際應(yīng)用中面臨不少難題 。一是語義鴻溝 。語義鴻溝是由于計(jì)算機(jī)獲取圖片的視覺信息與用戶對(duì)圖片理解語義信息的不一致而導(dǎo)致的偏差 。二是情感表述的準(zhǔn)確性問題和標(biāo)注困難問題 。
生理信號(hào)情感計(jì)算
（1）研究背景和發(fā)展現(xiàn)狀
隨著高精確度、小型、便攜和低成本傳感器的普及，基于生理信號(hào)的情感計(jì)算快速發(fā)展 。廣義而言，所有身體變化都可以視作生理信號(hào) 。情感計(jì)算研究最常用的生理特征是腦電、心率和心率異變以及皮膚電流反應(yīng) 。
（2）常用生理信號(hào)
① 腦電信號(hào)
腦電信號(hào)與其他生理信號(hào)相比，具有直接客觀、難以偽裝、容易量化、特征多元的特點(diǎn)，并且與情感具有直接相關(guān)性，能夠表現(xiàn)出更高的情感識(shí)別精度，因此成為基于生理信號(hào)的情感識(shí)別中應(yīng)用最廣泛的信號(hào)之一 。在腦電信號(hào)預(yù)處理中最重要的過程是去除偽跡和噪聲，剝離與情感相關(guān)的腦電活動(dòng)，從而提取多種特征：如事件相關(guān)電位（ERP）、信號(hào)統(tǒng)計(jì)量、不穩(wěn)定指數(shù)、高階交叉特征、分形維數(shù)等時(shí)域特征；如功率譜密度、微分熵等頻域特征；如事件相關(guān)去同步（ERS）、事件相關(guān)同步（ERD）、時(shí)頻微分熵等時(shí)頻域特征；非線性動(dòng)力學(xué)特征；空域特征 。最后，將多種特征帶入分類器進(jìn)行分類 。卷積神經(jīng)網(wǎng)絡(luò)、深度信念網(wǎng)絡(luò)、深度殘差網(wǎng)絡(luò)等深度學(xué)習(xí)的方法也被用于基于腦電信號(hào)的情感分類 。
② 眼動(dòng)信號(hào)
眼動(dòng)信號(hào)主要通過眼動(dòng)追蹤技術(shù)獲取，記錄人的眼球運(yùn)動(dòng)在時(shí)間和空間上的數(shù)據(jù) 。這些數(shù)據(jù)主要包括注視時(shí)間、注視位置、瞳孔大小、眼電圖信號(hào)等，其中眼電圖信號(hào)是在眼動(dòng)信號(hào)中應(yīng)用比較廣泛的信號(hào) 。眼電圖信號(hào)一般通過 Hjorth 參數(shù)、離散小波變換等多種方式提取特征，并將特征帶入分類器中進(jìn)行分類 。深度學(xué)習(xí)算法也逐步被應(yīng)用于特征提取、特征融合、情感分類等多個(gè)情感識(shí)別過程，以提升情感計(jì)算的效果 。
③ 肌電信號(hào)
肌電信號(hào)主要通過電極檢測(cè)肌肉收縮時(shí)產(chǎn)生的表面電壓，從而獲取肌電圖數(shù)據(jù) 。肌電信號(hào)數(shù)據(jù) 集 主 要 包 括 DEAP、DECAF、HR-EEG4EMO、BioVid Emo DB 等 。肌電信號(hào)的特征一般包含時(shí)域和時(shí)頻域兩個(gè)方面 。時(shí)域主要提取肌電信號(hào)的均值、標(biāo)準(zhǔn)差、最大值、最小值等統(tǒng)計(jì)學(xué)的特征 。時(shí)頻域主要是通過小波變換對(duì)肌電信號(hào)進(jìn)行分解 ， 提取各層小波系數(shù)的均值、標(biāo)準(zhǔn)差等 。肌電信號(hào)的預(yù)處理包括濾波、降噪等，通過基于時(shí)域、頻域以及二者相結(jié)合等進(jìn)行特征提取 ， 利用小波變換、獨(dú)立成分分析（ICA）算法等進(jìn)行特征選擇與降維，從而將特征帶入基于傳統(tǒng)方法的分類器或深度學(xué)習(xí)算法中進(jìn)行分類 。
④ 皮膚電信號(hào)
皮膚電信號(hào)是一種常用的情感計(jì)算指標(biāo)，依賴于人體的汗腺分泌，電導(dǎo)率隨著汗液離子填充汗腺而變化 。皮膚電導(dǎo)可以在身體的任何地方測(cè)量 ， 最常見的電極放置位置是在手的中指和食指末梢部位 。皮膚電導(dǎo)水平（Skin Conductance Level，SCL）和皮膚電導(dǎo)反應(yīng)（Skin Conductance Response，SCR）是兩個(gè)重要的情感計(jì)算特征 。皮膚電信號(hào)數(shù)據(jù)集主要包括 CASE、DEAP、HR-EEG4EMO、BioVid EmoDB 等 。皮膚電信號(hào)的預(yù)處理包括降噪、歸一化等，通過提取統(tǒng)計(jì)特征或算法優(yōu)化的方式進(jìn)行特征提?。?最后將特征放入合適的分類器中進(jìn)行情感計(jì)算 。
⑤ 心電信號(hào)
心電信號(hào)（ECG）是人體心臟搏動(dòng)時(shí)心肌細(xì)胞產(chǎn)生的動(dòng)作電位綜合而成的 。心電信號(hào)能夠反映心臟的活動(dòng)，情緒的變化也會(huì)直接導(dǎo)致心臟活動(dòng)的變化，因此心電信號(hào)也能運(yùn)用于情感識(shí)別領(lǐng)域 。心電特征主要包括 PQRST（心電圖的 5 個(gè)波形）、心率、心率變異性（如 SDNN、SDANN、rMSSD、pNN50 等），公開的心電信號(hào)情感數(shù)據(jù)集較少，常用的是德國(guó)奧格斯堡大學(xué)情感生理數(shù)據(jù)集和 HR-EEG4EMO 數(shù)據(jù)集 。
⑥ 呼吸信號(hào)
呼吸是人體重要的一個(gè)生理過程，隨著情感的起伏波動(dòng) ， 呼吸系統(tǒng)的活動(dòng)在速度和深度上會(huì)有所改變 。因此，通過對(duì)呼吸信號(hào)的研究 ， 可以用于判斷個(gè)體情感狀態(tài)的變化 。常用的呼吸信號(hào)特征包括呼吸頻率、平均呼吸水平、連續(xù)呼吸之間的最長(zhǎng)和最短時(shí)間、深呼吸和淺呼吸、相鄰呼吸波峰的間期、呼氣幅度的一階差分、二階差分等 。常用的數(shù)據(jù)集是 DEAP 數(shù)據(jù)庫(kù)、HR-EEG4EMO 數(shù)據(jù)集和MIT 情感生理數(shù)據(jù)集 。
（3）問題與挑戰(zhàn)
基于生理信號(hào)的情感識(shí)別技術(shù)雖然已經(jīng)擁有諸多成功案例 ， 但是存在許多未解決的科學(xué)問題 。首先是信號(hào)的采集不便 。測(cè)量生理信號(hào)是建立生理情感計(jì)算系統(tǒng)的第一步，而用于檢測(cè)信號(hào)的傳感器卻極大地受限于場(chǎng)地、環(huán)境、可操作性等，也面臨可穿戴性差和計(jì)算能力弱等困擾 。其次是生理信號(hào)的通用性較低 。例如，隨著年齡的變化或某些疾病的產(chǎn)生，生理信號(hào)數(shù)據(jù)會(huì)產(chǎn)生差異，即使是同一個(gè)人 ， 隨著體力活動(dòng)、交談或姿勢(shì)的變換，生理信號(hào)也會(huì)不同 。這并不與情感的變化直接相關(guān) 。再者是情感標(biāo)注不精確、數(shù)據(jù)難以窗口化、采樣繁瑣、數(shù)據(jù)的處理與計(jì)算難度大，以及非情感和情感對(duì)生理影響存在多對(duì)一映射、用戶隱私泄露等問題 。
多模態(tài)情感計(jì)算雖然人臉表情、肢體動(dòng)作、語音等均能獨(dú)立地進(jìn)行情感理解和表達(dá)，但是人的相互交流總是通過不同模態(tài)信息的綜合表現(xiàn)來進(jìn)行的 。多模態(tài)情感分析可以將不同模態(tài)之間的信息進(jìn)行互補(bǔ)并用于消歧，使情感分析更準(zhǔn)確，具有更高的魯棒性 ， 也更貼合人類的自然表達(dá) 。這讓多模態(tài)情感計(jì)算成為當(dāng)下人工智能領(lǐng)域最熱門的話題之一 。
研究背景和發(fā)展現(xiàn)狀
單模態(tài)的信息量不足且容易受到外界各種因素的影響，如面部表情容易被遮擋、語音容易受噪聲干擾等 。此外 ， 當(dāng)個(gè)體主觀上對(duì)情感信號(hào)加以掩飾或者單一通道的情感信號(hào)受到其他信號(hào)影響時(shí) ， 情感分析性能就會(huì)明顯下降 。人的情感通常以多種模態(tài)的方式呈現(xiàn)，大腦在整合多感官信息時(shí)存在多階段融合的現(xiàn)象 。多模態(tài)情感分析能夠有效利用不同模態(tài)信息的協(xié)同互補(bǔ)來增強(qiáng)情感理解與表達(dá)能力 。引入多模態(tài)情感計(jì)算是提高模型魯棒性等性能以及優(yōu)越性的關(guān)鍵 。
目前 ， 對(duì)多模態(tài)情感計(jì)算的研究主要集中在對(duì)情感識(shí)別和理解的方法上 。多模態(tài)情感計(jì)算的發(fā)展趨勢(shì)集中體現(xiàn)在四個(gè)方面：①融合語義信息多尺度對(duì)情感進(jìn)行準(zhǔn)確地理解，從多個(gè)維度進(jìn)行多模態(tài)情感分析；②提高在復(fù)雜環(huán)境下情感計(jì)算的魯棒性，實(shí)現(xiàn)在非協(xié)作開放模式下，面向高維碎片化開源數(shù)據(jù)，實(shí)現(xiàn)目標(biāo)對(duì)象情感狀態(tài)的精準(zhǔn)識(shí)別；③與預(yù)訓(xùn)練及多任務(wù)聯(lián)合訓(xùn)練等方法結(jié)合，實(shí)現(xiàn)在更多場(chǎng)景下的多模態(tài)情感計(jì)算；④探索通用的多模態(tài)情感計(jì)算模型，通過適配多場(chǎng)景應(yīng)用，實(shí)現(xiàn)多模態(tài)情感計(jì)算應(yīng)用零成本遷移 。
多模態(tài)數(shù)據(jù)集
針對(duì)多模態(tài)情感計(jì)算的迫切需求，美國(guó)卡內(nèi)基梅隆大學(xué)提出了一個(gè)大規(guī)模的多模態(tài)對(duì)話情感計(jì)算數(shù)據(jù)集 CMU-MOSEI 。CMU-MOSEI 包含了視頻文本、用協(xié)同語音分析庫(kù)技術(shù)（COVAREP）抽取的聲學(xué)特征等 。在標(biāo)簽方面 ， CMU-MOSEI 數(shù)據(jù)集不僅具有情感標(biāo)簽，而且對(duì)情感的強(qiáng)弱進(jìn)行了標(biāo)注，從而可以支撐細(xì)粒度的情感分析任務(wù) 。目前，主流的生理信號(hào)類多模態(tài)情感計(jì)算資源主要采用音頻、視頻刺激方法誘發(fā)情緒 ， 同步采集多模態(tài)生理信號(hào)，進(jìn)而分析不同情緒下中樞神經(jīng)系統(tǒng)和自主神經(jīng)系統(tǒng)的反應(yīng)，以實(shí)現(xiàn)基于多模態(tài)生理信號(hào)的情感識(shí)別 。典型計(jì)算資源包括 DEAP、DECAF、HR-EEG4EMO 等數(shù)據(jù)集，包含腦電、皮膚電、呼吸、皮膚溫度、心電、肌電、血容量脈沖、眼電等信號(hào) 。實(shí)驗(yàn)被試者根據(jù)自身感受從喚醒度、效價(jià)、偏好、支配度和熟悉度等維度進(jìn)行評(píng)分 。由于被試個(gè)體的性別、年齡等因素均會(huì)對(duì)情緒激發(fā)產(chǎn)生重要影響，考慮引入相關(guān)人口統(tǒng)計(jì)學(xué)信息并建模是非常必要的 。
多模態(tài)融合策略
目前，新興研究方法大多基于多模態(tài)情感特征及融合算法創(chuàng)新，以提升情感分類的準(zhǔn)確率 。在情感計(jì)算中，每個(gè)模塊所傳達(dá)的人類情感的信息量大小和維度不同 。在人機(jī)交互中，不同的維度還存在缺失和不完善的問題，因此情感計(jì)算應(yīng)盡可能從多個(gè)維度入手，將單一不完善的情感通道補(bǔ)上，最后通過多結(jié)果擬合來判斷情感傾向 。
在模態(tài)融合方面，多模態(tài)情感計(jì)算可分為模型無關(guān)和模型依賴兩種路線 。模型無關(guān)包括特征級(jí)融合（前期融合）、決策級(jí)融合（后期融合）和混合式融合 。特征級(jí)融合主要先通過構(gòu)建特征集合或混合特征空間，再送入分類模型進(jìn)行分類決策 。決策級(jí)融合關(guān)鍵在于找出不同模態(tài)在決策階段的可信程度，再進(jìn)行協(xié)調(diào)、聯(lián)合決策 。混合式融合包含上述兩種融合 。模型依賴的方法為多模態(tài)融合設(shè)計(jì)了特殊結(jié)構(gòu)，基于核函數(shù)的融合和基于圖的融合常用于淺層模型，基于神經(jīng)網(wǎng)絡(luò)的融合、基于張量的融合、基于注意力機(jī)制的融合等則多用于深層模型 。模型級(jí)融合可以將不同模態(tài)特征分別輸入不同模型結(jié)構(gòu)再進(jìn)一步提取特征 。決策級(jí)融合與特征級(jí)融合相比，更容易進(jìn)行，但關(guān)鍵是要探究各個(gè)模態(tài)對(duì)情緒識(shí)別的重要程度 。然而，模型級(jí)融合并不需要重點(diǎn)去探究各模態(tài)的重要程度，而是根據(jù)模態(tài)特性需要建立合適的模型，聯(lián)合學(xué)習(xí)關(guān)聯(lián)信息 。總之 ， 模型級(jí)融合相較于決策級(jí)融合和特征級(jí)融合最大的特點(diǎn)在于靈活地選擇融合的位置 。近年來，有學(xué)者提出了多階段多模態(tài)情感融合，即先訓(xùn)練一個(gè)單模態(tài)模型，將其隱含狀態(tài)與另一個(gè)模型特征拼接得到雙模態(tài)模型并進(jìn)行再訓(xùn)練，以此類推，得到多模態(tài)模型 。
問題與挑戰(zhàn)
解決多模態(tài)情感計(jì)算問題需要更豐富的模態(tài)信息積累 ， 以及不同模態(tài)之間的細(xì)粒度對(duì)齊，這無疑對(duì)多模態(tài)信息的提煉與整合提出了更高的要求 。同時(shí)，受情感信息捕獲技術(shù)的影響 ， 以及標(biāo)記困難的問題，建立高質(zhì)量多模態(tài)數(shù)據(jù)集是當(dāng)下的主要挑戰(zhàn)之一 。傳統(tǒng)多模態(tài)學(xué)習(xí)范式對(duì)特征之間的關(guān)聯(lián)關(guān)系信息和特征的高階信息的關(guān)注不夠，而深度多模態(tài)學(xué)習(xí)范式則缺乏大規(guī)模的情感數(shù)據(jù)資源，有關(guān)多模態(tài)特征融合的情感理解模型研究還有待深入，如融合語義信息進(jìn)行多尺度情感準(zhǔn)確理解、提高復(fù)雜環(huán)境下情感計(jì)算的魯棒性、探索通用的多模態(tài)情感計(jì)算模型等 。這些技術(shù)的完善將進(jìn)一步推動(dòng)多模態(tài)情感計(jì)算的研究與發(fā)展 。
【來源：之江實(shí)驗(yàn)室】
【情感的種類分為什么 情感的種類可分為】鮑魚，命喪優(yōu)勢(shì)：鮑魚肉質(zhì)鮮美，營(yíng)養(yǎng)豐富，是珍貴的四大海味之一 。由于天然產(chǎn)量很少，鮑魚的價(jià)格尤其昂貴 。在利益的驅(qū)動(dòng)下，人們對(duì)鮑魚進(jìn)行捕捉 。當(dāng)然，鮑魚不會(huì)束手就擒，它自有一套保護(hù)自己的辦法 。鮑魚的軟體部分 ， 有一個(gè)寬大扁平的肉足 。靠著這粗大的足，鮑魚爬行于礁...
猜你喜歡
- 超越男女情感的感情是什么 情感感情有什么不同
- 人的基本情感包括哪些 個(gè)人情感包括哪些
- 翡翠原石的儲(chǔ)存方法 翡翠原石怎樣儲(chǔ)存
- 抖音為什么沒有播放量 抖音沒有播放量的原因
- 歷史上宋徽宗在位時(shí)期的社會(huì)救濟(jì)制度是如何發(fā)展的?
- 夫妻共同債務(wù)在離婚判決中的表述 夫妻共同債務(wù)歸于離婚程序處理，顯然缺乏嚴(yán)密的論證
- 沒人注意的暴利行業(yè) 一定要看看
- 10萬投資創(chuàng)業(yè)
- 不是一個(gè)牌子的防凍液可以混加嗎
- 發(fā)動(dòng)機(jī)怠速高有什么影響嗎