本書中所討論的共融（服務）機器人是當前智慧（服務）機器人的簡稱。共融機器人的自然互動主要是針對機器人與人共融的應用場景下，實現機器人與人、機器人與環境、機器人之間自然的互動共融。從共融服務機器人實際應用的角度而言，機器人與人之間的自然互動能力是其關鍵核心技術之一。機器人與人之間的自然互動能力主要涉及人機對話能力、對於人的多模態情感感知能力、人機協作能力等方面。為了實現智慧服務機器人高效的情感感知能力，需要在人機互動的過程中讓機器人具備強大的多模態互動資訊的情感辨識能力。這是實現高效智慧化機器人與人對話的核心關鍵技術之一。

本書由淺入深地探討了如下幾個熱點研究內容：多模態情感資訊的特徵表示、特徵融合、多模態互動資訊的情感分類。針對自然互動的多模態資訊的情感分析是涉及自然語言處理、電腦視覺、機器學習、模式辨識、演算法、機器人智慧系統、人機互動等方面相互融合的綜合性研究領域，近年來筆者所在的清華大學電腦科學與技術系智慧技術與系統國家重點實驗室研究團隊，面向共融機器人的自然互動的多模態資訊情感分析方面開展了大量有開創性的研究與應用工作，特別是在以深度學習模型為基礎的人臉情感特徵辨識、多模態情感資訊的學習表示、多模態情感特徵的融合、模態資訊缺失情況下的多模態情感分析的堅固性等方面取得了一定的研究成果，相關成果也陸續發表在近年來人工智慧領域的頂級國際會議ACL、AAAI、ACM MM和知名國際期刊Pattern Recognition、Knowledge based Systems、Expert Systems with Applications等上。為了能夠系統地呈現學術界和筆者團隊近年來在共融機器人自然互動領域多模態情感分析方面的最新成果，本書特別地系統化地整理了相關工作成果內容，以完整系統論述的形式將其呈現在讀者面前。

本書中所討論的共融（服務）機器人是當前智慧（服務）機器人的簡稱。共融機器人的自然互動主要是針對機器人與人共融的應用場景下，實現機器人與人、機器人與環境、機器人之間自然的互動共融。從共融服務機器人實際應用的角度而言，機器人與人之間的自然互動能力是其關鍵核心技術之一。機器人與人之間的自然互動能力主要涉及人機對話能力、對於人的多模態情感感知能力、人機協作能力等方面。為了實現智慧服務機器人高效的情感感知能力，需要在人機互動的過程中讓機器人具備強大的多模態互動資訊的情感辨識能力。這是實現高效智慧化機器人與...

第一篇概述

第1章多模態情感分析概述
1.1多模態情感分析相關研究概述
1.2模態缺失相關研究概述
1.3本章小結

第2章多模態機器學習概述
2.1多模態表示學習概述
2.2多模態表示融合概述
2.3本章小結

第3章多工學習機制概述
3.1在電腦視覺中的多工架構
3.2在自然語言處理中的多工架構
3.3在多模態學習中的多工架構
3.4本章小結

第二篇多模態情感分析資料集與前置處理

第4章多模態情感分析資料集簡介
4.1CMU-MOSI
4.2CMU-MOSEI
4.3IEMOCAP
4.4MELD
4.5本章小結

第5章多模態多標籤情感分析資料集建構
5.1概述
5.2多模態多標籤的中文情感分析資料集製作
5.3本章小結

第6章以主動學習為基礎的多模態情感分析資料的自動標定
6.1相關工作
6.2研究方法
6.3實驗設定
6.4結果分析
6.5本章小結

第三篇單模態資訊的情感分析

第7章以文字為基礎的情感分析
7.1以情感詞典為基礎的情感分析方法
7.2以深度學習為基礎的情感分析方法
7.3本章小結

第8章以語音資訊為基礎的情感分析
8.1以Constant-Q色譜圖為基礎的音訊情感分類
8.2以異質特徵融合為基礎的音訊情感分類
8.3本章小結

第9章以人臉關鍵點為基礎的圖片情感分析
9.1 CMCNN
9.2實驗設定
9.3實驗結果和分析
9.4本章小結

第四篇跨模態資訊的情感分析

第10章跨模態特徵表示方法
10.1文字模態特徵表示方法
10.2音訊模態特徵表示方法
10.3實驗與分析
10.4不足和展望
10.5本章小結

第11章以多層次資訊互補為基礎的融合方法
11.1方法
11.2實驗與分析
11.3不足與展望
11.4本章小結

第12章生成式多工網路的情緒辨識
12.1方法
12.2實驗與分析
12.3不足與展望
12.4本章小結

第13章面向非對齊序列的跨模態情感分類
13.1 SA-FRLM
13.2實驗與分析
13.3不足與展望
13.4本章小結

第14章面向對齊序列的跨模態情感分類
14.1問題定義
14.2音訊特徵取出與對齊
14.3 CM-BERT模型
14.4實驗與分析
14.5不足與展望
14.6本章小結

第五篇多模態資訊的情感分析

第15章以多工學習為基礎的多模態情感分析模型
15.1以多工學習為基礎的多模態情感分析模型概述
15.2實驗設定和結果分析
15.3本章小結

第16章以自監督學習為基礎的多工多模態情感分析模型
16.1以自監督學習為基礎的單模態偽標籤生成模型
16.2實驗設定和結果分析
16.3本章小結

第17章以交叉模組和變數相關性為基礎的多工學習
17.1概述
17.2權值共用層框架
17.3多工學習層框架
17.4多工學習演算法實驗
17.5本章小結

第18章以互斥損失函數為基礎的多工機制研究
18.1概述
18.2常用損失函數
18.3以多工機制為基礎的互斥損失函數
18.4損失函數策略對比實驗
18.5本章小結

第19章以多工多模態演算法為基礎的遷移學習探究
19.1概述
19.2遷移學習概述
19.3遷移資料集
19.4遷移實驗
19.5本章小結

第20章以模態缺失為基礎的多模態情感分析方法
20.1任務定義
20.2處理資料缺失方法概述
20.3模型的框架結構
20.4實驗
20.5實驗分析
20.6本章小結

第六篇多模態情感分析平臺及應用

第21章多模態情感分析實驗平臺簡介
21.1概述
21.2平臺概覽
21.3資料端
21.4模型端
21.5分析端
21.6實驗評價
21.7本章小結

第22章擴充應用：以多模態臨床特徵表示與融合為基礎的點對點中醫體質
評價系統
22.1概述
22.2中醫體質評價系統
22.3方法
22.4實驗
22.5本章小結

參考文獻
附錄A中英文縮寫對照表237

第一篇概述

第1章多模態情感分析概述
1.1多模態情感分析相關研究概述
1.2模態缺失相關研究概述
1.3本章小結

第2章多模態機器學習概述
2.1多模態表示學習概述
2.2多模態表示融合概述
2.3本章小結

第3章多工學習機制概述
3.1在電腦視覺中的多工架構
3.2在自然語言處理中的多工架構
3.3在多模態學習中的多工架構
3.4本章小結

第二篇多模態情感分析資料集與前置處理

第4章多模態情感分析資料集簡介
4.1CMU-MOSI
4.2CMU-MOSEI
4.3IEMOCAP
4.4MELD
4.5本章小結

第5章多模態多標籤情感分析資料集建構
5.1概述
...