笔趣阁

手机浏览器扫描二维码访问

第163章 不速之客（第4页）

“当然，这个文本模态，很多时候可以是语音实时转换过来的文本。”

“然后，”

白若冰继续深入，“我们会设计和研究多模态融合的策略。”

“将这些来自不同传感器的、异构的原始数据进行处理和对齐。”

“提取出能够表征用户情感状态的关键特征。”

“最终得到一个融合了所有有效信息的综合特征向量。”

“这个特征向量，就是我们判断用户当前情绪状态的依据。”

“通过这个融合特征，机器人就能够更准确地感知用户的情绪状态。”

白若冰举例说明：

“比如说，用户对机器人说：‘唉，我的小猫生病了，它看起来很难受，我好担心，好悲伤啊。

’”

“机器人不仅仅要理解‘小猫生病’这个事件，‘悲伤’这个情绪词。”

“更要结合用户说话时的低沉语气、可能皱起的眉头、缓慢的语速。”

“综合判断出用户现在的情绪的确是强烈的悲伤和焦虑。”

“理解了用户的情绪和原因之后，机器人就要作出智能化的交互反馈。”

“这种反馈，不仅仅是语言上的安慰。”

白若冰强调，“比如，不能简单地说一句‘别难过’。”

“而应该是更具共情性的回应，例如：‘听到您的小猫生病了，我感到很难过。

它一定很不舒服，您也一定非常担心它。

需要我为您播放一些舒缓的音乐吗？或者，我们可以聊聊您和小猫之间开心的回忆？’”

“这里面，还有很多值得深入探索的细节问题。”

白若冰补充道，“比如，机器人在回应时，它自己的语音应该是什么样的？”

“是模仿人类悲伤时的低沉语调，还是用一种温柔坚定的语调来给予支持？”

“它的虚拟形象（如果是在屏幕上）或者实体机器人的动作，应该如何配合？”

“是做出一个轻柔的安抚动作，还是保持安静的倾听姿态？”

“这些都是可以进行细致研究和设计的方向。”

“不过，”

她话锋一转，“考虑到这只是一个ppt展示为主的比赛。”

“我们现阶段可能不需要把每一个细节都实现得那么完美。”

“比如机器人的具体动作都可以简化。”

“我们可以先设定为，根据用户的主要情绪状态，指定一种或几种预设的语调风格和代表性动作即可。”

“关键是要把核心理念和技术路径讲清楚。”

“从技术路径上来看，”

白若冰继续说道，语速不快不慢，但条理异常清晰。

“主要涉及几个关键领域：”

“首先是自然语言处理（NLp），用于理解用户语言的语义和情感倾向。”

“其次是情感计算（Ac），这是整个项目的核心，研究如何让机器识别、理解、甚至表达情感。”

“再次是计算机视觉（cV），特别是其中的人脸表情识别、姿态识别等技术。”