系统工程与电子技术

作者：张欣悦(), 吴晓莉*(), 王名珺, 晏彪, 武愈涵

单位：1. 南京理工大学人机融合与智能交互研究中心，江苏 南京 210094；2. 语言信息智能处理及应用工信部重点实验室，江苏 南京 210094

关键词：有/无人机,协同操作界面,多模态交互,按键交互,窗口间操作

基金：国家自然科学基金（52175469）；江苏省自然科学基金（BK20221490）资助课题

评估有/无人机协同操作界面按键交互与多模态交互对任务效能和认知负荷的影响，同时为各窗口间操作行为匹配最佳交互方式。实验测定被试使用按键交互和多模态交互（触控手势、语音指令、触控手势语音结合）分别完成三类窗口间操作行为任务的行为指标、眼动指标及主观评价。结果表明，多模态交互的各项数据显著优于按键交互。在不同窗口间操作行为中，切换窗口使用触控手势语音结合交互最优，移动窗口和关闭窗口行为使用触控手势交互最优。实验结果验证多模态交互的优势，同时为其他复杂信息系统界面的窗口交互设计提供参考。

来源：2025年第8期

《系统工程与电子技术》期刊编辑部

查看系统工程与电子技术杂志2025年第8期