兰亭妙微ui设计公司分享：继上一篇我们提出了 HAI 交互设计法，并通过「深度理解」锚定了人性不变的需求后。本次，我们将视角转向技术演进所带来的交互变革，以「自然交流」的设计顺应技术之变。
AI 从大语言模型向多模态模型、乃至世界模型演进，其本质是理解能力的维度扩展：从符号语义解析，延伸至物理情境理解。这一质变使机器能够真正读懂人的意图、感知当下情境，为人机交互从“人适应机器”转向“机器适应人”奠定了基础。
在此趋势下，人机互动从屏幕走向空间，从单一通道走向多模态自然协同。面对这一变化，本文回归人类原生交流规律，系统构建多模态交互设计体系，通过分析其特征、类型与方法，为 HAI 时代的人机交互提供思考框架与理论参照。
01 AI 正重塑人类与设备互动的方式
从平面到空间
从纸张文字、电话语音到移动互联网的影像，每一次媒介形态的跃迁，都深刻重塑着我们理解世界的维度与感知的边界。
而今，在 AI、空间计算与 XR 等前沿技术的融合推动下，数字世界与物理世界的边界正逐步消融。虚实融合不再仅是愿景，而是正在成为新一代信息社会的底层体验范式。这一趋势不仅深刻变革着人类获取信息与沟通交互的方式，更驱动数字智能本身持续进化——它正突破虚拟的边界，向可感知、可交互、乃至可栖居的具身化智能方向演进。
从单模态到多模态
从平面到空间的演进，也标志着交互范式本身的重构。过去数十年间，人机交互始终被禁锢于二维屏幕之内，依赖于键盘、鼠标、触控等单一模态的输入方式。而未来，随着智能传感、空间计算与多模态 AI 的成熟，交互将快速跨越屏幕的边界，迈向三维空间与自然融合的多模态交互方向。
02 多模态交互的概念
多模态是人类与世界的原生语言
人类以多模态的方式互动，世界以多模态的结构呈现。人类所创造的多模态技术，正是根植于这一双重现实为基础而发展。
生物学层面上，多模态互动（Multimodal Interaction）是一个完整的“传递‑接收”循环：指人体通过多种运动/效应通道（Motor/Effector Channels）传递信息，并通过多种感官通道（Sensory Channels）接收信息。正如人类在交流中同时扮演“表达者”与“倾听者”。
多模态交互正是这一生物机制的数字化延伸，它融合多种“表达”与“感知”方式，使人机互动不断逼近人际交流的自然体验。
多模态交互：指人类利用多种表达通道（如肢体、声音语言、眼神）和感知通道（如听觉、视觉、触觉）与计算机系统进行通信的过程。
—— 本·施奈德曼（Ben Shneiderman）
多模态交互首次在1979年麻省理工理查德·A·博尔特（Richard A. Bolt）撰写“Put-that-there: voice and gesture at the graphics interface”（将语音和手势结合）。
综上所述，人类通过“多通道输入”传递意图，系统通过“多通道反馈”回应结果让人类感知，从而形成一个实时、连贯的交互闭环。因此，多模态交互的本质并非模态的简单叠加，而是构建一个以人为中心的对话循环。
为深入剖析这一循环，本文将分两篇展开系统性阐述：上篇聚焦多模态输入（人类如何表达），下篇探讨多模态反馈（系统如何回应）。
03 多模态输入
多模态输入的类型
前文中所提到的多模态表达是从生物学角度切入，指人体通过多种运动/效应通道（Motor/Effector Channels）传递信息。
而多模态输入根据用户参与程度又可分为两类：显性输入与隐性输入。
- 显性输入（Explicit Input）：指用户有意识主动的交互行为，如接触（触摸、握持）、声音、视线、表情及空间动作等行为能力。这类行为直接承载用户意图，是当前人机交互的主要方式。
- 隐性输入（Implicit Input）：指用户无需主动表达的信号、由系统自动感知，如生理状态、注意力水平等，主要用于辅助理解用户状态与环境上下文。
随着 AI 理解能力的深化，系统正逐步融合显性与隐性信号。但当前交互设计的核心仍是优化显性输入——它是用户意图最直接的出口。下文将围绕这一焦点，阐述基于主动表达的多模态输入设计方法。
多模态输入的设计方法
设计多模态输入前，采用系统化的分析框架，基于人机交互领域中的 “意图‑行为‑情境”分析思路，将动机、体验与变化纳入考量。对应的是 设计动机（Why）→设计体验（How）→适应变化（What if） 该框架依次引导设计者回应以下三个核心问题：
- 设计动机：单模态是否满足，多模态输入优势是什么？
- 设计体验：多模态输入是否自然协调？
- 适应变化：使用情境是否多变，应如何动态适应？
后续，将依此三阶段展开说明：
1. 设计动机：单模态是否满足，多模态输入优势是什么？
【动机：多模态的必要性】
我们想象一个日常沟通场景：“与熟人对话时，我们通常会简洁地表述，乃至含糊省略；而与陌生人对话时，则会表述得更明确，更丰富”。其实这揭示了一个本能倾向，人在确保意图能被准确传递的前提下，会倾向使用最“经济”的表达方式。
这正是关于多模态输入的必要性思考，其核心是遵循 “奥卡姆剃刀”原则：如无必要，勿增实体。若单一模态已能轻松、准确的完成任务，就无需引入更多模态。
因此，判断多模态输入的必要性，首先需要审视单模态是否存在阻碍或瓶颈。多模态设计的价值必须明确，关键在于创造增量体验，而非简单叠加，其必要性可从提升“效率、准确、流畅”三个维度进行审视与评估。
1）效率性（简化复杂任务）：该任务是否因操作逻辑复杂，导致单模态表达低效甚至无法完成?
说明：在传统汽车HMI中调节后视镜需依循界面，多步骤操作。智能座舱则允许用户看向目标后视镜+手部操作，将多步操作融合为一步自然动作，实现“所见即所控”。
2）准确性（提升意图准确性）：单模态输入是否容易产生歧义或错误，需要其他通道进行确认或补充？
说明：支付等高安全性操作，若仅依赖单一验证，仍存在误识风险。结合人脸识别与按压指纹验证，可大幅提升交易可信度。
3）流畅性（增强输入流畅性）：判断当前交互流程是否存在明显的操作断点，是否可通过多模态实现更流畅连续的交互？
说明：键盘打字虽成熟可靠，但行走移动时仍会打断输入，而“长按语音输入、松开转文字”则允许用户在不中断当前活动的情况下持续输入。
综上所述，多模态的必要性，取决于它能否提升单模态在效率、准确或流畅性上的增量体验？若能，则引入具备明确价值；若不能，则应力求简洁，避免过度设计。应始终基于用户是否需要，而非技术是否能够。
2. 体验设计：多模态输入是否自然协调？
【动机：多模态的协调性】
构建自然协调的多模态输入体验，这要求设计兼顾人体的共性规律与个体的差异偏好。
在共性层面，须符合人体行为的客观规律，确保模态资源得到合理编排，否则会引发冲突与疲劳。
在差异层面，须贴合个体不同的偏好方式，使模态方式是契合个人偏好，否则会显得僵化且笨拙。
因此，协调性的实现，具体落实在这两项的设计任务上：
模态的资源合理编排（共性）
克里斯托弗·威肯斯（Christopher Wickens）的多重资源理论（MRT）为此提供了核心依据：人类的认知与动作资源并非单一整体，而是分布于多个相对独立的“资源池”。用以解释为什么有些任务更容易同时完成（例如边走路边嚼口香糖），而另一些任务则难得多（例如边说话边用眼阅读）。
威肯斯多元资源理论模型图形，方块表述人类的不同资源池，由HFE Solutions的KT Smith绘制。
基于此理论，合理编排的目标在于实现动作资源有效分配，让交互感觉轻松、自然。我们可从表达资源的数量、难度、重叠使用这三个设计要点上：
1）模态组合数量：模态越多（1→N），需调用的资源池越多，协调难度与消耗越大。
说明：调用的资源数量增多，也会造成相互之间的配合难度上升，非特殊情况，尽量克制在 2-3 种内。
2）模态行为难度：输入动作精度要求越高（模糊→精细），资源消耗会增大。
说明：一个需要高精度定位的“精细手势”远比一个自然的“挥手”消耗更多资源，设计应遵循最小努力原则，将高频、连续操作分配给低难度模态。
3）模态调用重叠资源：若多个模态竞争同一资源池（如同时进行两项触控任务），会产生干扰。
说明：如要求用户同时执行“触摸打字”和“触摸控制”两项任务，会较难完成，应优先选择资源互补的模态。
因此，设计中，不应只考虑提供尽可能多的输入方式。而是需要思考，将用户有限的资源，配置在最值得、最不费力、且互不冲突的地方，从而降低用户负担。这一理念落实到具体的行为动作设计上，体现为上述的三项设计准则，对此做个小结：
数量克制，组合控制在 2-3 种模态内；难度适配，最大程度降低高频操作的动作精度；资源互补，优先组合调用不同通道的模态（如“语音+视线”），避免竞争同一资源池（如多重触控）。
模态的方式贴合个人（差异）
合理的模态资源编排建立了客观、普适的效率基线。而真正的自然协调还需根据个体差异进行适配，需兼容具有不同生理条件、文化背景与行为习惯的用户，因为并不存在“标准人”，故设计必须尊重用户的“多样性”。
1）贴合个人生理特征：用户的生理能力存在客观差异，设计应提供合适且具有包容性的交互通道。
说明：如儿童手部能力尚在发育，面向该群体的智能手表普遍采用更大的热区，并多采用长按的操作方式，避免精细点按。
2）贴合个人文化习俗：同一行为在不同文化中可能语义迥异，设计应契合文化特征并避免歧义。
说明：以“OK”手势为例，在中国表示认可，在土耳其、希腊等地则具有侮辱性含义。系统需识别此类文化差异，确保交互意图准确传达。
3）贴合个人习惯偏好：不同用户的使用习惯存在显著差异，设计应支持个性化配置并主动适配差异。
说明：如 Apple Pencil 在设计时，便兼顾了惯用左右手的两类用户不同的持笔握姿与手掌落点，为不同习惯的用户提供一致的顺滑书写体验。
某种多模态组合，对一个人来说是直觉，对另一个人来说却可能成为障碍。因此，模态方式的“贴合个人”，是让模态主动适配不同用户的生理条件、文化习俗与习惯偏好，为每个人提供最自然、最有效的表达路径。
最后，为多模态输入协调性做一小结，其构建路径可概括为 “模态的资源合理编排 → 模态的方式贴合个人” 。前者建立普适的效率基线，解决“可用性”问题；后者则针对个体差异进行适配，解决“契合性”的问题。二者共同推动交互设计从标准化的效率，走向因人而异的协调。
3. 适应变化：输入的情境是否多变？
【动机：多模态的适应性】
前文中，多模态输入的协调性，是为交互体验建立了相对稳定的静态基础。然而，真实的互动场景始终处于动态流动之中。
想象一个日常情景：从安静书店步入喧闹地铁站时，我们会不自觉地提高音量、增加手势以保持沟通。
人类天生懂得根据环境、状态与任务动态调整“输出”方式。这一本能揭示出人机交互的关键原则：有效的沟通需要根据环境、自身状态和任务状态的变化动态调整输出方式。
基于这一洞察，用户输入应具备“动态适应性”，能主动感知情境变化，智能调度最适宜的输入通道。具体而言，这种适应性体现在三个关键维度：
1）适应环境条件变化：依据环境变化所带来的影响，提供最优输入通道。
说明：如手表进入到游泳模式因物理环境发生改变，会关闭触摸通道，输入通道以物理旋钮与实体按键为主。
2）适应用户状态变化：识别用户实时行为与注意力水平，匹配输入方式。
说明：在驾驶场景中，为减少分神，车机系统会优先推荐语音指令或方向盘上的实体按键输入，而非触控屏幕输入。
3）适应任务状态变化：理解任务不同阶段的核心目标，提供契合的输入支持。
说明：在紧急事件中，系统将跳过复杂操作，直接提供极简交互，如支持挥手、点头等本能输入方式，以最短路径完成关键确认。
有效的沟通，从来不是用固定的方式应对流动的世界。因此，多模态输入的适应性，本质是让系统具备与人类同等的情境应变能力。为不同环境、状态与任务阶段，预判并匹配最适宜的输入通道。如果说协调性中的“资源编排”确立了效率基线、“贴合个人”实现了因人适配，那么“动态适应”则确保了交互在每一次当下发生时的合理性。
04 多模态输入：最大程度承接人类的自然表达
至此，我们完成了对多模态输入设计的系统探讨。在基于 AI 推动“机器不断适应人”的背景下，了解交互正从平面走向空间、从单模态走向多模态。能观察到，交互是向着顺应人类本能，契合人类直觉的方向发展。而多模态输入，则对应的是人类的表达本能，其最终目的：最大程度承接人类的自然表达。
本文基于人类自然表达的“意图‑行为‑情境”为原型，将其转化为设计思考的 “动机—体验—适应” 框架，系统回应了多模态输入的三个根本问题：
设计动机：为何需要多模态？- 解决效率、准确、流畅的瓶颈；设计体验：如何实现自然协调？- 模态资源合理编排，模态资源贴合个人；适应变化：怎样应对变化？- 动态调度输入通道，适配环境、个人与任务状态；
未来，随着 AI 感知与情境理解能力的进化，多模态交互将超越界面，成为人与世界无缝衔接的交流方式。它以轻量行为承载深远意图，在虚实融合中重新定义交流的边界——表达的极简，源于极致的理解。
转载：人人都是产品经理
兰亭妙微（蓝蓝设计）www.lanlanwork.com 是一家专注而深入的界面设计公司，为期望卓越的国内外企业提供卓越的大数据可视化界面设计、B端界面设计、桌面端界面设计、APP界面设计、图标定制、用户体验设计、交互设计、UI咨询、高端网站设计、平面设计，以及相关的软件开发服务，咨询电话：01063334945。
