人机(智能)交互(Human-Computer (Intelligent) Interaction,HCII) 关于设计、评价和实现供人们所使用的(智能)交互式计算系统,并围绕其主要现象进行研究的学科。
人机智能交互技术(人机智能I/O)狭义的讲,是研究人与计算系统之间进行智能通信的技术。
U 计算机的应用及情景
U1 人类社会组织和工作
U2 应用领域
U3 人机适应(Fit and Adaptation)
H 人的因素
H1 人类信息处理
H2 语言,通信与交互
H3 工效学(Ergonomics )
认知心理学
C 计算机系统
C1 输入和输出设备
C2 对话技术
C3 对话风格
C4 计算机图形学
C5 对话架构(Architecture)
C6人工智能
D 开发过程
D1 设计方法
D2 实施技术
D3 评估技巧
D4 实例系统和案例研究
语言命令交互阶段
图形用户界面(GUI)交互阶段
自然和谐的人机交互阶段
虚拟现实、移动计算、无处不在(普适)计算等
自然和谐的人机交互
基于AI的自然和谐用户界面,例如:
人:需被更加重视的研究对象(中心)
人的因素(Human Factors)研究:
感觉,感知(I) :眼耳鼻舌触
处理,思维§:大脑、植物神经系统
执行,效应(O):四肢、嘴、表情、生理指标
人因素的主观性:
色彩、温度、噪声、复杂性限制…
识别、判断、模式识别、兴趣、美感、社交、疲劳、犯错…
人因素的客观性:
非精确描述与感知,有错误、有情绪
模式识别
归纳推理
复杂决策
高度适应性
多模态/通道交流(MultiModal)
计算机系统(软硬件)
计算机系统研究:
处理器:CPU,MEMORY,软件
感知,输入:键盘、鼠标、话筒、摄像
头…
机构…
计算机系统特点的研究:
高效计算
准确牢固记忆
快速一致的响应
高效数据处理
长期重复性工作
精确定义与识别
情感定义与识别
通信关系(输入、输出关系)
通信关系研究:交互(可用性目标)
面向人因素的特点
以人为中心实现高可用性。例如,多通道非精确交互
人做自己的事:例如,感知、体验、决策
发挥计算机特点:
功效
安全
有效
可用性
易学
易理解
易操作
容错
满意性
自然
舒适
有趣
目标
静态可见性
小提示
用户界面易于理解(认知需求:理性+感性)
动态有反馈
功能可见性
任务
制造业
汽车协同设计
设计的检视
虚拟装配
协同项目的检测
医疗
虚拟心脏血管手术模拟系统。
手术计划、训练,以及实际手术过程中引导手术
口腔手术
教育科研
军事
军事战略战术演练和培训:飞机驾驶员培训演习仿真。
战斗机头盔综合显示器(HMD)面罩:显上读取所有数据。
飞行模拟器:由模拟座舱、运动系统、视景系统、计算机系统及教员控制台等五大部分组成。
生活
指纹识别和人脸表情识别。
掌上电脑、智能手机、PDA、智能固话终端等:手写识别
语音合成
情感交流
文化娱乐
地面式互动投影系统
静态影像
红外线感应技术
数字展示
彭德怀纪念馆多触点互动桌面:缩放、旋转、拖动
全息投影的博物馆
· ACM SIGCHI
– 国际最著名的人机交互学术组织
– China Chapter http://www.hci.org.cn
? ACM Conferences related to CHI
– ACM CHI
– ACM UIST
– ACM IUI
– ACM CSCW
– ACM VRST
– ACM I3D
? 国际期刊
– ACM Transaction on CHI
– ACM Interactions
– Human-Computer Interaction
– Human-Computer Studies
– IEEE Pervasive Computing
? IFIP TC.13
– 国际信息处理联合会人机交互技术委员会
? 其他有影响的国际会议
– HCI International
– INTERACT
– APCHI
– CGI
– Pervasive Computing
– Ubiquitous Computing
? 国内会议
– 中国人机交互学术会议(CHCI)
– Chinagraph
– 普适计算学术会议(PCC)
Mobile & Ubi: Ubiquitous Computing,普适计算
设计可用性
交互技术研究
AI研究(人类认知、人类情感)
人的感知通过人体器官和组织进行人与外部世界的信息的交流和传递,人机交互主要通过人的感知来完成,主要包括视觉感知(80%)、听觉感知和触觉感知。
1.视觉: 视觉是人与周围世界发生联系的最重要的感觉通道。视觉感知可以分为两个阶段:受到外部刺激接收信息阶段和解释信息阶段。一方面,眼睛和视觉系统的物理特性决定了人类无法看到某些事物;另一方面,视觉系统进行解释处理信息时可对不完全信息发挥一定的想象力。进行人机交互设计需要清楚这两个阶段及其影响,了解人类真正能够看到的信息。
2.听觉:听觉感知传递的信息仅次于视觉,其感知过程亦为接受刺激,把它的特性转化为神经兴奋,并对信息进行加工,然后传递到大脑。声音的解释是与语言的理解联系在一起的,它们都是在大脑的听觉皮层中完成的。听觉系统就像视觉系统一样,可以利用以前的经验来解释输入。另外,由于口语充满着发错音的单词、不完整的句子,而且一般说的很快,所以听觉系统的解释机制必须跟得上输入。
3.触觉:触觉的感知机理与视觉和听觉的最大不同在于它的非局部性,人们通过皮肤感知触觉的刺激,人的全身布满了各种触觉感受器,用来感受冷热,疼痛和压力。触觉感知的另一个方面是动觉(kinaesthesia),即对人的躯干和四肢的位置的感觉。
人机关系中人在各个方面的规律和特性
视觉、听觉、触觉
刺激->知觉加工->短时记忆的注意过程->复述(rehearsal) 短时记忆信息->长时记忆
认知过程包括:
感知和识别
注意
记忆
学习
阅读、说话、聆听
解题、规划、推理和决策
认知过程 | 对应的交互设计原则 |
---|---|
1.感知和识别 | 感知的形式要便于识别(多特征) |
2.注意 | 对界面设计的要求:重要条目应足够引起注意 |
3.记忆 | 便于短时和长时记忆 |
4.学习 | 便于记忆和学习掌握 |
5.阅读、说话、聆听 | 采用丰富明确的形式,多进行界面设计考虑 |
6.解题、规划、推理决策 | 便于注意、记忆、学习→理解,便于正确操作 |
是一种超出人脑的与更大环境有关的系统认知模型。能“记忆”和处理更多的信息,具有更强的处理能力。
分布式认知是一种将认知主体和环境看做一体的认知理论,分布式认知活动是对内部和外部表象的信息加工的过程。一个分布式认知系统可以被看做包含多个主题、多种工具和多样技术,协调内部外部表象,且有助于提供一种动态信息加工的系统。
分布式认知法描述的是认知系统中发生了什么,它通常描述人员之间的交互,人们使用的物品及工作环境。主要目的是要从信息传播媒介的角度来描述交互。也就是说,它考虑的是信息如何表示,信息在流经不同个人以及使用不同物体时是如何重新表示的。这类信息的转变也称为“表示状态的转变”。
基于人类色觉实验的颜色模型旨在理解和模拟人类如何感知和区分颜色。这些模型对于人机交互设计、图形设计、视觉艺术以及任何涉及颜色使用的领域都非常重要。以下是一些关键的颜色模型和它们的基本概念:
在人机交互设计中,理解这些颜色模型对于创建具有良好视觉吸引力和可用性的界面至关重要。设计师需要根据目标平台(如打印媒体、网页或应用程序)和用户群体(考虑到色觉异常等因素)选择合适的颜色模型。
RGB色彩模型是一种加色模型,主要用于光的混合。它基于三原色(红色、绿色和蓝色)的混合原理。
视觉系统中存在三类视锥细胞,RGB模型的三个颜色通道直接对应于人眼中的这三种视锥细胞。
第一类:短波长——蓝色敏感
第二类:中波长——绿色敏感
第三类:长波长——红色敏感
个体的差异
格式塔原理(Gestalt Principles),源自格式塔心理学,是关于人类视觉感知和处理图像的一组理论。这些原理解释了人们如何在看似混乱的视觉信息中组织视觉元素,形成整体的理解。在人机交互设计、平面设计、艺术以及认知心理学等领域中,格式塔原理非常重要。
格式塔原理主要包括以下几个方面:
格式塔原理一定程度上反映了人的视觉感知的相对性
人机交互中的科学认知
二元线性思维: 交互模型
多维非线性思维:智能自适应
HCI系统开发中的科学认知
瀑布设计流程:知识
迭代评估循环:实践出真知
– 用户建立其目标:例如,创建一个红色的三维实体
– 任务规划
– 定义界面操作:例如,具体的画实体动作
– 执行操作
– 感知系统状态
– 解释系统状态
– 面向目标评估系统状态
关心HCI的可用性:共性特点
– 可用性开发方法:usability
– 评估可用性
交互系统设计与发展
– 可用性设计范式:继承与创新
事物所带有的可以被(特定人)感知的实际可操作性
用户模型——基于思维模型(认知规律)用户如何理解或认知系统的运作。(业务性)
设计概念模型——设计师设想和准备用计算机实现的模型,说明系统如何运作。(系统性)
系统映像——系统实际上如何运作。槪念模型与用户模型匹配好坏影响HCI可用性(技术性)
系统映像按照概念模型进行技术实现,用户模型与系统映像相互影响。
简化的可用性评估,通过分析用户的认知过程(Thinking aLoud)来评估交互系统
需要发现的认知走查的目标问题:
① 不知道下一步该做什么
② 找不到解决问题的操作序列
③ 能发现操作的控制方式却不知道如何使用
④ 得不到合适的反馈,不知道他们的操作是否能顺利的完成任务
5步骤:
1) 对交互界面的详细描述:例如,用户对菜单的位置的评判
2 ) 选择任务:指定需评估的典型的界面任务,确定一个或多个正确的操作序列。
3 ) 用故事引导用户了解完成任务所需要的操作:用故事概念启示用户选择自己的行为
4 ) 观察记录用户的行为:注意界面对用户自引导作用是否正常
5 ) 分析错误引导反映的界面上存在的问题:分析原因
五个特征:
a) 由分析者操作的、反映的是分析者的判断,而不是用户测试;
b) 分析特定的用户任务,而不是对整个界面特征作评价;
c) 分析正确操作是否被用户采用,而不是进行用户行为的预测;
d) 要找出原因,而不是仅仅发现界面中存在的问题;
e) 追踪用户的心理加工过程来发现问题,而不是聚焦于界面本身。
基于经验性的规则评估交互系统的可用性。只考虑重要问题,忽略次要问题
简单、低成本
可由专家进行操作
易于发现较大的设计缺陷
评估工作化繁为简,有可能与实际交互情况不符
简单检查清单,很难涵盖整体情况
非定量评估,有时不够准确
1) 评估前的必要知识(规则等)培训
2) 评估
每人单独做界面评估,然后汇总结果
两轮工作
第一轮: 熟悉流程和范围
第二轮: 有所聚焦
每人提供问题列表
解释是否与启发式规则相匹配
列出问题的清单
3) 问题等级评价
划分问题等级
先每个人单独划分,然后按小组划分
4) 形成任务报告
与设计团队讨论所得到的结果
给出潜在的解决方案建议
评估解决问题的难度
产品在特定环境下特定用户用于特定用途时所具有的:效果、效率和用户主观满意度。
前者是对后者评估过程与内容的一种细化
前者需要制定不同主题的评估计划及其费用。如,人员、场地、道具、后勤等。后者是一种简化方法,成本较低。
前者需要评估团队花费大量的时间,后者可以控制在极短时间内完成。
1、用户参与的评估
(1)对比实验:用户数:
? – 多组设计的可用性比较;
? – 用户数:例如,每组12人以上。
(2)可用性观察测试:
? – 通过观察找出界面可用性问题,提出设计改进建议;
? – 可以是正式的实验室观察,也可以是非正式的观察。
? – 用户数:2人以上,一般6-12人。
2、用户不参与的评估
(1)启发式评估
? – 可用性专业人员根据已有的可用性原则,对界面进行逐一评估
(2)认知走查法
? – 可用性专业人员将自己“扮演”成为用户,通过一定的任务对界面进行检查评估。
(3)其他方法
两种类型的数据
过程数据
底层数据
记录发生的各种数据 (time, errors, success)
i.e., 各种因变量
IBM公司Clayton Lewis 在1982年在《以任务为中心的界面设计》书中被阐述
要求被试者在交互时说出:
想要做什么
引起问题的原因
所看到的事物
(1) 人员组成——用户(不)参与的评估
(2) 人员培训——用户(不)参与的评估
(3) 观察者安排——用户参与的评估
(4) 评估计划
(5) 评估任务设计
(6) 招募测试用户——用户参与的评估
评估报告因不同的目标和阅读对象而不同。
启发式评估报告内容
① 可用性问题的事实(关键事件的证据:用户的目标、用户行动的效果)
② 对问题的解释
③ 问题的严重性描述,或优点描述
④ 问题可能的解决方案/其他可能的进一步优化方案
① 用户特征
② 系统/界面特征
③ 任务特征
① 效率
② 效果,包括易学易记、易理解、易操作、容错
③ 满意度
可用性评估最常用的两个方式:用户测试和专家评估。这两种方式主要是针对产品使用的有效性、效率、满意度,以及影响产品可用性的其他特征进行了评估。
① 效率方面,用户任务完成时间或反应时间
② 易学易记方面,用户学习时间、记忆遍数、主要记忆难度、任务是否完成
③ 易理解方面,评价用户反应与系统的匹配度,阅读停顿是否多
④ 易操作方面,动作时间、动作效率、犯错次数、一个任务的操作次数
⑤ 容错方面,犯错次数、错误恢复次数、错误信息理解
⑥ 满意度方面,总体评价、效率评价、效果评价、具体部分的评价、用户的情绪反应
迭代设计是一种在产品开发过程中反复循环的设计方法。这种方法涉及一系列重复的步骤,用于逐步改进和精细化产品设计。迭代设计的核心思想是通过连续的测试、评估和修改来不断完善产品,而不是一次性设计出最终产品。
8步骤:
i. Acceptance 接受任务
ii. Analysis 分析
iii. Definition 定义
iv. Ideation 构思
v. Idea selection 选择想法
vi. Implementation 实现
vii. Evaluation 评价
viii. 测试报告
① 瀑布模型一般没有反馈或例行的循环
? ? 修正错误工作开销很大*(每个阶段都可能会增加数倍的工作开销)*
② 迭代设计有反馈或例行的循环
? ? 迭代设计将会更早的发现问题
① 明确焦点问题(提取第一性):Sharpen the Focus
② 规则的可操作性(小、易、渐进):Playful Rules
③ 对创意进行计数(认知):Number Your Ideas
④ 不断创建和激发新创意(基于第一性):Build and Jump
⑤ 充分利用所处环境,部署各种提醒(表达):The Space Remembers
⑥ 头脑的预热活动(强化注意力):Stretch Your Mental Muscles
⑦ 建立实物(知行合一,表达):Get Physical
① 原型的表示或描述设计
② 原型设计的范围
③ 选择是否设计可运行的原型
④ 确定原型设计的成熟性(面向迭代设计的哪个阶段)
① 素描
② 实物模型
③ 故事板
④ 剧本
⑤ 手册与教程
最终的HCI系统产品,能够测试其bug
效率/有效性(efficiency):效率高
效果/有用性(effectiveness):基本功能
满意度(satisfaction):感觉好(舒适、美观:喜欢)、易认知
– 目标 (Goal):用户的意图,想实现的目标
– 方法 (Method):将目标分解为子目标或子操作的方法
– 操作 (Operator):用户执行的基本动作,是原子性的
– 选择 (Selection):表示有多种方法可选
行为:时序关系的交互序列
行为交互:基于“关口”(gates)
交互操作:数据交换、信息传递、协调同步等
行为表达式:表示时序关系的LOTOS算符组合而成
约束关系:描述交互子任务之间的关系
T1 ||| T2
(交替Interleaving)
T1 [] T2
(选择Choice)
T1 | [a1,...,an] | T2
(同步Synchronization)
T1 [> T2
(禁止Deactivation)
T1 >> T2
(允许Enabling)
① 桌面隐喻
② 所见即所得
③ 直接操纵
① 界面具有一致性
② 常用操作要有快捷方式
③ 简单的错误处理
④ 重要操作要有信息反馈
⑤ 操作可逆
⑥ 设计良好的联机帮助
⑦ 合理划分并高效地使用显示屏
⑧ 显示与输入方式一致
⑨ 减少输入动作(隐藏不可用命令)
⑩ 可自选输入方式,能删除错误输入,允许用户控制交互过程