主页 > 论文欣赏 >

新媒体语境下的人机交互叙事初探


2018-04-20    来源:新闻爱好者    作者:魏 佳

【摘要】人与机器的关系由来已久,到底是人胜于机器还是机器胜于人也是历来科学界争论的议题。 人与机器之间的交互叙事关系有三种类型,从最初的界面交互,到后来的融为一体,有着一种递进的发展体系,而界面交互作为人机交互的重要形式,也经历了从硬交互到软交互、从在场到透明等历程。
【关键词】人机交互;叙事;硬交互;软交互

一、前言

人机之间存在着三种空间形式, 人本身属于真实的三维空间,界面是一个二维的平面空间,而从界面可以进入到虚拟的三维空间。 人机之间的交互叙事涉及这三种空间关系。
人机之间的交互叙事由来已久,1960 年,美国利克利德教授发表了一篇题为 《人-机计算机共生》的论文,阐述了人机交互的重要观点,提出了计算机应该和人合作,这是大势所趋。 这篇文章在当时产生了很大影响。 第二年美国 Philoo 公司创造出头盔式立体显示器。20 世纪 50 年代,美国摄影师莫顿·海利希(Morton Heilig)开始着手研发他心目中的“未来电影院”的设想,这种电影院全面超过了当时极其简陋的所谓的三维电影。1962 年,他研制出一套立体电影系统,这种被称为 Sensorama 的系统具有初级人机互动的意识,结合图像、声音、触感、味道等多种感官刺激, 采用了娱乐技术和模拟电子技术相结合的全新技术,观众在观看影片时可以感受到立体的声音、不同的气味、 偶尔拂面的微风以及随剧情振动或摇摆的座位等,具有现代 VR 电影的雏形,可惜当时只能供个人观看。
1965 年,美国科学家伊凡·萨瑟兰(Ivan Sutherland)在他的论文《终极显示》中,畅想了未来计算机所构成的虚拟世界,提出了交互图形显示、在虚拟环境中能够体验真实触觉感受的力反馈等思想, 这对他后来研究虚拟现实和计算机成像技术有深远影响。 萨瑟兰在论文中说道:“我们生活在一个物理的世界,通过与这个世界的朝夕相处,我们已经熟知它的特性,通过与这个物理世界相联系的复杂情况,使我们很好地预见这个物理世界的很多性质……一个与数字计算机相连接的显示器可以给我们增长见识的机会, 让我们去熟悉在物理世界中不可能认识的概念。 它开辟了一个观察数字奇境的窗口。 ”[1]
在接下来的几年中,致力于打造“终极显示器” 的伊凡·萨瑟兰一直在研究头盔式显示器,他使用阴极射线管 (CRT) 研究出了第一个头盔式显示器(HMD),并发表了题为《头盔 3D 显示》的论文。 当人们戴上这个头盔式显示器时,会有身临其境的体验。经过整个团队的反复试验, 在原有研究的基础上又加入了可模拟触觉与力量的力反馈装置,在 1970 年终于研发出了第一个各方面功能较为齐全的 HMD 系统, 这对于后来的虚拟现实装备有着奠基式的意义。
通过计算机和头盔显示器, 人们可以看到虚拟的空间,这次研究初步实现了“人-机交互”。1972 年, “电子游戏产业之父” 诺兰·布什内尔推出革命性的交互视频游戏《乒乓》(Pong)在交互性游戏中具有里程碑意义。 到了 20 世纪 80 年代,美国人托马斯·齐摩尔曼与加隆·拉尼尔合作发明的“数据手套”、美国宇航局建立的世界上第一个计算机虚拟环境等,人机空间交互越来越多的出现并影响着整个世界。 90 年代,虚拟现实头盔在分辨率、3D 效果、立体声效等方面有着更进一步的精进。 到了 21 世纪的第二个十年,虚拟现实技术有了爆发式发展,Oculus VR 得到巨大成功, 并因众筹资金的支持研发出可穿戴的有着超宽视野的头盔 Oculus Rift。 2016 年,虚拟现实首次进入个人家中,人机交互变得越来越方便。
人机交互有三种类型,从最初的界面交互,到时空叠加再到后来的融为一体, 有着一种递进的发展体系。

二、界面交互

界面(interface)是不同物体之间的分界面,《现代汉语规范词典》定义界面有两层意思:一是物体和物体相接触的面;二是用户界面的简称。 美国学者迈克尔·海姆认为,界面是“两个系统之间通信的场所,既可用在硬件也可用在软件或两者的结合上。 譬如,图形界面可以用些隐喻,如桌面或有垃圾箱的房子,画笔或尺子之类。 字母数字界面,如 IBM 兼容机,由显示器、键盘加上相应的控制输入输出的软件组成。界面在技术哲学中是个关键术语, 因为它指的是人与数字机器之间的连接点”。 [2]而在真实空间与虚拟空间之间,界面是一个匿名中介人,是促进交流互动的媒介,“界面便是两种或多种信息源面对面交会之处。 人作为使用者与系统相连,而计算机则成为交互式的”。 [3]
(一)从“人”到“机”
按照《现代汉语规范词典》的解释界面是“物体和物体相接触的面”,从这个意义上说,“人”是最为古老的界面,与其他的空间发生着各种各样的接触。随着信息技术的发展,人机界面的发明,界面从“人” 向“机”发生着鲜明的转变。
人机界面有广义和狭义之分, 广义的人机界面就是人与机之间存在的可以相互作用的媒介。 梳理人类发展的历史, 界面的发展也经历了早期的口传界面、印刷界面、机械界面、电子界面,到如今的比特界面。 在界面的发展过程中,人的作用越来越重要。海姆认为,“界面指的是一个接触点, 软件在此把人这个使用者和计算机处理器连接起来。 这可是个神秘的、非物质的点,电子信号在此成了信息。 正是我们与软件的交互作用,才创造出界面。 界面意味着人类正被线连起来。 反过来说,技术合并了人类”。 [4]界面类似一个电子的画框,“在这个框框里我们的符号———文字、数据、模拟———均得到了精确的控制,各种事物都表现出惊人的清晰”。 [5]
在界面的发展中,人与机的博弈一直没有停止,是人最终战胜机器还是机器最终打败人, 这个命题也是很多电影导演热衷的主题。 当然,界面也是人机和谐相处的关键。
2012 年春晚韩庚的舞蹈《除夕的传说》是一个创意型的新媒体舞蹈节目,以“除夕”的由来为故事背景,借助 3D 动画,韩庚通过“人画合一”的形式,结合武术混搭舞蹈,最终铲除年兽。 在节目中,韩庚与身后巨型界面上的虚拟年兽互动, 现实人物空间和虚拟画面空间非常切合的互动, 从人到机共同构成了一个精彩的节目。
诺兰·布什内尔一直对游戏情有独钟,在继发明交互视频游戏《乒乓》(Pong)30 年后,他进军餐饮业,将互联网与餐饮业结合,成立了一家互联网餐厅。 顾客可以在餐厅里通过网络界面自助点餐, 所有的菜谱都显示在游戏桌旁的触摸屏幕上, 点击后菜单就直接通过网络传递到后厨。 顾客通过界面还可与朋友及陌生人玩各类游戏, 布什内尔甚至计划将数字图书馆引入到餐厅内,让顾客在享受美食的同时还能畅游知识的海洋。布什内尔的这个数字餐厅将可触界面变成了服务员, 人的功能可以全部由机器来取代,将人与机的距离拉近,也将人与人的距离缩短。

(二)从“硬交互”到“软交互”

狭义地理解人机交互界面, 就是仅仅指计算机系统中的界面。 人机交互和用户界面可以分别定义为“用户与计算机系统的通信和相互通信的介质”[6], “界面是人们看见的、听到的、感觉到的”[7],是可以支持交互的硬件和软件系统。
人机交互有多种形式, 从最初的发展到现在经历了三代更替,这三次更替也是从“硬交互”到“软交互”的过程。 第一个交互时代是鼠标加键盘的时代。美国加州斯坦福研究所的道格·恩格勒巴特和同事们一直致力于研究一种可以更加简捷操作电脑的方法,1968 年12 月 9 日,鼠标在美国加州旧金山被发明出来。 到了70 年代,施乐公司一直致力于完善道格·恩格勒巴特的发明。 1983 年,首部配置鼠标、名为“莉萨”的个人电脑由苹果公司发明,因为鼠标看起来非常像一只小老鼠, 后来人们习惯将它称为“Mouse”,其实它正式的名字为 “显示系统纵横位置指示器”。鼠标加键盘的经典组合, 到现在都一直是人机交互的重要武器。
第二个交互时代是触摸交互时代, 使人们的双手从键盘和鼠标中解放出来, 人与机器的交互变得更加直接和简单。 1971 年肯塔基大学的教师 Sam Hurst 博士为了使自己的工作效率提高、获得信息和传输信息更加便利, 他发明了一个触摸传感器来代替传统的鼠标,这种触摸式传感器体积非常大,是不透明的,在输入数据上效率明显提高。 1974 年 Sam
Hurst 博士又设计了一款透明的触摸屏,也是世界上的第一款,他本人也被称为“触摸屏之父”。1977 年电子制图及五线电阻发明申请专利后, 触摸屏技术更是得到了极大的改善并且广泛应用到今天。
1982 年多伦多大学发明了由感应食指指压的多点触控屏幕的多点触控技术。 同年,在美国一次科技展会上,Sam Hurst 的公司展出了 33 台安装了触摸屏的电视机, 参展人可以亲自感受触摸屏幕。 1984 年, 贝尔实验室研制出一种能够以多手控制改变画面的触屏。同年,微软也开始研究该领域。1992 年,作为多触控技术的“脑机接口”技术也第一次被多伦多一家实验室研发出来。 从此,触摸式界面开始流行,大量出现在一些娱乐和公共服务的设备上。 而苹果公司更是在 2000 年初将多控点触摸屏应用到手机、平板电脑上,人机交互中的触摸交互大放异彩。
第三个交互时代是感官交互时代,在这个时代,人机交互已经不需要直接的接触,身体控制、感官交互占据主流。 2010 年微软正式发布 Kinect,这是一种 3D 体感摄影机, 通过人的身体与计算机的控制来完成交互,它同时还具备影像和语音的辨识功能,以及即时动态捕捉、社群互动等多种功能。 Kinect 同时还推出了多款配套游戏。 2011 年欧洲时装店 Topshop 位于莫斯科的旗舰店就安装了一个利用感官交互来完成试衣的虚拟试衣间。这个试衣间利用微软 Kinect 体感设备和增强现实技术, 使顾客们完全摆脱了试衣的烦恼, 只需利用 Kinect 设备动动手就可以试穿任意的服装,还包括搭配各种配饰、帽子、包包等。 顾客可以看到自己虚拟穿衣的 3D 效果, 真实清晰,方便快捷。
除了身体的控制, 人的任何器官包括声音、呼吸、脑电波、意念都可以成为“软界面”,实现人机的交互。 黄心健在其作品《平淡之味》中,用人的呼吸当作交互界面,通过参与者的吹气,青瓷上的落花、雨滴会鲜活起来。 埃蒙德(Elaine Brechin)和麦克(Michel Bret)合作的作品《蒲公英》,观众只要对着蒲公英或者羽毛吹气, 屏幕上就会呈现相应的计算机视频影像。 2012 年,InteraXon 公司推出了一款脑电波感应头带“缪斯”(Muse)。 缪斯可以利用传感器侦测大脑活动产生的微弱电流输出。 当人们的情绪在专心和放松之间切换时, 缪斯好比小米手环的心率测试功能那样可以记录并显示脑电波的变化, 而这些数据集合起来也有多种用途。

(三)从“在场”到“透明”

人机界面的发展,经历了从机器到人的侧重、从 “硬交互”到“软交互”的变化,但不管哪种形式,界面一定是存在的。 新近的技术可以使界面透明甚至是消失不存在。
马克·波斯特在《第二媒介》一书中对于界面的透明化做出了这样的评价,“因特网的界面必须显示出某种程度的‘透明度’,也就是说,要显示为不是一种界面,不是一种介于两个相异生物之间的东西,而同时还要显得令人迷恋, 界面在宣示其新异性的同时还要鼓励人们去探索机器世界的差异性”[8]
2011 年微软研究院展示出一段技术演示影像,这是一段用户可以用自己的双手与虚拟的 3D 物体进行互动的视频, 它是利用幻灯机、Kinect 以及光线分离设备,被称之为“HoloDesk”的全新 3D 虚拟技术。 美国得克萨斯州农工大学在 2011 年的计算机人机交互研讨会上,又推出了一个名为 ZeroTouch 触摸屏技术。 ZeroTouch 没有界面,好比一个空的相框,框内充满纵横交错的红外光束, 框的边缘还安装了多个红外传感器。 ZeroTouch 可以同时识别 20 个触摸点,还可以越过“屏幕”进行各类程序操作。
2013 年年初, 设计师 Lee Jinha 展示了一种真正的透明显示屏, 参与者可借助这个透明屏幕穿过界面,“抓住”屏幕里面的东西,真实空间与虚拟空间在感官上似乎可以合二为一。 这个系统目前还是依靠微软的 kinect 体感系统结合增强现实技术来实现, 目前的研发在向着迷你化、 小型化做进一步努力。 未来人们可以直接透过屏幕,用手去操作屏幕中显示的东西,比如和游戏中的虚拟角色直接互动,当网购一只手表时,可以将其直接“戴”在手腕上测试效果。 2017 年阿里巴巴旗下的无人超市已经正式营业,顾客在进超市时打开淘宝扫码进店,而后无论买任何东西都无需手机,支付宝会自动扣款。 在整个过程中,机器的存在也已经近乎“透明”。
加拿大媒介环境学家德里克·德克霍夫也认为界面会逐渐隐去,人机交互的未来界面应当透明化, “新的装置,如眼睛跟踪、图像隐形和脑波界面,再加上从激光刀视网膜的投射, 正在朝着从思维到机器的即时处理这一总体方向来”[9]。 阿里巴巴已经将这一理论实现,正在研发的智能家居、智能汽车等新型行业更会将这种互动进行到极致。

三、人机交融

早在 1960 年, 利克利德教授就说过这样一段话,“用不了多少年, 人脑将会与计算机紧密地结合在一起, 其结果将会使两者之间的关系变成人类意想不到的样子, 处理数据的方法将与我们今天所知道的信息处理方法完全不同”[10]
人机交互的最终发展是人与机器的融合, 你中有我,我中有你。 正如马克·波斯特预想的:“人类与机器间的共生合成体可以说是正在形成……而这种合成体威胁了我们这种感觉的稳定性。 人类创造了电脑,接着电脑又创造了新型的人,这也许正在悄然
发生。 ”[11]
电子人的发明是人机交融的产物, 电子人(cyborg)又称“半机器人”,是一种人机混合体的模式,既有机器的特征,又有人的特征。 电子人制造的初衷是为了实现人类不能完成的任务,被称为功能电子人。2008“合成时代”国际新媒体艺术展中,德国艺术家设计的 《生动的厨房》 就制造出了一个 “厨房电子人”, 这个有趣的厨房应该是所有家庭主妇的梦想,一切家务劳动都可以由“电子人”自行完成,台面上的抹布会自己擦拭台面,勺子会自动搅拌咖啡,吸尘器会自行运转工作,铲子则在锅里跳起了舞。 澳大利亚艺术家斯蒂拉克展出的作品《人造的头》,将人的思想融入机器中, 这个以艺术家本人为原型的高达五米的头像投影,也是一个实体对话装置,只要有人靠近投影空间,传感系统会通过提示使它睁开眼睛,人们可以用键盘输入英文, 它会自动识别并与之交流。 这个人造的头理解能力和沟通能力都非常强,还拥有面部表情变化和声音情绪变化等多种能力。
除了功能电子人, 还有观念电子人和植入电子人两种类型[12]。 观念电子人不强调技术的新颖、发明的独特、 电子人的能力, 而是将其看作一种有关身份、等级、阶层、政治的观点和隐喻。 植入电子人是将计算机的某种芯片植入到躯体中, 使他赋予某种特殊的能力。 英国电视剧《黑镜》在第一季第三集《你的人生》中就设想了这样的一个社会,每个人从出生时就在耳朵后面植入了芯片, 这种芯片可以用影像记录下他每一时每一刻的生活轨迹。 无论哪一天,哪一年,关于哪个人的记忆,想看的时候就可以拿着“遥控器”把记忆的画面随时从芯片中调出来看。 片中男主角最后实在受不了这种被技术和科技控制的傀儡人生,不想对以前发生的事情一遍遍回忆,最终取出了耳朵后面的芯片。

四、结语

麦克卢汉说过:“任何发明或技术都是人体的延伸或自我截除。 这样一种延伸还要求其他的器官和其他的延伸产生新的比率, 谋求新的平衡……作为感知生活的延伸和加速器, 任何媒介都立刻影响人体感觉的整体场。 ”[13]人机之间的交互叙事其实也是将机器的能力转化为人体某一部分的延伸, 通过更加人性化、更加便捷的人机之间的交互方式,去深度拓展人类对于未知空间的认知, 从而建构更加科学的空间关系。
(本文由江苏高校“青蓝工程”中青年学术带头人项目资助)
 
参考文献:
[1]汪成为,祁颂平.灵境漫话:虚拟技术演义[M].北京:清华大学出
版社,1996:43.
[2]海姆.从界面到网络:虚拟实在的形而上学[M].金吾仑,刘刚,
译.上海:上海科技教育出版社,2000:169.
[3]海姆.从界面到网络:虚拟实在的形而上学[M].金吾仑,刘刚,译.上海:上海科技教育出版社,2000:78.
[4]海姆.从界面到网络:虚拟实在的形而上学[M].金吾仑,刘刚,译.上海:上海科技教育出版社,2000:79.
[5]海姆.从界面到网络:虚拟实在的形而上学[M].金吾仑,刘刚,译.上海:上海科技教育出版社,2000:80.
[6]戴国忠,田丰.笔式用户界面[M].合肥:中国科技大学出版社,
2009:11.
[7]Saffer D.交互设计指南(第二版)[M].陈军亮,等译.北京:机械工业出版社,2010:148.
[8]马克·波斯特.第二媒介时代[M].范静哗,译.南京:南京大学出
版社,2000:52.
[9]德克霍夫.文化肌肤:真实社会的电子克隆[M].汪冰,译.保定:河北大学出版社,1998:63.
[10]汪成为,祁颂平.灵境漫话:虚拟技术演义[M].北京:清华大学
出版社,1996:39.
[11]马克·波斯特.信息方式[M].范静哗,译,北京:商务印书馆,
2000:11.
[12]黄鸣奋.新媒体与西方数码艺术理论[M].上海:学林出版社,
2009:59-62.
[13]马歇尔·麦克卢汉.理解媒介:论人的延伸[M]何道宽,译,北京:商务印书馆,2000:78.
(作者为南京艺术学院传媒学院副教授,艺术学博士)


上一篇:微信平台垄断与视频内容生产 下一篇:职业教育公共实训基地建设的实践与思考
相关文章推荐

  • 大学生党员教育管理研究—基于自媒体网络环境
  • 运用多媒体手段,提高作文教学效率
  • 从流媒体角度研究高校就业创业教育工作路径
  • 新媒体在高校共青团工作中的运用策略研究
  • 基于CDIO模式的《数字媒体技术及应用》课程实
  • 论文发表参考:自媒体与思想政治教育管理的关
  • 核心期刊论文:智媒时代我国媒体融合创新发展
  • 核心期刊论文:媒体融合与广告公共服务型转向
  • 核心期刊论文:技术、生态、规范:媒体融合的
  • 核心期刊论文:媒介拓展抑或跨媒介合作?
  • 核心期刊论文:我国媒体融合发展的内在逻辑与
  • 核心期刊论文:《网络谜踪》:互联网语境下的
  • 如何划定自媒体意见表达的边界
  • 增强主流价值观传播效能的思考
  • 拓宽马克思主义哲学的传播途径
  • 巧借自媒体,增强马克思主义大众化实效性