多模态话语分析综合框架

《多模态话语分析综合框架》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、多模态话语理论与现代媒体技术在外语教学中的应用11.0引言话语分析转入多模态话语分析阶段:人类的实际交际过程：听觉、视觉、触觉并用伴语言特征：音响度、声调、语调、音速等;身体特征:如手势、身势、面部表情、动作、移动等非身体特征：PPT、音响设备、网络、实验室、周围的环境因素等。首先，根据系统功能语言学理论尝试建立一个多模态话语分析的综合框架；然后，探讨不同的模态及其之间的关系；第三，探讨实现模态的不同媒体系统；最后，探讨如何在外语教学中选择模态和媒体。2多模态话语：运用听觉、视觉、触觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际

2、的现象。这种现象司空见惯，自古有之，如诗歌配上图画，说话时打手势做鬼脸，使用不同口气和腔调等。系统功能语言学是最适合于研究多模态话语的理论模式，其主要原因有以下三个方面：（1）系统功能语言学不仅关心语言内部的运作机制，同时还研究语言外的环境和动因；（2）系统功能语言学把话语的意义和功能放在首要位置上；（3）意义的实现是以多模态形式进行的，语言只是这些形式中最有效的一种。32.0多模态话语分析的理论基础系统功能语言学理论本身不需要做任何改动就可以直接作为其理论框架。这个框架主要由五个层面的系统和选择的基本因素和条件组成(Martin,1992)。这五个

3、层面分别是：（1）文化层面，意识形态、体裁；（2）语境层面，话语范围、话语基调和话语方式（3）意义层面，概念意义、人际意义和谋篇意义；（4）形式层面，词汇语法系统，视觉语法系统，听觉语法系统，触觉语法系统等（5）媒体层面，语言的和非语言43.0多模态话语综合框架初探如上所述，系统功能语言学为多模态话语分析提供了一个相对现成的理论框架。这就是说，在语境和交际层面和话语意义层面，单模态的语言交际和多模态话语交际并没有什么区别。李姆（Lim,2004）在研究图画与语言形成的多模态话语时提供了如下的框架。在这个框架中，语言和图画作为交际模态共有意识形态、体裁

4、、语域和话语意义四个层面。在内容层面，图画具有视觉语法，而语言则有词汇语法；在表达层面，语言由印刷符号体现；图形由图形符号体现。在这里最主要的研究领域是把两者在内容层面和表达层面整合为一体，特别是在内容层面研究的任务最重。56这个框架是对语言与图像所形成的多模态话语的分析框架，还不是一个对所有模态都适用的框架。但其基本思路是正确的：第一，他的层次的思想是正确的第二，不同的模态涉及由不同的媒体来体现第三，不同的模态需要整合在一起据此，我们根据韩礼德的系统功能语言学理论，和我们以上研究的结果，提出了如下的理论框架（见图二）。78这个框架分为四个层面：文化

5、层面、情景层面、内容层面和表达层面。文化层面是使多模态交际成为可能的关键层面。意识形态；体裁。语境层面：话语范围、话语基调、话语方式；实现所选择的体裁。话语意义层面，概念意义、人际意义和谋篇意义。形式层面：视觉语法、听觉语法、触觉语法等。94.0多模态话语的形式及其关系4.1多模态话语的形式媒体只有通过形式层面的组织和模式化才具有直接表达意义的能力。形式对媒介进行组织有两种手段：一是直接赋予某个媒介符号某种意义。由这种符号组成的符号系统通常没有能产性、没有任意性；二是把一定的媒介符号进行组合，然后赋予这种组合一定的意义，这就是语法的作用。由这种符号和

6、符号组成规则形成的符号系统具有任意性、能产性、双分性，由三个层次的代码组成（媒介、形式（词汇语法）和意义）。语言属于这一类。语言：词汇—语法图像：图符—图形语法音响：音符—声响语法接触：实体--感触语法104.2多模态话语形式之间的关系运用多模态的理由：一种模态不足以表达清楚交际者的意义，从而利用另一者来强化、补充、调节、协同，达到更加充分，或者尽量充分表达意义，让听话者理解话语的目的。关系：互补vs非互补互补：强化（突出、主次、扩充）vs非强化（交叉、联合、协调）非互补：交叠（冗余、排斥、抵消）vs内包（部分、具体）vs语境交互（独立vs依赖）11

7、125.0多模态话语的媒体系统从多模态话语的角度，我们可以把媒体分为语言媒体和非语言媒体；3.1语言媒体传统媒体：主要两种，声波传导的声音符号和由笔、毛刷等生成的书写符号。其他媒体：随着信息技术的不断发展，其他技术开始用于语言信息的传播，如计算机文字输入，计算机语音识别等，但最后的传播媒体仍然是声音或者字符。伴随语言的媒体形式：音响，声音的大小，音调，声音的频率，口音，口气等，以及字体形状、大小、空间的布局等。133.2非语言媒体交际者肢体动作和交际者在意义表达中所使用的其他非语言手段，如工具、环境等。1.交际者肢体的动作可以分为三个类别：一、由头部

8、的移动形成的动作二、由手臂和腿形成的媒体符号三、躯干的动作，如移动、比划、模拟等。2.非肢体媒体：工具和环境