多模態:翻譯研究的新視角

2020-12-25 中國社會科學網
多模態:翻譯研究的新視角

2017年12月26日 08:24 來源:中國社會科學網-中國社會科學報 作者:朱玲

字號

內容摘要:現代科學技術的迅猛發展,為人們獲取、檢索、分析和加工信息提供了更為便捷的途徑,也加速打破了語言學的認知藩籬,多模態話語分析理論(multimodal discourse analysis)於20世紀90年代在西方應運而生。由此可見翻譯的含義有兩個維度:廣義的翻譯指不同符號系統之間的信息傳遞活動,包括語言與語言之間、語言與符號之間,以及符號與符號之間。因此,翻譯活動本身包含著多模態信息傳遞的內容,我們借鑑多模態話語分析的理論與成果來考察翻譯產品與過程,作為翻譯研究的新視角,具有其內在的合理性與可行性。從多模態的視角切入翻譯實踐和研究,我們能夠得到更多新的發現與收穫,從而豐富和完善翻譯研究的分支,同時也是對多模態話語分析這一語言學理論的開發與拓展。

關鍵詞:語言文字;翻譯研究;模態話語;語法;話語分析;譯者;譯作;原作;信息傳遞;戲曲

作者簡介:

  無論是廣義的翻譯還是狹義的翻譯,都包含著多種符號系統的轉換與信息傳遞。換句話說,在翻譯這一活動過程中,無論是語言文字還是其他類型的符號,都參與意義的構建,從而實現信息傳遞的目的。

 

   現代科學技術的迅猛發展,為人們獲取、檢索、分析和加工信息提供了更為便捷的途徑,也加速打破了語言學的認知藩籬,多模態話語分析理論(multimodal discourse analysis)於20世紀90年代在西方應運而生。在此之前,語言學研究主要以文本為基礎,而多模態則把所有交際模態看作意義生成的資源,認為在日常生活中人們除了使用語言,常常還運用其他一種或幾種符號資源參與意義的構建,從而達到交際的目的。換句話說,意義的構建是通過多模態話語的形式來實現的。無論是文字、聲音、圖像、色彩還是面部表情、肢體動作等,多模態話語中的每種模態都是意義生成資源。我們可以發現和制定每種模態的語法,得出該模態意義生成的規律。

  我國對於多模態話語分析的關注,最早見於李戰子教授在《外語研究》2003年第5期發表的文章《多模式話語的社會符號學分析》,該文是對Gunther Kress和Theo Van Leeuwen 1996年建構的視覺語法的介紹。通過檢索中國知網、維普、萬方等學術平臺,我們發現多模態理論引進中國十餘年來,國內相關研究逐年增加,尤其是近幾年數量激增,呈「井噴」態勢。2017年11月24—26日,同濟大學舉辦第一屆全國多模態研究高層論壇,來自海內外100多所高校的180多位學者參加。從與會者提交的論文來看,我國的多模態研究觸角已遍及話語分析、語料庫、認知與傳播、教育教學多個人文社科前沿領域,甚至在和語音與腦電分析、醫學臨床診斷與治療等自然科學的協同創新中也卓有成就。當前,多模態研究遍地開花、果實纍纍,但其中與翻譯研究相關的論文可謂鳳毛麟角。此次會議僅有兩篇,網上檢索到的也極少,可見多模態這一嶄新的翻譯研究視角剛開始引起學界的關注,正在孕育與成長之中。

  方夢之教授主編的《譯學辭典》中將翻譯定義為按照社會認知需要、在具有不同規則的符號系統之間傳遞信息的語言文化活動。由此可見翻譯的含義有兩個維度:廣義的翻譯指不同符號系統之間的信息傳遞活動,包括語言與語言之間、語言與符號之間,以及符號與符號之間。其中,語言當然是人類信息交流最重要的符號之一,而此處我們所說的符號主要是指除去人類自然語言的其他符號類型,比如手勢語、旗語、信號燈、計算機語言、工程圖學語言等。狹義的翻譯僅指不同語言之間的轉換活動,包括語內翻譯和語際翻譯兩大類。語前者是同一種語言內部的轉換,比如古漢語譯為現代漢語、蘇州話譯為普通話等;語後者則是指本族語和外族語之間的轉換,比如英譯漢、法譯日等。

  無論是廣義的翻譯還是狹義的翻譯,都包含著多種符號系統的轉換與信息傳遞。換句話說,在翻譯這一活動過程中,無論是語言文字還是其他類型的符號,都參與意義的構建,從而實現信息傳遞的目的。即使就狹義的翻譯而言,在從一種語言文字到另一種語言文字的轉換過程中,對於某些類型的原文本,譯者應關注的不僅有語言文字信息,還有除此之外的其他模態符號所呈現的意義。因此,翻譯活動本身包含著多模態信息傳遞的內容,我們借鑑多模態話語分析的理論與成果來考察翻譯產品與過程,作為翻譯研究的新視角,具有其內在的合理性與可行性。

  譯者的工作起點是原文本,終點是譯文本,過程則是語言文字的轉換活動,但這並不意味著他要考慮和處理的對象只有語言和文字。如遇到詩歌翻譯中常見的視覺意象、聽覺意象、觸覺意象,小說和散文中繪聲繪色的描寫等,即顧曰國教授所稱的「單媒介文本中的多模態內容」(multimodal content in mono-medium text),這時譯者的任務不僅要在譯作中傳達原作的語言文字信息,還要將原作中語言文字背後所附帶的多模態信息挖掘出來,並盡力在譯作中予以還原與再現。儘管在不同的語言文字和模態類型的轉換中,意義的減損在所難免,但在從事此類多模態內容的原作翻譯中,譯者唯有特別注意到了多模態符號意義的傳達並盡力而為,才有可能使譯作讀者得到與原作讀者儘可能相近的閱讀效果。其中特徵最為明顯的一類原文本當屬中國戲曲。不同於現代的話劇只說不唱,也不同於西方的歌劇只唱不舞,更不同於舞劇既不說也不唱只表演,戲曲是一門綜合性的藝術,由語言、音樂、演唱、表演、舞蹈、道具、布景等多種要素構成,是一個多模態、多符號的集合體,尤其需要從多模態的角度予以關注。從實踐上,使譯作讀起來像戲曲原作,既不同於單媒介文本呈現的單模態內容,也不同於詩歌、小說、散文等其他文學樣式;從理論上,尋找、歸納與梳理不同模態語法及其模態意義的生成規律,納入翻譯研究的框架,進行學科術語的轉換與適用性改造,並探索譯作中多模態信息傳達的途徑、策略與方法。這些都是翻譯界的譯者與研究者應共同關注與深入探究的問題。此外,電視劇、電影、電視節目的字幕翻譯,與戲曲翻譯有相似之處,但又不完全相同,在翻譯中也應考慮多模態的要素。

  語言學與翻譯研究向來相輔相成。從多模態的視角切入翻譯實踐和研究,我們能夠得到更多新的發現與收穫,從而豐富和完善翻譯研究的分支,同時也是對多模態話語分析這一語言學理論的開發與拓展。

 

  (本文系江蘇高校哲學社會科學研究一般項目「視覺模態下的崑劇《牡丹亭》英譯研究」 (2016SJB740027)階段性成果)

  (作者單位:蘇州大學跨文化研究中心、天津職業技術師範大學非盟研究中心)

分享到: 0轉載請註明來源:中國社會科學網 (責編:馮瑤)

相關焦點

  • 多模態話語:翻譯不只是語言文字
    翻譯,作為溝通不同語言的橋梁,在人類的歷史進程和文化傳播過程中具有不可磨滅的意義,翻譯發展至今,已經不再局限於傳統的文字和字幕翻譯,在科學技術的支持下,翻譯實現著從人工領域向機器領域的擴展,其中衍生出諸多的翻譯產品,例如翻譯軟體、翻譯機等,滿足人們在多種場景下的使用需求。
  • 多模態研究:認知語言學的新方法
    多模態研究:認知語言學的新方法 2017年09月12日 07:39 來源:中國社會科學網-中國社會科學報 作者:王中祥 字號 內容摘要:所謂多模態研究,是指通過多種技術手段記錄人際交流過程中不同類型的模態數據
  • 鄧力、何曉冬深度解讀:多模態智能未來的研究熱點
    作者 | 鄧力、何曉冬編輯 | 叢末基於深度學習的機器學習方法已經在語音、文本、圖像等單一模態領域取得了巨大的成功,而同時涉及到多種輸入模態的多模態機器學習研究有巨大的應用前景和廣泛的研究價值,成為了近年來的研究熱點。
  • ICLR 2020 | 多模態下使用圖片信息顯著增強機器翻譯效果
    Translation with Universal Visual Representation論文作者:Zhuosheng Zhang, Kehai Chen, Rui Wang, Masao Utiyama, Eiichiro Sumita, Zuchao Li, Hai Zhao論文連結:
  • 構式語法研究的新動向——多模態構式語法
    眾所周知,語言文字是人類交際的重要手段,而我們要強調的是,作為非言語模態的手語和盲文也是語言文字的重要組成部分。近年來,隨著音視頻、計算機等現代技術的發展,更多關注非語言語境因素、關注交際者如何使用各種模態資源實現社會交際活動的多模態互動研究方興未艾,已有學者將多模態互動研究運用在漢語研究中。
  • 多模態學習分析:通過多模態數據分析與接口實現學習的未來
    多模態界面和多模態學習分析在評估開放性學習環境中的學習方面有很大的前景。由於其對多種數據流和自然界面的豐富整合,這一研究領域可通過支持替代性學習模式,幫助迎來新一輪的教育改革。為此,我的首要研究問題是:&34;主要的子問題是:"能否利用基於人工智慧技術構成的連續的多模態監測系統來描述 SPBL 環境中的學習過程?作者的假設是,利用多模態數據可以更好地讓教育者和教育研究者捕捉到學生的整體情況。這個完整的情景將有助於開發出豐富而複雜的每個學生的學習情況。此外,隨著我們能夠更好地理解和自動處理這些數據,我們將能夠開創學習界面的未來。
  • Gartner最新報告:百度翻譯整合多項AI能力 多模態翻譯助跨國交流
    近日,全球權威的技術研究與諮詢機構Gartner發布最新報告《Market Guide for AI-Enabled Translation Services》,百度憑藉在機器翻譯方面出色的表現強勢入圍全球AI翻譯服務代表性提供商(representative vendor)。
  • 多模態話語視域下扶貧宣傳片對外傳播文本研究
    多模態話語視域下扶貧宣傳片對外傳播文本研究  ——以中國網Path To Prosperity系列短片為例  作者:北京工商大學傳媒與設計學院新聞系  本研究擬借鑑多模態話語分析綜合理論框架和視覺語法理論,建構一個包含文化、語境、形式、意義四個層面的理論框架,對系列短片中多符號系統要素的使用展開研究,探究研究對象是如何運用包含多種模態在內的語篇資源,構建起語篇的整體意義,並實現其傳播目的。
  • IBM美國研究院首席研究員淦創:多模態視頻理解的研究與應用:公開課...
    理解與建模不同模態之間的交互式視頻分析任務的關鍵,如分類、目標檢測、活動識別等。目前關於視頻理解的研究主要集中在視頻的視覺模態上,而視頻數據本身是多模態的,包括視頻,聲音,文本等。我們人類本身也是通過多模態融合來感知周圍的環境。心理學家也在多項實驗中發現,嬰兒其實可以通過圖像,聲音和語言的多模式來認識,互動和理解物理世界。
  • 聚焦多模態自然語言處理 京東智聯雲亮相NLPCC 2020
    近年來,人工智慧 (AI) 在涉及單一模態如語音、自然語言和視覺等領域,取得了重大突破。在單一模態的任務上,如物體識別、語音識別、機器翻譯等,AI 系統在特定數據集上的表現水平與人類相當。隨著單模態人工智慧潛在問題的解決,研究人員意識到更高層次的AI任務往往涉及到跨多種模式的更複雜的信息處理。同時,局限於單一模態的研究往往不能充分利用跨模態信息。因此,研究多模態建模與學習方法具有重要的意義。在本次國際自然語言處理與中文計算會議(NLPCC 2020)上, 京東智聯雲舉辦了第一屆「多模態自然語言處理研討會」。
  • 推進外語教學研究改革創新
    與會專家學者圍繞會議主題「後疫情時代外語教學研究的新視角」展開廣泛研討和交流。  培養參與全球治理的外語人才  新形勢對外語人才培養提出了更高要求,後疫情時代外語教育要堅持國家意識和國際視野。上海交通大學外國語學院教授楊楓認為,中國外語界應積極參與世界知識與文化體系構建。
  • 快速精確的多模態遙感影像自動配準
    近幾十年來,雖然影像配準技術得到了快速的發展,但多模態遙感影像(光學、紅外、SAR、LiDAR和柵格地圖等)的自動精確配準依然是國際遙感領域尚未解決的難題。目前,國際上的一些主流商業軟體(如ERDAS、ENVI和PCI等)還不能有效地實現多模態影像的自動配準,在實際生產中,多模態遙感影像的配準通常需要人工選取同名點,這種方法費時費力,而且人為主觀因素會導致不同程度的配準誤差,降低了生產效率。
  • 專訪俞棟:多模態是邁向通用人工智慧的重要方向
    在這種探索和思考下,「多模態」成為人工智慧領域諸領軍式專家和學者重點談及的研究方向,例如,自然語言處理領域專家劉群教授在此前與 AI 科技評論的對話中,就曾談及諾亞方舟語音語義實驗室目前的一大重點研究方向便是多模態;德國漢堡科學院院士張建偉認為人機互動的未來是多模態共享模式;計算機視覺領域專家賈佳亞教授則在多場演講中提出「多模態是人工智慧的未來」這一觀點。
  • 深度學習用於多模態語義學習簡述
    不同類型的媒體數據從不同側面反映了高層語義,因此多模態語義學習需要對不同模態的信息進行整合。1976年,麥格克(McGurk)等人驗證了人類對外界信息的認知是基於不同感官信息而形成的整體性理解,任何感官信息的缺乏或不準確,都將導致大腦對外界信息的理解產生偏差,這個現象被稱為「McGurk現象」。McGurk現象揭示了大腦在進行感知時,不同感官會被無意識地自動結合在一起對信息進行處理。
  • 多模態深度學習綜述:網絡結構設計和模態融合方法匯總
    這些領域中的任務都只涉及單模態的輸入,但是最近更多的應用都需要涉及到多種模態的智慧。多模態深度學習主要包含三個方面:多模態學習表徵,多模態信號融合以及多模態應用,而本文主要關注計算機視覺和自然語言處理的相關融合方法,包括網絡結構設計和模態融合方法(對於特定任務而言)。
  • 解放軍總醫院趙敏:多模態醫學數據分析面臨四大問題
    獲取患者相關數據的每類方式均為一種數據模態,不同模態的醫學數據都從特定的角度提供了患者的診療信息,信息間既有重疊又有互補,結合多種類的醫學信息則進一步提高了診斷治療的準確性。在大數據時代背景下,算法工具和數據分析技術的不斷創新也極大地促進了多模態數據融合分析的發展。
  • 古典文明接受史研究:古希臘、羅馬文明研究的新視角
    古典文明接受史研究:古希臘、羅馬文明研究的新視角 白春曉 (武漢大學副研究員) 2010年,美國《文化評論》雜誌出版了一期《古典文明接受史與政治》的專刊。
  • Cross-Modal & Metric Learning 跨模態檢索專題-1
    並沒有時間和能力寫綜述,思來想去就以研究較多的圖文跨模態檢索為切入點來介紹下相關工作。本專題計劃分3個部分介紹圖文跨模態檢索的一些工作與思考。第一篇將側重 "multi-modal" 和 "application", 介紹相關概念與研究背景;第二、三篇會側重"algorithm" 介紹這個方向研究的技術路線,其中第二篇介紹基於 GAN 的追求公共子空間的 cross-modal 檢索;第三篇則從 modal 抽象成更一般的 domain,並且將多域擴展到單域,總結分析單/
  • 促進中國翻譯研究深入發展
    同濟大學外國語學院院長吳贇提出,翻譯研究有必要拓展研究疆域,探索在翻譯過程中如何對除語言信息之外的其他模態符號進行意義的構建、轉換與輸出。面對「講好中國故事,傳播好中國聲音」這一國家命題,運用生動形象的語言與非語言符號系統,開拓文字、圖畫、視聽等多模態融合的翻譯敘事,成為「打造融通中外的新概念、新範疇、新表述」的題中應有之義。
  • 第四屆《外國語》翻譯研究高層論壇在線召開
    翻譯作為溝通世界、服務國家發展需要的重要路徑,被賦予了新的內涵與責任。此次會議聚集了國內多位翻譯界知名學者,與會專家圍繞對外話語能力提升、譯學理論建構、應用翻譯研究、翻譯教育發展等議題展開研討。「讀圖時代」的來臨將訴諸文字的言語與訴諸畫面的圖像兩者有機結合,指明了翻譯研究的新增長點與突破點。  吳贇以「中國對外話語的多模態翻譯研究」為題作了交流發言。她提出,多模態已經成為意義表達、闡釋與接受的基本特徵,翻譯研究有必要拓展以語言為中心的研究疆域,探索除語言信息之外的其他模態符號在翻譯過程中意義的構建、轉換與輸出。