多模態:翻譯研究的新視角

2020-12-06 中國社會科學網
多模態:翻譯研究的新視角

2017年12月26日 08:24 來源:中國社會科學網-中國社會科學報 作者:朱玲

字號

內容摘要:現代科學技術的迅猛發展,為人們獲取、檢索、分析和加工信息提供了更為便捷的途徑,也加速打破了語言學的認知藩籬,多模態話語分析理論(multimodal discourse analysis)於20世紀90年代在西方應運而生。由此可見翻譯的含義有兩個維度:廣義的翻譯指不同符號系統之間的信息傳遞活動,包括語言與語言之間、語言與符號之間,以及符號與符號之間。因此,翻譯活動本身包含著多模態信息傳遞的內容,我們借鑑多模態話語分析的理論與成果來考察翻譯產品與過程,作為翻譯研究的新視角,具有其內在的合理性與可行性。從多模態的視角切入翻譯實踐和研究,我們能夠得到更多新的發現與收穫,從而豐富和完善翻譯研究的分支,同時也是對多模態話語分析這一語言學理論的開發與拓展。

關鍵詞:語言文字;翻譯研究;模態話語;語法;話語分析;譯者;譯作;原作;信息傳遞;戲曲

作者簡介:

  無論是廣義的翻譯還是狹義的翻譯,都包含著多種符號系統的轉換與信息傳遞。換句話說,在翻譯這一活動過程中,無論是語言文字還是其他類型的符號,都參與意義的構建,從而實現信息傳遞的目的。

 

   現代科學技術的迅猛發展,為人們獲取、檢索、分析和加工信息提供了更為便捷的途徑,也加速打破了語言學的認知藩籬,多模態話語分析理論(multimodal discourse analysis)於20世紀90年代在西方應運而生。在此之前,語言學研究主要以文本為基礎,而多模態則把所有交際模態看作意義生成的資源,認為在日常生活中人們除了使用語言,常常還運用其他一種或幾種符號資源參與意義的構建,從而達到交際的目的。換句話說,意義的構建是通過多模態話語的形式來實現的。無論是文字、聲音、圖像、色彩還是面部表情、肢體動作等,多模態話語中的每種模態都是意義生成資源。我們可以發現和制定每種模態的語法,得出該模態意義生成的規律。

  我國對於多模態話語分析的關注,最早見於李戰子教授在《外語研究》2003年第5期發表的文章《多模式話語的社會符號學分析》,該文是對Gunther Kress和Theo Van Leeuwen 1996年建構的視覺語法的介紹。通過檢索中國知網、維普、萬方等學術平臺,我們發現多模態理論引進中國十餘年來,國內相關研究逐年增加,尤其是近幾年數量激增,呈「井噴」態勢。2017年11月24—26日,同濟大學舉辦第一屆全國多模態研究高層論壇,來自海內外100多所高校的180多位學者參加。從與會者提交的論文來看,我國的多模態研究觸角已遍及話語分析、語料庫、認知與傳播、教育教學多個人文社科前沿領域,甚至在和語音與腦電分析、醫學臨床診斷與治療等自然科學的協同創新中也卓有成就。當前,多模態研究遍地開花、果實纍纍,但其中與翻譯研究相關的論文可謂鳳毛麟角。此次會議僅有兩篇,網上檢索到的也極少,可見多模態這一嶄新的翻譯研究視角剛開始引起學界的關注,正在孕育與成長之中。

  方夢之教授主編的《譯學辭典》中將翻譯定義為按照社會認知需要、在具有不同規則的符號系統之間傳遞信息的語言文化活動。由此可見翻譯的含義有兩個維度:廣義的翻譯指不同符號系統之間的信息傳遞活動,包括語言與語言之間、語言與符號之間,以及符號與符號之間。其中,語言當然是人類信息交流最重要的符號之一,而此處我們所說的符號主要是指除去人類自然語言的其他符號類型,比如手勢語、旗語、信號燈、計算機語言、工程圖學語言等。狹義的翻譯僅指不同語言之間的轉換活動,包括語內翻譯和語際翻譯兩大類。語前者是同一種語言內部的轉換,比如古漢語譯為現代漢語、蘇州話譯為普通話等;語後者則是指本族語和外族語之間的轉換,比如英譯漢、法譯日等。

  無論是廣義的翻譯還是狹義的翻譯,都包含著多種符號系統的轉換與信息傳遞。換句話說,在翻譯這一活動過程中,無論是語言文字還是其他類型的符號,都參與意義的構建,從而實現信息傳遞的目的。即使就狹義的翻譯而言,在從一種語言文字到另一種語言文字的轉換過程中,對於某些類型的原文本,譯者應關注的不僅有語言文字信息,還有除此之外的其他模態符號所呈現的意義。因此,翻譯活動本身包含著多模態信息傳遞的內容,我們借鑑多模態話語分析的理論與成果來考察翻譯產品與過程,作為翻譯研究的新視角,具有其內在的合理性與可行性。

  譯者的工作起點是原文本,終點是譯文本,過程則是語言文字的轉換活動,但這並不意味著他要考慮和處理的對象只有語言和文字。如遇到詩歌翻譯中常見的視覺意象、聽覺意象、觸覺意象,小說和散文中繪聲繪色的描寫等,即顧曰國教授所稱的「單媒介文本中的多模態內容」(multimodal content in mono-medium text),這時譯者的任務不僅要在譯作中傳達原作的語言文字信息,還要將原作中語言文字背後所附帶的多模態信息挖掘出來,並盡力在譯作中予以還原與再現。儘管在不同的語言文字和模態類型的轉換中,意義的減損在所難免,但在從事此類多模態內容的原作翻譯中,譯者唯有特別注意到了多模態符號意義的傳達並盡力而為,才有可能使譯作讀者得到與原作讀者儘可能相近的閱讀效果。其中特徵最為明顯的一類原文本當屬中國戲曲。不同於現代的話劇只說不唱,也不同於西方的歌劇只唱不舞,更不同於舞劇既不說也不唱只表演,戲曲是一門綜合性的藝術,由語言、音樂、演唱、表演、舞蹈、道具、布景等多種要素構成,是一個多模態、多符號的集合體,尤其需要從多模態的角度予以關注。從實踐上,使譯作讀起來像戲曲原作,既不同於單媒介文本呈現的單模態內容,也不同於詩歌、小說、散文等其他文學樣式;從理論上,尋找、歸納與梳理不同模態語法及其模態意義的生成規律,納入翻譯研究的框架,進行學科術語的轉換與適用性改造,並探索譯作中多模態信息傳達的途徑、策略與方法。這些都是翻譯界的譯者與研究者應共同關注與深入探究的問題。此外,電視劇、電影、電視節目的字幕翻譯,與戲曲翻譯有相似之處,但又不完全相同,在翻譯中也應考慮多模態的要素。

  語言學與翻譯研究向來相輔相成。從多模態的視角切入翻譯實踐和研究,我們能夠得到更多新的發現與收穫,從而豐富和完善翻譯研究的分支,同時也是對多模態話語分析這一語言學理論的開發與拓展。

 

  (本文系江蘇高校哲學社會科學研究一般項目「視覺模態下的崑劇《牡丹亭》英譯研究」 (2016SJB740027)階段性成果)

  (作者單位:蘇州大學跨文化研究中心、天津職業技術師範大學非盟研究中心)

分享到: 0轉載請註明來源:中國社會科學網 (責編:馮瑤)

相關焦點

  • 多模態話語:翻譯不只是語言文字
    翻譯,作為溝通不同語言的橋梁,在人類的歷史進程和文化傳播過程中具有不可磨滅的意義,翻譯發展至今,已經不再局限於傳統的文字和字幕翻譯,在科學技術的支持下,翻譯實現著從人工領域向機器領域的擴展,其中衍生出諸多的翻譯產品,例如翻譯軟體、翻譯機等,滿足人們在多種場景下的使用需求。
  • 多模態研究:認知語言學的新方法
    多模態研究:認知語言學的新方法 2017年09月12日 07:39 來源:中國社會科學網-中國社會科學報 作者:王中祥 字號 內容摘要:所謂多模態研究,是指通過多種技術手段記錄人際交流過程中不同類型的模態數據
  • 多模態分子影像的研究進展
    多模態分子影像中的分子探針能同時進行多種方式的顯像,克服了單一顯像方式的不足,實現了優勢互補,拓寬了分子影像技術的應用範圍。多模態分子顯像分為直接顯像和間接顯像,均需構建相應的分子探針。直接顯像指標記探針直接與目標靶特異性結合達到顯像的目的,直接顯像的多模態探針需要針對一個目標靶向蛋白連接不同的顯像功能基團,此方法需要對每一個靶構建相應的探針,且受到偶聯位點數目的限制。
  • Gartner最新報告:百度翻譯整合多項AI能力 多模態翻譯助跨國交流
    近日,全球權威的技術研究與諮詢機構Gartner發布最新報告《Market Guide for AI-Enabled Translation Services》,百度憑藉在機器翻譯方面出色的表現強勢入圍全球AI翻譯服務代表性提供商(representative vendor)。
  • 從體驗認知視域談多模態教學
    越來越多的實證研究證據表明:感覺與動覺的體驗包含於認知的過程中,我們的身體不僅是認知的感受器和傳導器,也是認知形成過程中的一部分。現實生活中的語言交流很少依靠單一的聽說模態,而是整合了視覺、動覺、觸覺等多重模態,故而語言學習在本質上也應是多模態的。因此多模態教學鼓勵將不同的感官模態整合起來,而不是像傳統的外語教學那樣過度地依賴聽說。
  • 多模態神經影像學在癲癇網絡中的研究進展
    運用多模態的研究方法發現,癲癇的發生和傳播是由於致癇皮質的癲癇網絡異常而不是單純的致癇灶的病變所引起,同時抑制或破壞致癇皮質的癲癇網絡將為手術治療癲癇提供更加可靠的方法。相關研究利用多模態融合技術,發現發作間期癇樣放電對大腦的功能組織產生普遍的瞬時影響,癲癇網絡連接的改變與發作間期癇樣放電的瞬時效應密切相關。 1.
  • 論文賞析:基於多模態識讀能力培養的英語教學模式研
    人們不僅要能夠理解這些信息,還必須能夠用同樣的多模態方式來呈現知識和表達思想。由此可見,「讀寫」的意義擴展了,它不再專門用來表示理解和書寫文字,而是指理解和生產多種交際模態的能力,即多模態讀寫能力,或多元識讀能力。社會符號的多模態化引起了學界的普遍關注,國內外學者在該領域取得了豐碩的研究成果。Royce 提出了多模態話語的分析框架[1]
  • 聚焦多模態自然語言處理等AI技術,京東智聯雲亮相NLPCC 2020
    近年來,人工智慧 (AI) 在涉及單一模態如語音、自然語言和視覺等領域,取得了重大突破。在單一模態的任務上,如物體識別、語音識別、機器翻譯等,AI 系統在特定數據集上的表現水平與人類相當。隨著單模態人工智慧潛在問題的解決,研究人員意識到更高層次的AI任務往往涉及到跨多種模式的更複雜的信息處理。同時,局限於單一模態的研究往往不能充分利用跨模態信息。
  • 多模態神經導航在膠質瘤手術治療的應用_神經膠質瘤_多模態影像...
    對於腦功能區膠質瘤,傳統手術不能很好地判定腫瘤與周圍結構的空間位置關係,從而導致病人術後出現較多併發症和神經功能缺失。近年來,隨著醫學科技發展,神經導航技術、多模態影像融合技術在神經外科手術得到廣泛應用,這些技術能夠幫助術者在術前制定更合適的手術計劃,術中更加精準地定位腫瘤。
  • 多模態數據融合:方法、挑戰和展望
    現如今,多視圖、多關係和多模態數據的研究利用往往與高影響力的商業、社會、生物醫學、環境和軍事領域相關聯,這也使得開發新的高效分析方法的具有豐富的市場以及社會需求,並遠遠超出了純粹的學術興趣。在這種情況下,每個採集框架被表示為一個模態,並且與一個數據集相關聯。整個設置,其中一個人可以訪問從多個模態獲得的數據,被稱為多模態。多模態的一個關鍵特性是互補性,也就是說,每一種模態都給整體帶來某種類型的附加值,而這種附加值是不能從設置中的任何其他模態中推導或獲得的。
  • 多模態柔性傳感器系統是什麼樣的?
    多模態柔性植物健康監測傳感器(左),具有不同功能組件的傳感器結構示意圖(右)據麥姆斯諮詢報導,近日在ACS Nano上發表的一篇題為《多模態植物健康監測柔性傳感器系統》的研究報導中,日本大阪府大學(Osaka Prefecture University, OPU)的研究人員介紹了一種集成的多模態柔性傳感器系統,包括一個室內溼度傳感器、一個樹葉溼度傳感器
  • 自動化所973項目「多模態分子影像關鍵科學問題研究」在結題驗收中...
    中國科學院自動化研究所分子影像院重點實驗室主任田捷主持的973項目「多模態分子影像關鍵科學問題研究」順利通過,被評為「優秀」。   此前,科技部組織召開了973項目結題驗收會議,專家組聽取了田捷的匯報答辯之後,對該項目研究計劃完成情況、項目實施效果、研究成果的水平與創新性、首席科學家作用、研究隊伍創新能力、優秀人才培養情況,以及項目組織管理等方面進行了綜合評價。
  • 京東姚霆:推理能力,正是多模態技術未來亟需突破的瓶頸!
    以學術研究帶動產業落地,正是姚霆所帶領的團隊要做的事,在多模態技術研究上,這支團隊一直嘗試多模態領域有所突破,比如近期該實驗室在視覺與語言方向提出了一個全新的高階注意力機制(X-linear Attention Block),首次將其融入至圖像描述生成任務中,主要的技術創新是打破了傳統注意力機制中一階的特徵交互限制,通過所設計的高階注意力機制可以靈活地捕捉不同模態間高階乃至無窮階的特徵交互
  • 多模態磁共振技術在頸部淋巴結定性診斷中的臨床應用研究
    多模態磁共振技術在頸部淋巴結定性診斷中的臨床應用研究
  • 多模態 AI 系統?從文本直接創建圖像!OpenAI發布新人工智慧系統
    1月5日,人工智慧(AI)研究組織OpenAI重磅推出了最新的語言模型DALL·E和圖像識別系統CLIP。這兩個模型是OpenAI第三代語言生成器的一個分支。兩種神經網絡都旨在生成能夠理解圖像和相關文本的模型。
  • 快手科技李巖:多模態技術在產業界的應用與未來展望
    李巖在演講中表示,多模態技術有兩大應用方向,一是會改變人機互動的方式,二是將使信息分發更加高效;視頻本身就是一個多模態的問題,而快手則擁有海量的多模態數據,多模態的研究對於快手來說是非常重要的課題;目前快手已經在語音識別與合成、智能視頻配樂、通過 2D 圖像驅動 3D 建模特效、視頻精準理解等領域對多模態技術進行研發應用。
  • 基於完全卷積神經網絡的多模態嬰兒腦圖分割技術
    摘要將嬰兒腦組織圖像分割成白質(WM)、灰質(GM)和腦脊液(CSF),對研究早期腦發育具有重要作用。現有的等強度組織分割方法通常在單一 T1、T2 或部分各向異性(FA)模態或其簡單疊加組合上採用基於 patch 的稀疏標記,此類方法並沒有充分挖掘多模態信息。為了解決這一難題,在本文中,我們提出使用全連接卷積網絡(FCNs)來分割等強度相位的腦磁振造影圖像。我們不是簡單地將三種模式疊加在一起,而是針對每幅圖像訓練一個網絡,然後將它們的高層特徵融合在一起進行最終的分割。具體來說。
  • 多模態視野下的國家媒介形象:概念與特徵
    多模態符號的獨特符號邏輯賦予其特殊意義潛勢,不僅可增強形象建構的動態性與情境性,而且可訴諸不同感官渠道仿擬與相關對象類似的知覺體驗,實現更加直觀生動的媒介形象建構。隨著信息和傳媒技術的飛速發展,當今社會愈加依賴多元感官渠道和相關體驗來建構話語和獲取信息,C. Jewitt稱之為信息交流的「多模態轉向」。
  • 模態分析方法簡介:實模態和復模態,及實模態提取技術
    按照模態參數(主要指模態頻率及模態向量)是實數還是複數,模態可以分為實模態和復模態。
  • 多模態神經導航技術在顱內腫瘤手術的應用進展
    為結合解剖結構影像和功能影像,通過多種影像融合而建立綜合影像,因此,多模態影像融合技術應運而生,並在此基礎上結合神經導航進行實時定嚮導航。多模態影像融合是通過強化各種成像方法的優勢,並將其融合建立出多模態影像,來了解病變組織與器官的各方面情況,得到更準確判斷,從而制定更合理化治療方案。而以多模態影像融合為基礎的神經導航,可增強組織定位效果,優化個體化治療,大大縮減手術時間。