從文學角度看，「八十一難」最早淵源當時《大唐三藏取經詩話》，「八十一難」許多情節諸如女兒國、白骨精等故事無疑出自此書，但其宗教意味過於濃厚，其主旨在於宣揚大梵天王、定光佛等滿天神佛的至高無上，取經人的千辛萬苦反倒被淡化，故此將此書視為宗教作品，已列入第二節中討論。
文學作品中對於「八十一難」故事影響最大的莫過於元明時期的戲曲、說話、小說等文學體裁，比如《唐三藏西天取經》、無名氏《二郎神鎖齊天大聖雜劇》、無名氏《西遊記平話》、無名氏《銷釋真空寶卷》、楊志和《西遊記》小說等等，共同構成吳承恩《西遊記》中「八十一難」的大體雛形。
一、楊景賢《西遊記》雜劇
其實明代雜劇中《西遊記》題材的作品很多，比如吳昌陵《唐三藏西天取經》、無名氏《二郎神鎖齊天大聖》、《陳光蕊江流和尚》等等，但若論成書較早，影響之大當推楊景賢《西遊記》雜劇，「那六本的《西遊記》已可算是一度大結集了」故本段以此書為討論對象。
《西遊記》雜劇共有六本二十四折，分別是《之官逢道》、《逼母棄兒》、《江流認親》、《擒賊雪仇》、《詔踐西行》、《村姑演說》、《木叉售馬》、《華光署保》、《神佛降孫》、《收孫煙咒》、《行者除妖》、《鬼母皈依》、《妖豬幻惑》、《海棠傳耗》、《導女還裴》、《細犬擒豬》、《女王逼配》、《迷路問仙》、《鐵扇兇威》、《水部滅火》、《貧婆心印》、《參佛取經》、《送歸東土》、《三藏朝元》。
可以看出一至四折對應的是「八十一難」中「金蟬遭貶」、「出胎幾殺」、「滿月拋江」、「尋親報怨」。在楊景賢雜劇中，西天吡盧伽尊者託化於中國海州弘農縣陳光蕊家為子,長大出家為僧,往西天取經闡教，其父陳光蕊，其母殷開山之女，為劉洪所害，其被拋入江中，蒙丹霞禪師撫養一十八載，這才長大成人，為唐王器重，封為三藏法師，西天取經，這幾個情節與吳承恩《西遊記》中前四難的描述大同小異。在楊景賢雜劇之前，文學作品中從未有過關於唐僧出身的描述，宋代雖有《陳光蕊江流和尚》，但早已失傳，而且只是單篇，楊景賢將此衍成故事，使之成為一個整體。可以說吳承恩《西遊記》中前四難的描寫幾乎是對楊景賢《西遊記》雜劇的全盤接受。
而餘下諸折，《木叉售馬》對應第九難「陡澗換馬」，只不過雜劇是先收白龍馬後收孫悟空，小說中則先收孫悟空後收白龍馬，《行者除妖》對應第十六難「收得沙僧」，《豬妖幻惑》對應第十二難「受降八戒」。「八十一難」中紅孩兒、女兒國、火焰山等情節在雜劇中俱都出現，可以看出楊景賢雜劇雖然簡單，與吳本百回故事難以相提並論，但構建了「八十一難」的基本框架和幾大主要情節，對於《西遊記》「八十一難」的影響不容忽視，正如《中國文學史》中所講「這個劇對吳承恩的小說《西遊記》的形成有著明顯的影響。」
二、元·無名氏《西遊記》平話
所謂「平話」，實際上就是明清章回小說的前身，宋代說書藝術有「小說、講史、講經、合生」的說法，其中講史、講經的話本則稱「平話」，而這部元代《西遊記》平話，原文散佚，唯在《永樂大典》卷一萬三千一百三十九中保留了一段殘文，敘述的是魏徵斬涇河龍王之事，通過兩位漁翁之口，敘述事件，前因後果，起承轉合，情節簡練，語言樸實。
朝鮮十六世紀有一部《樸通事諺解》，其中提到並引用了一些《西遊記平話》的情節，尤其是車遲國鬥法一段，非常詳細。孫行者攪鬧車遲國道士羅天大醮，君前鬥法，猜物、下油鍋、賭頭等情節十分生動，與吳承恩《西遊記》小說第四十六回相互對應，此外尚有黑熊精、黃風怪、蜘蛛精等情節與「八十一難」中相互對應，以及女兒國、火焰山等稱謂和情節。
平話是後世長篇章回通俗小說的原型，其行文特色、語言風格、體制結構等方面都對明清長篇章回小說的定型有著重要作用。雖然《西遊記平話》今天已基本不存，但相信吳承恩應是看到過的，它對《西遊記》小說起著先導作用，對《西遊記》的成書有著重要的作用。 .
其實平話作為說書藝人的底本，與後世長篇章回小說有著千絲萬縷的聯繫，它在情節、結構、語言等方面對明清章回小說的成熟起到了一定作用。《西遊記平話》雖已散佚，但對於吳承恩《西遊記》小說的成書，尤其是「八十一難」故事的充實豐富，有著重要影響。
三、元·無名氏《銷釋真空寶卷》
所謂寶卷，本是寺院「俗講」一種，淵源於唐代「變文」，多講神佛故事、勸世文章以及一些民間傳說等等，因大多作於寺院之中，往往具有濃厚的宗教色彩，但也因其語言簡練、情節精彩，對通俗文學的發展有著深遠影響。
其實關於取經故事或者說「八十一難」題材的寶卷並非僅有《銷釋真空寶卷》一部，明清兩朝尚有《巍巍不動太山深根結果寶卷》、《清源妙道顯聖真君一了真人護國佑民忠孝二郎寶卷》等等，但《銷釋真空寶卷》中有一段二三四句式的語言，可謂取經故事的大綱，對於吳承恩《西遊記》情節的定型起到了至關重要的作用，「八十一難」中一些傳統情節在這裡也得以鞏固，同時一些新的情節也被創作而出。
唐聖主，燒寶香，三參九轉；祝香停，排鸞駕，送離金門。
將領定，孫行者，齊天大聖；豬八戒，沙和尚，四聖隨根。
正遇著，火焰山，黑松林過；見妖精，和鬼怪，魍魎成群。
羅剎女，鐵扇子，降下甘露；流沙河，紅孩兒，地勇夫人。
牛魔王，蜘蛛精，攝入洞去；南海裡，觀世音，救出唐僧。
說師父，好佛法，神通廣大；誰敢去，佛國裡，去取真經？
滅法國，顯神通，僧道鬥聖；勇師力，降邪魔，披剃為僧。
兜率天，彌勒佛，願聽法旨；極樂國，火龍駒，白馬駝經。
從東土，到西天，十萬餘裡；戲世洞，女兒國，匿了唐僧。
到西天，望聖人，殷勤禮拜；告我佛，發慈悲，開大沙門。
開寶藏，取真經，三乘教典；暫時間，一剎那，離了雷音，
取真經，回東土，得見玉帝；告我佛，求懺悔，放大光明。
到東土，獻真經，唐王大喜；金佛會，開寶藏，字字分明。
其中火焰山、流沙河、女兒國等情節再次得到豐富和定型，牛魔王、地湧夫人等人物和情節首次出現，雖然寥寥數字，但無疑給小說作者提供了一個想像的平臺，使其可以不受束縛，任意揮灑敷衍，而且「唐聖主，燒寶香，三參九轉；祝香停，排鸞駕，送離金門」、「到東土，獻真經，唐王大喜；金佛會，開寶藏，字字分明」等句，則對於「八十一難」情節的演化起到了一個前因後果的作用，通過唐僧取經所經之處所受的重視，以及取經歸來所受的禮遇，使得本是私自出境的取經行為變為政府認可、神佛佑護，充滿了正統性，這一點為吳承恩所繼承，「八十一難」基本情節在這裡得到進一步鞏固豐富，而其情感基調也在此處定型。
四、楊志和《西遊記》小說
楊志和《西遊記》小說，為「東西南北《四遊記》」之一，作於明代，共四卷四十四回，亦有《西遊記傳》、《唐三藏西遊全傳》等名稱。
「一百回本《西遊記》，蓋出於四十一回本《西遊記傳》之後，而今特盛行」「惟楊志和本大體已立」從魯迅先生的這兩句話可以看出，楊志和的《西遊記傳》雖然簡略，但卻出在吳承恩之先，「大體一立」，篳路藍縷之功，可見一斑。
楊志和《西遊記》較為粗糙，只能稱為底稿，魯迅先生雖然讚賞，卻也有「文辭荒率，僅能成書」之語，比如四卷四十回，每一回相對簡單，雖然前因後果，乃至八十一難，俱已齊備，但卻十分簡練，比如孫悟空與牛魔王各施神通變化，一場大戰，讓人嘆為觀止，在楊志和筆下居然被寥寥幾句帶過，不過我們仍應看到楊志和本《西遊記》在繼承了平話的基礎上得以繼續渲染豐富，使得「八十一難」思路得以拓展，可以說吳承恩「八十一難」的大體框架和底本即在於此。