1949年，柏楊跟隨國民黨敗退的路線一路南下到上海，機緣巧合，孑然一身的他最終跟著「老長官」吳文義一路到臺灣。初到臺灣的柏楊歷經坎坷，人海茫茫，舉目無親；其後因收聽北京電臺的廣播，被稱「匪諜」而入獄。
也是在臺灣，29歲的柏楊與第三位妻子齊永培結合，並喜獲二子城城與恆恆，「我們曾經過了三四年的平靜日子，永培樸實、勤勞、節儉」，柏楊回憶，但「兩個人的性格發生嚴重衝突」，他總結，「這是一個錯誤的婚姻」。
其間，柏楊加入由蔣經國創建的「救國團」，「救國團」被外人稱為「太子門下」，「從此，大家把我歸類為蔣經國的人」，柏楊自述；但同時，他在「中國青年寫作會」任總幹事，除上班時候外，都在寫他的反映當時臺灣民生不易的小說。
1958年冬天，任「救國團」高級職員(副組長)的柏楊認識了靜宜英語專科學校學生、中興大學教授倪渭卿之女倪明華，這場愛情，使柏楊「跟永培仳離，和整個社會作對」。
柏、倪二人組建了一個平靜的小家庭，婚後第二年，女兒佳佳出生，此前，所有的孩子早與柏楊疏遠，佳佳成為當時的柏楊「唯一的親情慰藉」。為維持家庭，他始以「柏楊」之筆名進行雜文創作，持續十年，其間結識了生死相交的美國匹茲堡大學物理學博士孫觀漢先生與讀者陳麗真。
但惡運從天而降。1967年夏天，柏楊接下《中華日報》家庭版翻譯《大力水手》漫畫，有一幅畫的是波派和他的兒子流浪到一個島上，父子競選總統，發表演說，開場時，波派說，「Fellows……」，這個詞，被柏楊信手拈來，譯成「全國軍民同胞們」，此為當時蔣介石發言中常見的對民眾的稱呼，留下聯想空間。1967年1月2日，《中華日報》刊出這幅漫畫，最終觸怒臺灣當局，以「侮辱元首」、「通匪」等罪名於當年3月4日，從家中「帶走」柏楊。
因言獲罪的柏楊當時對蔣經國仍心存幻想，他在給倪明華的信中一度提及，「蔣經國主任是非必明」。在被調查局調查時，柏楊的口供「無法使特務們滿意」，最悽慘之時，他曾遭毒打、誘供；他並不清楚自己犯了何罪，看到起訴書後，終於明白，「蔣經國要殺我」。
入獄後，倪明華終與柏楊勞燕分飛，兩人結束十年婚姻，柏楊為此曾絕食21天。他感悟，夫妻本是同林鳥，大難來時各自飛，「現在什麼都沒有了，過去四十年，只是一場漫長的夢」。
入獄是考驗，亦是分水嶺，至此柏楊對政治、世相、人情冷暖等均有了不同的領悟。
長達9年26天的身居囹圄，在簡陋的牢房中，柏楊開始寫史，他堅持完成《中國歷代帝王皇后親王公主世系》、《中國歷史年表》及《中國人史綱》三部書稿，他在狹小的天地中構思，「我建立我自己最基本的史觀，就是我為小民寫史，而不是為帝王將相寫家譜；我想突破兩千年以來被視為正統的、以朝代為單元的體裁」。
出獄時，別的獄友「不希望把黴氣帶回家」，柏楊卻是把每一樣有監獄標誌的東西，都當作珍貴的紀念品，「小心翼翼地裝進行李袋」。