1861年，三十三歲的趙之謙應友人之邀，同時也為了躲避戰亂，來到了溫州。在那裡，趙之謙見到了以前未曾見過的新奇花卉和海洋生物，然後將它們一一寫入畫中。被稱為有「奇趣」《異魚圖》就是那個時候的作品。
趙之謙是清代的著名畫家，和任伯年、吳昌碩並稱「清末三大畫家」。但其實他是多面發展的人才，不僅是繪畫領域，在書法、篆刻上都有很高的成就，他所謂的「三絕」就是指這些。
要說到趙之謙的繪畫，也是獨具風格，他善於花鳥畫，賦色鮮明，渾厚嫻靜，開創了海派畫風。潘天壽在《中國繪畫史》中寫道：「會稽撝叔趙之謙，以金石書菌作花並，宏肆古麗，並前海派之先河。」
花卉是他的強項，《異魚圖》這樣的主題畫起來他也是得心應手。由於第一次來到溫州，三面環山一面臨海的地理環境給了趙之謙不一樣的體驗，他被這裡的獨特的風土人情和奇異的動植物吸引，因而多次尋訪考證，仔細觀察這些奇異生物，並一一描繪出來。
《異魚圖》中，趙之謙畫了有十五種海生物，內容豐富，都是些趙之謙之前沒見過、沒聽過的海洋生物。落款上則寫著「鹹豐辛酉，撝叔客東甌，見海物有奇形怪狀者，雜圖此紙，間為考證名義，傳神阿堵，意在斯乎。」
《異魚圖》中各種海中生物大小不一，構圖卻是疏密交錯，繁而不亂。趙之謙取象寫意，筆墨飽滿，設色清雅明淨，他通過疏密、輕重、濃淡的合理安排來取得畫面平衡，使得這幅畫雅俗共賞，極富生氣，成為歷代藏家都看重的作品。
《異魚圖》上面有多處題跋，這是因為趙之謙曾多次將圖拿給其他人觀賞。離開溫州後，趙之謙便一直帶著《異魚圖》南下北上，在這期間，有幾個人先後欣賞了這幅畫，並留下了題跋。
比如叔，趙之謙和他雖然相識不是很久，但很聊得來，兩人之間有很多共鳴，算是知音友人。趙之謙還曾將同樣在溫州繪製的《甌中物產卷》贈給江弢叔，並請其為《異魚圖》題跋。
江弢叔的跋文是這樣寫的：
疏草木，注蟲魚，非我撝叔事，然且為之枉其心矣。今天下之怪物不在鱗介，亦既時產於海濱，撝叔今年客瑞安，既飽見之，使能以筆為刀而盡膾焉。棄其殘者於海，必且化為十百千種異魚而為畫所不能盡矣！時叔方佐東甌戎幕，故記之如此。辛酉十月九日，長洲。
《異魚圖》被稱為「奇趣」，不僅是因為趙之謙的繪畫技巧和思想上，還有一個原因就是因為畫中的千奇百怪的異魚，這些魚並不常見，因而能給人一種新奇的體驗。畫前人所未畫，同樣在上面題跋的劉焞和陳寶善便都指出了這種奇物異草所帶來的「奇趣」感。
趙之謙在畫《異魚圖》時，都是經過他親自取材考證的，他在溫州親眼見到的各種海洋生物。也許對於當地來說是一種常見的生物，但對趙之謙來說，這些卻是全新的生物。因而在畫這幅圖的時候，趙之謙並不僅僅是記錄下異魚怪草，也帶有對一地物產與風俗的考證目的。
因而我們還可以看到，在這幅畫中，不論是大魚還是小蝦，每個生物下面趙之謙都細緻地貼上了考證題識，這便使得此幅畫成為了一種考證資料。
在日常繪畫中，他的取材對象都是自然生活中的常見之景之物，親眼所見，親身所感，然後繪於畫中。他的作畫宗旨是：「學由博返約，畫以繁入簡，丈夫為其難，無取悅俗眼。」其藝術風格對後世有著很深遠的影響。