林遠圖是林平之的先祖，原是福建莆田少林寺紅葉禪師的弟子，法號渡元。有一天，華山派的一對師兄弟嶽肅與蔡子峰來到福建蒲田少林寺作客，趁人不注意，就溜到藏經閣，偷錄蒲田少林寺秘不示人的武林秘笈《葵花寶典》，由於時間緊，字數多，他們師兄弟決定一人抄上半部，一人抄下半部，回去之後，再合在一起參詳。
這事最終被紅葉禪發現，就派自己的弟子渡元和尚到華山去興師問罪。
嶽蔡兩個師兄弟一見事情敗露，一面向渡元和尚道歉，一面向其請教《葵花寶典》裡的武學，渡元和尚原來沒有讀過這本書，看到寶典中所記載的武學之後，也起了覬覦之心，一面暗暗記住上面所載的武學，一面向蔡子峰與嶽肅解釋搪塞。
這樣，偷書賊又被人反偷了上面的武學。在華山上呆了八天之後，已經記住大部分武學之後的渡元和尚離開了華山，尋一山洞將自己所學的武學結合自己所悟，創出了一門詭異絕倫的武功——闢邪劍法，並寫在了自己的袈裟之上。
武功在手，天下我有！已經成為天下少有的武林高手的渡元和尚不滿足在蒲田少林寺裡吃齋念佛，與古佛青燈相伴，做一個苦兮兮的和尚，就找了一個藉口還俗。
他本姓林，將法名渡元倒過來，給自己起名為元圖，憑著七十二路闢邪劍法，和一百零八式翻天掌，他打遍了黑白兩道，當時號稱「三峽以西劍術第一」的青城派掌門人長青子不服氣，二人約鬥，也敗在了他的劍下。
憑著他出神入化，詭秘異常的劍法，他創立了聞名天下的福威鏢局，從此，只要鏢車上插上福威鏢局的旗子，江湖上的俠客，三山五嶽的好漢都得退避三舍。
七十歲大壽後，林元圖金貧洗手，將鏢局傳給了自己的子孫，不久去世。臨終之前，留下了「向陽巷老宅中的祖先遺物不可妄自翻看」的祖訓。
從林遠圖的經歷及他後人的表現，我們可以看出，至少林元圖在學習《闢邪劍譜》時，是自宮過的，不然的話很難練成真正的闢邪劍法。
相比之下，他的後人表現一般，武功平平，徒有劍招而缺乏關鍵的一步，闢邪劍法在他們手裡平淡無奇，泯然世人。
為什麼他後來還娶妻生子了？
林遠圖作為一個自宮了的太監，自然是沒辦法娶妻生子的，而他留下了子嗣，從林震南到林平之，在我看來，有兩個方面的原因。
一、林遠圖在出家之前就已經娶妻生子
這種事在現實中，還是在武俠小說中都是極正常的，由於和尚在歷史上地位崇高，佔用土地，而不用繳納賦稅，曾有好多人都投入了佛門，成為佛家弟子，南京就有「南朝四百八十寺，多少樓臺煙雨中」的詩句，寺廟之多，由此可見。
比如在電影《少林寺》中覺遠和尚的師父曇宗，在出家之前，就有一個女兒，也就是電視中的牧羊女。
所以，很可能林遠圖在出家之前已經娶妻生子，所以才有他的後代留下。
二、林遠圖的子孫是假的，過繼的
林遠圖在出家之前沒有娶妻生子的話，那麼在他練成了闢邪劍法之後，「欲練此功，必先自宮」，從此之後，他是不可能有孩子的。
但天下聞名的大劍客是一個太監，這傳出去不好聽，連華山派的掌門嶽不群自宮之後，都要粘上鬍子掩人耳目，說不得林遠圖的做法更進一步。
他完全可以收養或者過繼叔伯兄弟家的孩子，當成自己的兒子，再娶一個妻子，或者納一個妾，這樣有了家庭的掩護，他自宮的事情就不會被外人知道。
由於闢邪劍譜的吸引力太過強大，他害怕自己的子孫（不管親不親都是他的子孫），看了之後忍受不住，再蹈他的復轍，就留下了「向陽巷老宅裡留下的東西，後世子孫不得妄自翻看的」遺言。
一方面，可以防止他的醜事被子孫們知道，一方面，也為了保護自己的子孫，畢竟這玩事誰看了都受不了，非要練，他好不容易得來的子孫也會斷絕，逢年過節，冷豬肉都吃不上了。
只是他想不到，他那無敵的劍法，風騷的身形已經給對手留下了深刻的印象，於是乎，他曾經的手下敗類，三峽以西劍法第一的長青子天天念叨，讓他的弟子餘滄海繼任青城派掌門之後，就開始計劃，怎麼得到傳說中的《闢邪劍譜》，於是他那名義上的孫子林震南一家便遭了殃。