原始譚氏遠祖諱虢號徵音翁，自東周列國時輔齊為太史，居於弘農都，稱為弘農齊郡，配毛氏淑人，生二子，長滕，次昭。傳至十六世，（即唐朝）十六世祖諱世績，號彥威，是大唐吏科都給事，由湖南長沙湘譚縣徙居於江西虔州，大宋乾德年間，陳橋兵變，宏軼翁與妣由江西虔州西後村，遷入廣東南雄府始興縣珠璣巷居住。翁為入粵始祖，諱虔，字崇紀，號宏軼，宋建隆資政大夫吏部侍郎，遷刑部尚書，加封三千歲，生二子，長子洪翁，次子瀚翁。
虔翁祠建於廣州城隍廟后街舊倉巷口（即今越華路）。清乾隆年間，幸莊、有恭取回重修宏軼書舍，設立「光裕堂。」抗日期間（民國二十七年五月間）遭日機空襲，全座蕩然無存。另有譚氏宗祠建於禪山沙仔尾寶山鋪。
二世伯祖諱洪翁，字文彥（疊山），號少參，宋慶曆間登進士承務郎，任廣東儒學提舉。配曾氏，生一子，諱嘉言，字芝水，號知美，宋熙寧間登進士，特授博士。
二世祖諱瀚翁，字文江（美水），號少浩，宋資政大夫吏部侍郎，配關氏，誥封二品夫人。生一子，諱伯倉。瀚翁墳葬於廣州白雲山，祠建於臺山城龍藏裡，立「思源堂」。
三世祖諱伯倉，原名煥，字雲扶，號松雪。宋乾道年間中經元連捷進士，特授資政大夫吏部侍郎，遷刑部尚書，恩榮九錫，誥封三代。配張氏，生八子，皆為大夫。伯倉太祖譚氏大宗祠於清道光二十九年七月建在金魚塘分府衙門。
四世祖朝安太祖祠建在廣州市小馬站，創於清道光十五年三月初十。朝安生三子。
四世祖朝政居番禺縣小龍村；朝瑞居高要縣；朝用居樂昌縣平浦；朝貴居東莞縣；朝賢居陽江縣雅韶村。
五世祖達翁，字廷顯，號待聘，奉議大夫，配何氏，生六子。
五世惟曰居高明縣；琰翁居長沙；瑤翁居陽春。
六世祖慕凌太祖祠於清雍正十一年建在新會城金紫街。
十世興龍居恩平縣吳德，起龍居新會縣城西門，顯龍居中山縣小欖鎮。
六世祖慕凌公又是四邑之始祖。公乃五世祖達翁之四房遺烈翁之後裔。公初居新會縣古岡州，隨遷白龍池。慕凌公傳至七代裔孫子政公，原居新會東門，後遷炎洞村，生三子，長子茂義擇裡而居。
茂義公又生三子：德官、德秀、德寶。翁與三子由炎洞村遷入新寧（即今臺山市）境內濠衝墟。
茂義翁是遷臺山之始祖，一直在臺山繁衍後代，傳至十二世在臺山縣境建立幾個祖祠：「子政太祖祠」建在臺城倉盈路（今健康路）；「茂義祖祠」建在大江區濠衝堡。十四世「德官祖祠」建在臺山白水遊魚村，墳在漲村；「元實祖祠」建在臺山白水倉前村。
五世遠翁居海宴。十世希顏居水口、松朗、長塘、新會南門、凌衝；希孟居白水、廣海。十一世祖康寧，號雪島，配姜氏生七子，分居臺城南門、溫邊、洗布山，分支居橫湖、香頭墳。十二世色麟居塔腳；天麟居白水。十四世德官翁，裔居遊魚、倉前、琴古、三合白石塘、南山、南蛇、黑石塘、下秀墩等地。十四世祖德彥翁，裔居臺城西門、譚屋、南門正街。十四祖德實翁裔居來安市、南門五福裡、上澤七角、牛眠塘、墩寨、譚屋人形山、廣海望洞、下川、鎮口、沙江頭等地方。十七世仲嚴。廿一世爾掭，生四子：昌惟、昌蕃、昌立、昌賀。廿三世是友山、友恭（現附城鎮元山仔建有友恭譚公祠，即昌蕃學校）廿三世友恭公生五子：延饒、延綱、延康、延琚、延會。延饒翁生二子：即廿五世嗣炳、嗣煥（分居元山仔、潮盛、潮陽、潮安、張邊等），廿六世是銓捷、捷驥，廿七世是開榻、開軫等，廿八世是文字派。
十二世祖天麟翁為臺城譚氏始祖，天麟翁生四子：德瑞、德常、德超、德瓊。德瑞翁子孫分居北閘、書坑、月山、圓坑、聯安裡等地，立祠在書坑村。德常翁子孫現居河北鄉新村咀、大安、仁安、常安、白水舊村、石仔路、坑尾、遊魚、大嶺厚、湖邊為多。德超翁，名為慕景公，原住坡厚村，為了耕種利便後遷筋坑常興村開枝長葉。
為紀念祖先，後人曾在臺城龍藏裡（今為環城西路）立「天麟譚公祠」奉祀，該祠堂解放前為育英學校小學部課室，一九五二年因殘舊拆建為臺山縣展覽館，育英中學復校後，因校舍不敷應用，於一九九O年拆除新建一幢雄偉壯觀共高五層之臺山育英中學教學樓，並於同年十月份剪彩，交付使用。若以廣東宏軼始祖為第一世，延至第十二世，其字派不詳。若以天麟為第一世，相加本身所屬何字派，便知自身屬第幾代。字派聯曰：「爾昌友延嗣，捷開文裔光，宗傳世澤遠；晉本立道隆，積善家國重，學業廣成芳。
宋末，四世朝安翁隨尚書羅貴避亂遷南雄珠璣巷。因宋帝失妃事，走難南下廣州，居舊倉巷宏秩公譚公祠原址。配徐氏，生達、遠、逵三子。因避兵亂，奔走南下。達翁遷開平龍壙，後遷臺山白水。遠翁遷新會白龍池，後遷臺山端芳，再遷海宴小擔，為海宴族之始祖。逵翁遷陽江雅韶。從此，朝安翁之後代蕃衍，分布於四邑兩陽各地。
海宴譚族之始祖乃五世遠翁，行二，號廷田。由臺山端芬遷到海宴小擔舊村立交椅村開族。大力發展海宴沿海漁鹽實業，積資巨萬。以三千兩白銀獻京都授鹽課提舉員外銜。配朱氏，生玩、琰二子。在小擔村建有廷田譚公祠。玩翁配鄧氏，生三子二女。長子偉翁，次子倬翁，三子侯翁，四女名不詳適容姓，五女名韶，適趙亦是堂，未婚夫死守節終生，人稱貞女譚韶五娘。偉翁、倬翁居小擔舊村，子孫蕃衍，在立交椅村前沙侖立新村，即今小擔村。侯翁於明初由小擔遷小芰荷村，為小芰荷譚族之始祖，建有侯翁譚公祠。側祠供祀韶五娘。
七世偉翁配蘇氏，生憲文、憲武二子。憲文翁配趙氏，生監之，擇倬翁之曾孫騏入繼。開緣葆、梅主兩房。緣葆房遷奇猷（小部分在小擔），為遠翁祖之長嫡。憲武翁配何氏，生立之、興之、益之、成之五子，均無孫，先後擇倬翁之曾、玄孫入繼。傳至立之翁之玄孫第十三世康成翁遷居丹堂北頭村山園，為丹堂譚族之始祖，在北頭村建有康成譚公祠，早已倒塌。康成翁配彭氏，生一子紹康。紹康翁配巫氏，生玉生、乾護二子。其後裔分居丹堂北頭、南頭及沙邊各村。北頭建有玉生譚公祠，已倒塌；文煜房還建有譚文煜學堂。南頭建有乾護譚公祠、梅莊譚公祠、宗盛房還建有宗盛譚公禎，後座已倒塌。
現在分布在海宴的譚族，絕大部分是遠翁之後裔，有小部分是從開平、新會、陽江等地遷來的達翁和逵翁的後裔。據九O年不完全統計，海宴（含上下川）譚族共有2368戶，9600多人，是海宴大姓族之一。至於分居海外及已遷出在國內謀生的估計也不下四千人之多。
究竟海宴譚族之分布情況如何？字派怎樣？現簡介如下：
小擔村譚族：主要屬偉翁、倬翁之後裔及部分侯翁後裔。現有300多戶，1400多人。其他系字派詩曰：「君任乾綱重，臣寅坤德宏；時清世道泰，運顯祚昌隆」。長沙子桐翁續新班派詩曰：「傳家照禮義，華國煥文章；裕後鴻恩普，治謀燕翼長。」奇猷村譚族：屬遠翁祖之長嫡子孫。其字派與小擔村字派相同。現有70多戶，300多人。
北頭村譚族：絕大部分是偉翁世系康成祖房及牛欄房之後裔。其字派與小擔字派相同。還有部分是從新會遷來南頭再遷來的宗盛房後裔，其字派詩曰：「國安肇鴻業，家齊隆帝基；文運宏開顯，姓名遠播揚」。現有300戶，1300多人。
南頭村譚族：大部分是康成祖後裔。其字派與小擔、北頭字派相同。另一部分是由新會遷來的宗盛房的後裔，其字派與北頭宗盛房字派相同。現有200戶，900多人。
小芰荷譚族：屬侯翁祖後裔。字派與小擔、北頭字派相同。現有70戶，近1000人。
凌衝村譚族：屬達翁祖世系，由新會凌衝遷來。現有250戶，1150人。其字派分為三種：彥實祖字派是：「仲德茂家昌，仁昭時耀義，立世光承基纘緒，嗣美揚芳，福隆祚永，慶厚胤長」。伯良祖字派是：「本發蒼峰，忠厚宏開，大業名揚，華殿顯承，紹述鴻猷。」後到凌衝定居的二十戶的字派是：「經綸興美孫，猷衍慶祥光；濟禮傳芳宗，澤延流永遠」。
侖定村譚族：一部分是由新會遷來的達翁世系的衝耀祖房後裔，字派與凌衝彥實房字派相同。一部分是由陽江雅韶遷來的逵翁世系的寅光祖房後裔，字派是：「寅錫卿相榮世澤，廣傳宗德達賢良。」另一部分是由開平長沙遷來的遠翁世系的仲和祖房後裔，字派是與小擔字派相同。現在三房共近100戶，400人。侖定村建有譚公祠。
南陽裡（牛軛墩）譚族：是由開平長沙遷來的遠翁世系的老二房琰翁祖之後裔，入遷田二芝堂範圍。字派與小擔相同。現有136戶，600人。
西昌裡（寨仔）譚族：琰翁祖後裔，由開平長沙遷來，字派與小擔字派相同。現有136戶，600人。
沙邊村譚族：是北頭山園乾護房及南頭宗盛房分支出來的，其字派分別與乾護及宗盛房的字派相同。現有10多戶，50多人。
沙橋村譚族：是小擔一誠房支下，字派與小擔相同。現有36戶，近200人。
海宴街譚族：共有14戶，100人。其中十一戶由三水遷來西新裡的遠翁世系的巨恆祖房後裔，字派與小擔相同。另三戶由三水遷來的達翁世系的後裔。
上下川譚族：一部分屬遠翁世系的牛欄房後裔，字派與小擔相同。另一部分是在下川島川東村開族的屬達翁世系的耕隱祖後裔，其宗派是：「捷開文裔光，宗傳世澤遠；後本立道揚，學業廣成昌」。與白水天麟祖房字派有些異樣。在下川建有耕隱書室。其子孫半漁半農。兩房共有400戶，1800多人。
譚氏歷史上人才輩出。唐朝有國子司業譚銖，以煉丹聞名的紫霞真人譚峭和長勝將軍譚忠；宋有譚佚一門三大夫：朝儀大夫譚粹、朝靖大夫譚銳、中散大夫譚拼；明朝有國子學博士譚子發，創造「竟陵體」的文學家譚元春，有譚青天美譽的戶部尚書譚太初和與戚光繼同名的抗倭名將譚綸；清朝有「戊戌六君子」之一的譚嗣同；近代有譚延遺闓和譚人鳳：
譚廷闓，1892年入府學授翰林院，1904年進士及第，1909年被推舉為湖南諮議局議長，1912年為湖南國民黨支部部長，後出任孫中山大元帥府建設部長，1926年代理國民政府主席和中央黨部主席。歷任國民政府主席，行政院長要職。
譚人鳳，1905年發動實慶會黨起羲失敗後，東渡日本，加入同盟會，後參加1907年廣西鎮南關起義和1908年雲南河口起義。1911年與宋教仁等正式成立同盟會中部總部，設機關於上海，為中部總部與黃興的聯繫人。南京臨時政府成立時，他作為湖南代表，參與政府成立的工作。中華民國成立後，任粵漢鐵路督辦兼巡閱使。「二次革命」時，參加討袁運動，迫袁退位。上述可見，由古至今，譚氏族人弘揚祖德為國建功立業垂名史冊無愧於後人者不少。
自開放改革以來，臺山譚氏以譚國渠、譚炳根、譚偉濤、譚廣平、譚景雲、譚汝熙、譚廣倫、譚廣永、譚卓輝、譚振湘、譚偉洪、譚兆鈞、譚琪添、譚子云、譚燦良、譚良安、譚炳垣、譚炳煊、譚永宏……等為首，團結內外鄉親和華僑社團，興辦各種公益事業，為僑鄉的繁榮作出了貢獻。如1989年籌建育英中學教學大樓，短短一年時間就籌得資金人民幣82萬元，使新教學樓在1990年峻工，改善了教學條件，為培養優秀人才奠定基礎；又如1982年復辦的譚氏《光裕月刊》，至今已出版41期，成為傳播鄉訊族聞聯絡宗誼的橋梁。今年還先後為育英中學辦學基金會和《光裕月刊》基金會籌集了基金人民幣100多萬元和41萬多元。