講到雷州人，應該釐清兩個概念，一是可指雷州半島上生活的人。二是單指雷州半島上的湛江下屬的雷州市轄內的人。雷州半島上生活的人是在很古遠歷史上就有原住民的。不是完全由外地一次性大規模遷入的。
雷州半島上生活的古人可確證追溯到新石器時代
在秦始皇派50萬大軍統一嶺南之前，兩廣屬於百越地區中的駱越與甌越人聚居之地。但在這之前，在6000至8000年前的新石器時代，雷州半島就有人類居住。可以說，雷州半島的雷州人是有自己的悠久歷史和淵源的。比秦朝之後的漢晉唐宋各朝代出現的從中原和福建一帶先後大規模人口南遷而形成的廣東三大民系根源更早得多。生活時間更長得多。
雷州半島西岸的湛江遂溪江洪鎮的鯉魚墩貝丘，出土了新石器時代的古人類遺址和居住環境，出土了大批古人使用的陶器、石器和蚌殼工具。證明這裡是當時的人類活動和居住的集中地。
這裡出土的人骨與廣西桂林甑皮巖出土的8000年至1萬年前的人骨的特徵很相近，證明雷州半島的古人類與灕江一帶的甑皮巖地區的人類有較多的共同淵源。
應該說，無論是甑皮巖人還是鯉魚墩貝丘人，都是這一帶的百越人的祖先。他們屬於古華南類型人種分類。與南亞人種有緊密的源流關係。
兩漢之後，先後又有大批中原漢族人南下兩廣及雷州半島，很快與當地人形成民族大融合
這裡的原住民，在兩漢三國兩晉南北朝時期被多被稱為俚人，唐代以後多被稱為黎人。是百越民族的後裔。
除了在秦朝統一嶺南有50萬來自中原的大軍南下兩廣外，漢朝的漢武帝將秦末南下大軍率領軍的副將趙佗趁秦末大亂建立的南越國重新統一於自己的統治之後，在嶺南設立9郡進行治理，在廣信城即今天廣西梧州至廣東封開一帶，建立了統一管治嶺南的行政中心。
之後，大批中原漢族南下，與當地原住居相互融合，使得大量原住居漢化。雷州半島的俚人此後不斷漢化。南北朝時期的粵西俚族首領家族出身的冼夫人與馮寶聯姻，更帶動了俚漢的民族融合。隋唐的統一，粵西的俚漢民族更加速融合。
南宋末年大批閩南人隨南宋皇室大規模南遷
南宋末年，在蒙古大軍的追擊下，福建閩南一帶大量當地軍民隨南宋皇室南逃，其中，湛江硇洲島曾是南宋末代王朝兩個少年天子南逃避難之地。一個在此病死，一個在此登基。帶來大批南逃人員來到雷州半島這附近一帶，這也是講屬於閩南話分支的雷州話或稱黎話的雷州人的歷史上的主要來源。
粵西和湛江的客家人，主要來自明末和清朝初期的福建南部、粵東和粵東北一帶客家人的遷移。這是廣東包括雷州半島在內的粵西三大民系的另一支的來源。尤其是他們大多有在族譜上的清晰記載。