盧瑟福的祖父本來是個蘇格蘭人。後來到紐西蘭，開始了新的生活.盧瑟福小時候家裡的兄弟姐妹眾多，生活也異常艱苦，但他很努力，從小學習成績就非常好。盧瑟福非常想去英國深造，好在當時有個倫敦博覽會提供的獎學金考試，競爭激烈，本來他也沒報太大希望。當劍橋大學的錄取通知書下來的時候，他還在挖土豆，當他看到通知書，他說這可能是我這輩子挖的最後一個土豆了。
後來他加入到了卡文迪許實驗室，成為湯姆遜的研究生。湯姆遜就是成功發現電子的人，是當時卡文迪許實驗室主任。湯姆孫非常欣賞他的才能。當時流行的原子模型還是湯姆孫的布丁模型（棗糕模型、西瓜模型).
棗糕模型1898年，盧瑟福在實驗中發現「鈾射線」的成分是複雜的，其中至少包含兩種不同的輻射，一種非常容易被吸收，他稱之為α射線；另一種具有較強的貫穿本領，稱之為β射線。1900年，貝克勒爾通過實驗確定β射線就是高速電子。γ射線是由法國物理學家維拉德於1900年發現的，後來被證實為一種高頻電磁輻射。1903年，盧瑟福通過實驗斷定α射線粒子帶正電。基於盧瑟福對放射性的研究使他在1908年獲得諾貝爾化學獎。他還風趣地說：「我一個搞物理的怎麼就得了個化學獎呢？」1909年，盧瑟福在他的學生蓋革和馬斯登的協助下，發現α粒子轟擊原子時，有粒子被發射回來。湯姆孫模型無法對該實驗結果做出解釋。盧瑟福該實驗結果於1911年提出原子的「核式結果模型」又稱行星模型。當然後來盧瑟福的學生玻爾又提出了原子的量子理論即「玻爾模型」，這真是青出於藍而勝於藍，科學總是在不斷進步中。
行星模型1919年，盧瑟福繼承了他的老師湯姆孫的劍橋大學卡文迪許實驗室主任的職務。盧瑟福發現許多元素在α粒子轟擊下都可放射出「帶正電的氫原子」，並將其命名為質子。1920年，盧瑟福提出了中子假說，認為原子核中除了質子外，可能還存在一種由電子和氫核組成的不帶電的中性粒子，他稱為"雙子"，這預言了中子。他的助手和學生中，先後有十多人獲得諾貝爾獎。他也是一位偉大的導師。