海象現存的最近的"親戚"是海狗，它們都是由長得像熊的海熊獸進化而來的，這種海熊獸大約2000萬年前出現在北太平洋海域。早期的海象從外表看起來與現代的海獅有些相似，並在大約500萬～1000萬年前繁盛起來，遍布於太平洋，且有好幾種。早期海象的一些種類是吃魚的，而另外一些則轉向吃軟體動物和海底的其他動物，並且逐漸在外表和行為方式上有了改變。可能這種主要食物的轉變改變了它們在水裡的行進方式，一對牙齒也逐漸變得長起來。
在大約500萬～800萬年前，一些長著長牙並在海底捕食的海象通過曾經存在的中美洲水道，由北太平洋進入到了北大西洋。而對於那些仍然在北太平洋活動的海象，許多科學家認為它們的命運相當不好，可能滅絕了。長期以來，科學界普遍存在一種觀點，即認為大約100萬年前，一些在北大西洋生活的海象通過北冰洋又重新回到了北太平洋。不過最近在日本發現的海象對這一觀點提出了質疑，因為該發現表明，海象至少在更新世中期已在太平洋西岸出現，而且這些海象是現代海象太平洋亞種的祖先。也就是說，太平洋海域的海象並未滅絕，而且還發展出了現代亞種。第二種觀點一致認為，現代海象在基因上存在兩個不同的亞種，但人們對這兩個亞種的起源還不太清楚。
很長時間以來，人們一直認為海象只是在淺海裡生活，但是最新的人造衛星數據表明，海象至少能下潛180米。儘管這個下潛深度與其他一些海洋哺乳動物比起來仍然有些淺，但是比以前人們認為的其最大下潛深度不過80～100米仍然是一個不小的進步。海象的大多數下潛活動不會超過180米，主要原因是它們的獵物下潛深度有限，它們不用下潛那麼深，但是只要有必要，它們能夠而且實際上會下潛到這個深度。
以前曾經有報導說，太平洋的海象超越它們正常的分布範圍，向東最遠到達了加拿大中部的海域；而大西洋海象也偶爾出現在荷蘭海岸、英倫諸島海岸，甚至出現在了法國和西班牙海岸。最近人們又看到海象出現在了加拿大的聖勞倫斯灣，這個地區是海象的最北分布區域之外的地區，也是它們的"故居"，它們再次進入這個海域也許是回到"故居"棲身的第一步嘗試。
現代海象主要以雙殼類軟體動物為食，如生活在北方海洋大陸架上的蛤蜊、鳥蛤和貽貝等。海象還在海底捕食大約40種其他的無脊椎動物，包括各種蝦、蟹、海蝸牛、多毛類動物、三維象甲蟲類、章魚、海參、被囊動物等，也捕食少數幾種魚，有些海象還像食腐動物和食肉動物一樣，吃海豹或其他大型海洋動物的死屍。
海象主要靠觸覺來確定獵物的位置，因為它們覓食的區域是比較深的海底，冬天的時候完全是黑的，一絲光線也透不進來，其他時間光線也極弱，其他感覺器官基本派不上用場。它們口鼻部前端的觸覺極為靈敏，那裡的皮膚和大約450根粗糙的觸鬚極度敏感，能區分出極細小的物體。
海象口鼻部的上邊緣覆蓋著一層堅硬的角質化的皮膚，能夠用來挖掘藏在海底泥土中的小蛤蜊和其他無脊椎動物。海象口中經常含著許多水，以便向這些深藏在海底洞穴中的小動物噴射，幫助挖掘。以前人們常常認為海象是用那對長牙來挖掘藏在海底中的貝殼類動物，現在看起來這個觀點是不正確的。海象的長牙主要用來互相溝通，就像鹿的角和羊的角一樣，是一種具有社會交流功能的器官。長牙雖不用來挖掘，但是海象在海底搜尋獵物前進時，卻能起到把周圍泥沙推開的作用。