斷奶之後，小海象仍然和成年雌海象待在一起，並結伴在海裡巡遊覓食。再過2～4年之後，雄性小海象就會離開，在冬季裡組建它們自己的小群體，或是在夏季加入其他雄海象的較大群體。所有的海象種群中都存在不同程度的季節性雌雄隔離現象，但是雌雄隔離最顯著的莫過於棲息在白令海至楚科奇海海域的海象。在白令海至楚科奇海海域，大多數成年雄性海象在春天會聚集在自己與雌性隔離的登陸地上，並在白令海內覓食；同時，成年雌性海象和大多數的未成年海象則向北在楚科奇海內覓食。它們的這種隔離會一直持續到夏天過後。秋天，雌海象開始向南遷徙，雄海象也迎著它們向北遷徙，在白令海峽相遇後，會結伴到白令海的繁殖地，並共同度過冬天，而未成年的雄海象則在繁殖地之外的其他地區成堆的大塊浮冰上度過冬天。
在加拿大的福克斯灣是不存在上述雌雄隔離狀況的，那裡最常見的是雌雄混合的群體；而在加拿大更高緯度的北極區，混合型的和隔離型的海象群體都存在。年齡上的隔離和性別上的隔離主要受到食物供應量的影響，這種分隔也有利於減少成年雄性和"青年"雄性在繁殖季節的衝突；但為什麼有些群體分隔得更明顯，人們還不太清楚。
對於生活在北美、俄羅斯和格陵蘭島上極北區的土著人來說，海象現在仍然對其有重要意義，是他們的主要食物來源，也是其他生活資料的來源，就像幾千年來一樣。在歐洲、亞洲和北美洲的較南地區，最能引起人們興趣的是海象潔白的"象牙"，它們是除了真正的象牙之外，在大小和質地上最好的了。
在18、19、20這三個世紀裡，為了獲取海象"象牙"、海象皮和海象油，來自歐洲和北美的商業捕獵活動造成了整個北極區海象種群的極度下降，導致它們幾乎絕跡。北大西洋海象是第一個遭到幾乎滅絕命運的海象亞種，數量下降到了極點；棲息於加拿大東部海域的海象在19世紀幾乎被滅絕，斯瓦爾巴群島海域的海象也遭到了同樣的命運；大西洋其他海域的多數海象種群的數量也出現下降。
海象是多種疾病病毒的攜帶者和多種寄生蟲的宿主。海象身上的病毒包括貓卡利西病毒和與麻疹病毒相似的海豹瘟熱病毒。科學家已經確認了幾種海象常感染的病菌，這些病菌容易由長牙、眼睛和鰭肢的外傷感染。這些病菌感染對其有什麼具體的影響現在還不太清楚，但是被感染的海象體質常常會變得很差，精神呆滯甚至死亡。布魯斯氏桿菌也是科學家已知的海象易感染的一類病菌，該病菌常常造成哺乳動物生殖能力的下降。海象身上最常見的體表寄生蟲是一種吸蝨類蝨子，而體內的寄生蟲則有多種線蟲和寄生棘頭蟲。
除了人類的原因之外，其他災難造成的海象的自然性死亡也時常發生。人們曾經觀測到幾宗海象大量死亡的事件，如有幾次在太平洋海象蜂擁到一處棲息地的過程中，許多頭海象被其他海象踩踏而死；還有因墜落、浮冰陷阱等以及同類間的爭鬥而導致的受傷甚至死亡。除了人類，其他食肉動物如虎鯨和北極熊的捕食也是海象死亡的原因之一。