哈爾濱的歷史源遠流長，是一座從來沒有過城牆的城市。早在兩萬兩千年前，舊石器時代晚期，這裡就已經有人類活動。大約5000年前，哈爾濱地區進入新石器時代。大約3000年前，殷商晚期，哈爾濱進入青銅時代，屬於黑龍江地區最早的古代文明國家——白金寶文化的分布區域。
哈爾濱是金、清兩代王朝的發祥地。金收國元年（1115年），金代在上京（哈爾濱阿城區）建都。金大定十三年（1173年），上京重新被立為陪都。
元、明時，哈爾濱又成為成吉思汗三弟斡斤家族的領地和奴爾幹都司的轄地。明末清初時期，女真人曾用此城遺存的建築材料在原地修築阿勒楚喀要塞。
清朝建立後，乾隆二十一年（1756年）在阿城設阿拉楚喀副都統，哈爾濱為其所轄，屬於吉林將軍。清末民初哈爾濱屬於吉林省濱江縣治。清中後期，隨著」京旗移墾「和」開禁放荒「政策的實施，大量滿漢百姓移居哈爾濱地區。19世紀末，哈爾濱已出現村屯數十個，居民約3萬人，交通、貿易、人口等經濟因素開始膨脹，為城市的形成與發展奠定了基礎。清光緒二十二年（1896年）至清光緒二十九年（1903年），隨著中東鐵路建設，工商業及人口開始在哈爾濱一帶聚集。中東鐵路建成時，哈爾濱已經形成近代城市的雛形。20世紀初，哈爾濱就已成為國際性商埠，先後有33個國家的16萬餘僑民聚集這裡，19個國家在此設領事館。與此同時，中國民族資本也有了較大發展，建立起哈爾濱在當時的北滿經濟中心和國際都市地位。
哈爾濱是中國馬克思主義思想傳播較早、工人和學生運動比較活躍的城市。民國十二年（1923年），哈爾濱成立東北地區第一個黨組織。民國十六年（1927年），在哈爾濱召開了東北地區第一次黨代會，並成立滿洲臨時省委。哈爾濱成為黨領導東北人民進行革命鬥爭和後來抗日鬥爭的指揮中心。
民國二十一年（1932年），哈爾濱淪為日偽統治。哈爾濱人民進行了艱苦卓絕的鬥爭，先後湧現出趙尚志、楊靖宇、李兆麟、趙一曼等名垂千古的民族英雄和革命烈士。民國三十四年（1945年），哈爾濱從日偽統治下解放，人口70餘萬。民國三十五年（1946年）4月28日，哈爾濱正式建立人民政權，成為全國解放最早的大城市。
新中國成立後，哈爾濱發展國民經濟，在「一五」時期，哈爾濱是國家重點建設城市之一，前蘇聯援建的156項重點建設工程，有13項設在哈爾濱，成為國家重要工業基地，並迅速由一個消費城市轉變為新興工業城市。1958年至1965年，哈爾濱經歷了「大躍進」和經濟調整的曲折發展過程。「文化大革命」期間，哈爾濱的國民經濟遭到嚴重挫折，社會秩序受到嚴重破壞。
1996年，國務院批准松花江地區與哈爾濱市合併組成新的哈爾濱市。哈爾濱市轄七區十二縣（市），行政區劃面積5.3萬平方公裡。
2004年2月4日，國務院批准了哈爾濱市部分行政區劃調整。調整後的哈爾濱市轄道裡、道外、南崗、香坊、動力、平房、松北和呼蘭8個區和賓縣、巴彥、依蘭、延壽、木蘭、通河、方正7個縣，代管五常、雙城、阿城、尚志等4個縣級市。
2006年8月15日，國務院批准哈爾濱市對部分行政區划進行調整，即：撤銷動力區、香坊區，組建新的香坊區；撤銷阿城市，設立阿城區；將阿城市永源鎮、巨源鎮劃歸道外區管轄。調整後的哈爾濱市轄道裡、道外、南崗、香坊、平房、松北、呼蘭、阿城8個區和賓縣、巴彥、依蘭、延壽、木蘭、通河、方正7個縣，五常、雙城、尚志3個縣級市。
2013年9月，哈爾濱成為國務院發改委《黑龍江和內蒙古東北部地區沿邊開發開放規劃》國家戰略定位的沿邊開發開放中心城市，東北亞區域性中心城市。
2014年5月，國務院批准哈爾濱市對部分行政區划進行調整，即：撤銷縣級雙城市，設立雙城區。
2017年8月7日哈爾濱市當選2018年「東亞文化之都」。