哈爾濱是金、清兩代王朝的發祥地。金收國元年（1115年），金代在上京（哈爾濱阿城區）建都。金大定十三年（1173年），上京重新被立為陪都。
元、明時，哈爾濱又成為成吉思汗三弟斡斤家族的領地和奴爾幹都司的轄地。明末清初時期，女真人曾用此城遺存的建築材料在原地修築阿勒楚喀要塞。
19世紀末，哈爾濱已出現村屯數十個，居民約3萬人，交通、貿易、人口等經濟因素開始膨脹，為城市的形成與發展奠定了基礎。
20世紀初，哈爾濱就已成為國際性商埠，先後有33個國家的16萬餘僑民聚集這裡，19個國家在此設領事館。
民國十二年（1923年），哈爾濱成立東北地區第一個黨組織。民國十六年（1927年），在哈爾濱召開了東北地區第一次黨代會，並成立滿洲臨時省委。
民國二十一年（1932年），哈爾濱淪為日偽統治。哈爾濱人民進行了艱苦卓絕的鬥爭，先後湧現出趙尚志、楊靖宇、李兆麟、趙一曼等名垂千古的民族英雄和革命烈士。
民國三十四年（1945年），哈爾濱從日偽統治下解放，人口70餘萬。
民國三十五年（1946年）4月28日，哈爾濱正式建立人民政權，成為全國解放最早的大城市。
哈爾濱素來有著「東方小巴黎」、「東方莫斯科」的美名，市內建築中西合壁。有聖索菲亞教堂、尼古拉教堂、俄羅斯木屋、歌特式樓宇、中央大街、哈爾濱極地館、防洪紀念塔、文廟、極樂寺、蕭紅故居、蘇聯紅軍烈士紀念碑等文物古蹟。