青山區第一次以一個行政區名字出現在人們的視野中，應該是1951年12月，當時隸屬於武昌縣第九區，全部劃入武漢市，成為武漢市青山行政區。1952年6月，武漢市青山區撤銷，重新劃歸武昌縣，仍為第九區。
1955年2月，隨著建設國家鋼鐵基地和城市發展需要，武昌縣第九區21個鄉鎮劃入武漢市，與武漢市南湖區3個鄉、東湖區1個鄉合併組建青山區。青山區這個名字，也一直沿用至今。
黃山市之所以叫黃山，因為此地有座大山就叫黃山。青山區之所以叫青山，也是因為這裡有一排首尾相連的青青山丘，由磯頭山、鴉雀山、鄒家山、營盤山、祖墳山5座山嶺組成，如今叫磯頭山公園。
磯頭山過去曾名為青山磯。
青山磯最早的文字記載，出自於宋代詩人陸遊。南宋乾道六年（1170年），詩人陸遊經過這裡，在《入蜀記》卷三寫到「過青山磯，多碎石淺灘，晚泊白楊夾口，距鄂洲三十裡。陸行止十餘裡」。有人判定，青山命名就是因此而來。
當然，還有人抬出了另一位歷史名人王世貞。公元1574年，明代文學家、文壇領袖、「後七子」之首的王世貞，曾溯江北上鄖陽赴任，見此地四周皆黃，一山獨青，相鄰的小鎮巷街幽深，商賈雲集，遂流連不前，寫下「武昌在前頭，逡巡不肯去。為愛青山磯，且對青山住」的詩句，青山區之大名大概由此而生。
最近同武漢市青山區文化名人、年逾八旬的著名文學評論家黃自華閒聊青山，他卻語不驚人誓不休地提出：「青山不是山，是一個人的名字」。
相傳很久以前，這裡有個姓駱的大家族，駱家有個少爺叫「青山」。這個年輕英俊的小夥子愛上了東山頭貌如天仙的少女桃花。按說他倆郎才女貌，確實是天生一對，地設一雙。但是桃花和青山是遠房姑表親戚，按宗親排行，桃花要比青山長兩輩。依照習俗，兩人絕對不能成婚，否則是亂倫大罪。
於是一對相親相愛的情人被迫拆散，在父母的強制下各自陷入不幸的婚姻。但兩人多少年來依然是藕斷絲不斷，青山每年都要在桃花家對面的山坡上種植一棵桃樹，藉此寄託對桃花的情思。而桃花每到桃花盛開的季節，只能獨自坐在桃林回憶著和青山在一起的那些甜蜜的日子……
不稱心的婚姻，使青山無心理家，整日放蕩遊玩，沒多久偌大的一份家業被揮霍殆盡，只留下他養的那隻老鷹成為唯一的夥伴。說也奇怪，那老鷹很通人性，主人要吃點魚肉野味什麼的，只要稍加暗示，不到半個時辰準能弄一些回來。
再說桃花嫁人後生一子取名叫懷山，暗寓「懷念青山」之意。懷山10歲時，丈夫病亡，她把孩子視為掌上明珠心頭肉，出出進進形影不離，只是同青山幽會時礙手礙腳。好在那隻老鷹很解人意，總把懷山領到遠遠的地方去玩，讓主人們盡情交談。
一年春天，小懷山病了，病中說想跟青山叔的金翅老鷹玩，非要見到鷹才肯吃飯。桃花成家後，雖然與青山還常常約會野外，但從來沒去過青山的家，這次因愛子心切，她顧不得別人的流言蜚語，親自登門求助。
青山和妻子見桃花第一次上門，無別物招待，就悄悄將那隻老鷹殺了煨湯。桃花吃了飯、喝完湯後，提出小懷山病中想逗鷹玩之事。這一下把青山驚呆了，情急無奈，只得實說。桃花聽後也急得六神無主，連聲說：「不好辦……」回到家裡，兒子見母親沒帶老鷹回來，一口氣上不來就死了。桃花如同五雷轟頂，哭得死去活來。
青山因失去老鷹做伴，再無臉與桃花約會，孤獨憂鬱，不久得了重病。桃花亦因思念青山心切，不顧外人議論前往駱家探望青山，並迴避他的妻子告訴他，小懷山正是他倆的骨肉。青山聽後悲憤至極，也一命歸天。
一下失去了兩個親人，桃花哭了兒子哭青山，哭了青山哭兒子，只哭得百轉迴腸淚洗面，芳心撕碎魂繚繞。不覺又到桃花盛開的季節，桃花坐在桃林，見樹上流出亮晶晶的眼淚(桃膠)，心想：「你們也哭青山啊！」想到這些桃樹都是青山寄託對自己的情思而栽，然而自己又給他什麼呢？想著想著，突然想自己不是總在哭「青山」嗎？為了永恆的紀念，於是就買了塊特大的碑石，並在上面刻了鬥大的「青山」兩字，立在他的墓前。從此以後這裡被稱為「青山」，後來桃花也變成一棵桃樹緊緊依偎在「青山」邊。不幾年桃樹越來越多，一到春天，紅若映霞成了一片花的海洋，人們把東山頭稱為「桃園村」，以紀念這對情深意長的情侶。民國初期「青山」石碑還在，後來武漢淪陷，日本侵略軍佔領此地，桃園村的滿園桃樹被日軍砍光，闢作養馬場，石碑也湮沒得不知去向。
孰對孰正確，不與評說，青山依舊在，幾度夕陽紅。