在1955年的大授銜上，華東野戰軍的將軍們授銜普遍偏低，這主要是因為評銜有各方面的最後考慮，並不是因為華野的將軍們戰功低。其中華野歷史上一共產生了11個縱隊司令，其中大名鼎鼎的許世友就是開國上將之一，其他大多數縱隊司令都是開國中將，但有一個縱隊司令比較特別，只是少將，這個人就是何以祥。
何以祥雖然軍銜比較低，但是他的名聲可不小，他在陳老總口中是「袖子裡的小老虎」，是華野非常有名的攻堅老虎縱隊的司令員。
何以祥軍事生涯的起點並不是在紅軍，他一開始是在川軍軍閥楊森的手下當兵，還和紅軍發生了激戰，不過在戰鬥中輸給了紅軍，最後就被賀老總收編，這才成為了紅軍的一員，這樣的出身，多少對他的評銜造成了一些影響。
加入紅軍後，何以祥就從一個普通戰士幹起，參加了洪湖蘇區的幾次反圍剿戰爭，一步步歷經班長、排長、連長等職務。在長徵途中，何以祥多次承擔掩護主力突圍的任務，並每次都勇往直前，身先士卒，對敵人造成了嚴重的打擊。賀老總就親口表揚他：作戰勇敢，不懼犧牲。
隨著戰爭經驗的不斷積累，何以祥就一步步成長為一個出色的軍事指揮人員，而他最擅長的就是攻堅戰。比如在抗戰即將結束的時候，何以祥率領第八師去攻打藤縣，他只用了五分鐘就攻破了城門，還取得了殲敵七千人的光輝戰績。捷報傳來，陳老總非常高興，盛讚何以祥是袖子裡的小老虎，第八師是全軍之冠。
解放戰爭中，何以祥曾和桂系王牌鋼七軍正面對抗，雖然犧牲比較大，但打出了我軍的尊嚴和魄力。而何以祥取得的更大的成功是宿北戰役，他採取了分割包圍和逐點攻堅的打法，一口一口把敵軍吃掉，最後大獲全勝。這場戰鬥後來也成為南京軍事學院攻堅戰課程中的戰例教材。
在第八師改編為華野第三縱隊後，何以祥就成為了第三縱隊的司令。他也在孟良崮戰役和圍殲胡璉整編11師的戰鬥中繼續發揮自己的特長，取得了不小的成績。
同年7月，何以祥跟著劉鄧大軍挺進了魯西，我軍正式開始戰略反攻，這也是解放戰爭走向勝利的第一步。後來的關鍵戰役淮海戰役和渡江戰役中都有何以祥的身影，因為取得了無數場攻堅戰的勝利，所以第三縱隊最後獲得了攻堅老虎的稱號。
1955年，本來按何以祥的級別和功勞，授予他中將軍銜無可厚非，但授銜是個很複雜的工作，最後何以祥被授予少將軍銜。