南昌起義時，劉伯承作為周恩來的助手，參加了起義。其中，作戰計劃就是由劉伯承制定的。起義後，在新成立的革命委員會中，劉伯承因出色的表現，被任命為軍事參謀團參謀長。
1927 年11 月，南昌起義失敗後，從廣東撤回上海的劉伯承，受中共中央的委派，與吳玉章、林伯渠等30 餘人一起，從上海登上一艘蘇聯貨船，經海參崴轉坐火車，橫穿西伯利亞，來到了莫斯科，開始了在異國的求學生涯。
在船上，他被告知他的俄文名叫「阿法納西耶夫」，當時的中國留蘇學生都取了俄文名。別看劉伯承是個名將，打仗歸打仗，留學歸留學，他一句俄文不懂，一路上念佛似的暗暗念叨著自己的新名字———阿法納西耶夫……
進校報到時，劉伯承仍在心裡默念著「阿法納西耶夫」，卻突然發現，周圍的人都看著他鬨笑起來———原來上面已經點到「阿法納西耶夫」了，他愣是沒聽出來。
劉伯承進了莫斯科高級步兵學校。
這所學校在莫斯科東北角的紅色兵營，舊名列弗爾道渥。為歡迎參加南昌起義的中國學員，學校舉行了隆重的歡迎儀式。
入學的那天晚上，禮堂裡燈火輝煌，中蘇同學濟濟一堂，首先由學校政治委員致歡迎詞，他說：「劉伯承是中國著名的軍事將領，南昌起義的參謀長，他和一批優秀軍官來本校學習，是本校的光榮。」
劉伯承代表十多名一起入學的中國同志致答詞，感謝校方的熱情接待，他說：「我國革命事業暫時遭受挫折，黨派我們來到列寧的故鄉學習，這是極大的榮幸。我們要努力學習，勉作布爾什維克，國內的革命事業在等待著我們。」
緊張的軍校生活開始了。在中國學員中，劉伯承年齡最大，他已經36歲了。首先遇到的就是俄文這一關。為了能直接閱讀俄文書籍，直接聽懂蘇聯教官講課，劉伯承使盡了渾身解數。他每天在左手心寫滿了單詞，走路也背，上廁所也背，經常學到凌晨3點。
為了不影響別人休息，劉伯承就寢之後就蒙上個毯子，在「小帳篷」裡點燈學習。有同學起來上廁所走過「帳篷」，就按一下劉伯承的頭說，該睡覺了。
俄文顫音「P」很難發音，中國學生戲稱「打嘟嚕」。劉伯承打這個「嘟嚕」舌頭就是不聽使喚。於是他每天比別人早起半小時，到操場上大聲「打嘟嚕」。在莫斯科冬天哈氣成冰的早晨，劉伯承硬是把「嘟嚕」給打出來了。
大概在半年之後，劉伯承的語言能力讓老師吃驚了：我不相信你半年就能學成這樣，你是不是討了個俄國老婆？
劉伯承自然是喜不自勝，他寫信給國內的朋友說：「乃視文法如錢串，視生字如銅錢，汲汲然日夜積累之；視疑難如敵陣，惶惶然日夜攻佔之，不數月已能閱讀俄文書籍矣。」
1928年下半年，由於學習成績優異，劉伯承又被推薦提前進入了聞名於世界的伏龍芝軍事學院。
這是蘇聯的最高軍事學府，院長是愛迪曼上將。劉伯承一來到這座學院，赫然入目的是一條大標語：「一切戰術要適合一定的歷史時代，如果新的武器出現了，則軍隊的組織形式與指揮也要隨之改變。」這對他的軍事思想有著深刻的影響。
這期間，劉伯承藉助於俄文，閱讀了不少馬、恩、列、斯的著作，其中包括許多軍事論著；學習了蘇聯紅軍的各種條令和有關司令部組織指揮的知識，以及正規戰的戰術、遊擊戰的戰術、軍區和野戰部隊的建設等較系統的軍事理論；也涉獵了十八、十九世紀一些著名軍事家如拿破崙、蘇沃洛夫等人的事跡和論著，從而大大提高了理論水平和軍事素養。
1930年夏劉伯承以優異的成績畢業於伏龍芝軍事學院。