穆罕默德二世的出生被認為是一件不祥的事情。當時正在鬧瘟疫，他父親有兩個兄弟死於這場瘟疫。他的童年很不愉快。他是他父親的第三個兒子，但父親更偏愛兩個同父異母的哥哥艾哈邁德和阿里。他也從未設想過自己會成為帝國的接班人。艾哈邁德和阿里二人的母親都來自地位顯赫的家族，而穆罕默德的母親只是一名女奴，而且很可能是一名基督徒。
因此，穆罕默德與其父和祖父截然不同的性格可能就來自他母親的血統。 穆罕默德是被保姆帶大的。在他2歲的時候，他和他的哥哥阿里就離開了阿德裡安堡，被送到了阿馬西亞（Amasya）。這是一個位於安納託利亞北部的多山省份，夾在中部高原和黑海海濱之間，他們14歲的長兄在這裡做總督。在這裡，居住著古老而具有影響力的奧斯曼人家族，穆拉德的父親就曾與這些家族中的一個聯姻。除此之外，這裡還是一個宗教中心，正統的伊斯蘭教派和從波斯而來的非正統的託缽僧教派在這裡都很活躍。穆拉德本人就出生在這裡。他開啟了一個慣例，把他的兒子們紛紛送到遠離首都的亞洲省份，在值得信賴的官員的看護下長大成人。
這樣一來，他就可以讓他的兒子們遠離人群和首都附近可能發生的叛亂。穆拉德的這種做法也得到後世一些蘇丹的效法。這種防範叛亂的做法要比其祖父巴耶濟德開創的兄弟相殘的做法文明得多，但他的兒子穆罕默德後來把後一種做法變成了金科玉律。 不過，穆罕默德的兄長們都早早去世了。艾哈邁德在十幾歲的時候突然死在了阿馬西亞。穆罕默德接替他成為該省的總督，而他的另一個哥哥阿里則被送到馬格尼西亞去做總督。又過了兩年，穆拉德命令兩個兒子互換位置。
幾年之後，身在阿馬西亞的阿里不明不白地被扼死在自己的床上。這讓他的父親十分悲痛，因為據說他是穆拉德最疼愛的兒子。 此時，11歲的穆罕默德成了帝國的第一順位繼承人。他的父親將他從馬格尼西亞召到了阿德裡安堡。穆拉德很快就震驚地發現這個兒子缺乏教育。穆罕默德的老師們發現，這個孩子是個很難辦的學生，他不愛學習，特別是對宗教教育反應冷淡。於是，他的父親挑選了一位名叫艾哈邁德·古拉尼（Ahmed Kourani）的著名毛拉[5]來指導他學習《古蘭經》和宗教知識。古拉尼是庫德人[6]，曾在開羅學習伊斯蘭教法和伊斯蘭教神學，此時則在布爾薩一處著名的神學院裡授課。
據記載，蘇丹給了古拉尼一根棍子，準許他在必要的時候對皇子施以體罰。這位毛拉手裡拿著棍子去面見皇子，並對他說：「您的父皇派我來教導您，但如果您不聽話，我也要處罰您。」穆罕默德聞言大笑。於是，毛拉用棍子將他痛打了一頓。從此以後，穆罕默德就對他的老師畢恭畢敬，很快就跟隨他掌握了《古蘭經》的知識。在多位著名學者和顧問的教導下，穆罕默德成了一個學識淵博的人。