說起漢語拼音產生的過程還真是一個複雜的歷史問題，最早給漢字注音的並不是中國人而是來中國傳教的外國傳教士，他們為了學習漢語、方便傳教就開始用羅馬字母給漢字注音。
1605年義大利耶穌會的傳教士利瑪竇，寫了4篇關於他和其他的傳教士用羅馬字母給漢字注音的文章，他把和4篇文章交給制墨專家程君房，程君房把這4篇文章編入《程氏墨苑》，這4篇文章合稱《西字奇蹟》，這是世界上最早的為漢字注音的文獻。
在利瑪竇的影響下，1626年，法國耶穌會傳教士金尼閣在杭州出版了《西儒耳目資》，這部書採用拉丁字母給漢字注音，他改進了利瑪竇的注音方案。雖然很早就有了漢字注音的方案，但是，這些做法只是在西方傳教士中流行，中國人還是使用傳統的直音和反切來為漢字注音。
這種辦法很不方便，直音就是找一個同音字來注音，如果同音字比較生僻，注了也不認識。還有一種辦法是反切，用前一個字的聲母和後一個字的韻母進行拼讀，這也很麻煩，不利於初學者學習漢字。
鴉片戰爭以後，中國面臨空前嚴重的民族危機，一大批有識之士都認為中國的貧弱和中國人的文盲率太高有關，決定走教育救國的道路。於是就從普及漢字入手，他們中的很多人都認為漢字是世界上最難學的文字，所以要對漢字進行注音，於是掀起了一場漢字合音運動。
合音就是注音，就是要給漢字注音，改變過去直音和反切的辦法。第一個制定漢字拼音方案的中國人是盧戇章，1892年，他在廈門出版《一目了然初階》，公布了他創製的"中國切音新字"，用拉丁字母及其變體來拼廈門音，聲韻雙拼，左右橫寫，聲母在右，韻母在左，另加鼻音符號和聲調符號，增加聲母後還可拼泉州音和潮州音。
此後，各種漢語拼音方案不斷問世，比如吳敬恆的《豆芽快字》、蔡錫勇的《傳音快字》、沈學的《盛世元音》、王炳耀的《拼音字譜》、王照的《官話合聲字母》、勞乃宣的《增訂合聲簡字》等。由於我國幅員遼闊，方言差異巨大，這些漢語拼音大都沒有廣泛推行。
為了解決方言對漢字讀音的影響，而造成的漢字注音地域化傾向嚴重的問題，1913年2月在北京召開了讀音統一會，會議的任務是確定一切漢字的國音發音，並且確定漢字注音採用的字母。
會議歷時三個多月，確定了6500個漢字的讀音和39個字母作為注音字母。會上，黎錦熙提出了一個重要觀點，注音字母的職能是「伺候漢字，偎傍漢字」。
5年以後，此次會議確定的注音字母才由北洋政府教育部頒布施行，從此到1958年，注音字母在中國使用了將近40年。在20世紀20到30年代，蘇聯也進行了一些拉丁新文字的研究，主要是為了對中國勞工進行掃盲。
當時蘇聯試圖研製出一種新的拉丁文字在中國勞工中普及，條件成熟之後取代漢字，這和國內當時高喊的廢除漢字口號是相互聯繫的。
1949年新中國成立以後，國家高度重視文字改革工作，召集很多專家研製漢語拼音方案。經過多年研究和討論，最終確定了漢語拼音方案，於1958年公布施行。