中國人自古就重視牙齒的整潔與美觀。例如：《詩經·衛風·碩人》中形容美女牙齒「齒如瓠犀」，就是牙齒如同葫蘆子一樣整齊潔白。那時人們清潔牙齒的方式不是「刷」牙，而是「漱」牙。《禮記·內則》中就記載：「雞初鳴，鹹盥嗽。」意思就是說，天亮了，雞打鳴了，就要洗臉漱口了。漱口一直是古人最主要的牙齒清潔方式，一直沿用到近代。
古人用的漱口水也是五花八門。最常用的是鹽水，不光用鹽漱口，還能用鹽擦牙，《紅樓夢》裡賈寶玉就有每天清晨用鹽擦牙的習慣。鹽的確有殺菌消炎的作用，還能一定程度上預防牙周疾病和牙齦出血。此外，古人還有用茶水、酒和明礬水漱口的，據說明礬水能有效預防口瘡。現代社會確實也有將明礬水加橄欖用於漱口的，可以去除口臭。
到了隋唐時期，「刷牙」開始在中國出現了。那時候的刷牙方式和我們今天不一樣，用的是「揩齒法」。這種「揩齒法」源於古印度，和佛教有關。相傳，當年釋迦牟尼在菩提樹下布教，圍繞在周圍的弟子們口臭相當嚴重。於是釋迦牟尼開始勸說人們重視清潔牙齒，並教弟子們如何用樹枝製造刷牙工具。後來，隨著佛教傳入中國，「揩齒法」也傳到了中國。
唐朝醫書《外臺秘要》具體記載了這種揩齒法：「每朝楊柳枝咬頭軟，點取藥揩齒，香而光潔。」意思是說將楊柳枝的一頭用牙齒咬軟了，再蘸上少許藥粉，用來刷牙。這種刷牙方法也被稱為「楊柳枝揩齒法」，所用的楊柳枝又叫做「齒木」。齒木是中國最早的刷牙用具，可謂那個時代的「牙刷」。如果沒有楊柳枝，也可以用其他樹枝代替，實在不行就用手指直接揩牙。敦煌石窟第196窟有一幅晚唐壁畫《勞度叉鬥聖變》，其中就能看到用手指揩齒的畫面。今天的日語中還有「楊枝」一詞，意為牙籤、牙刷，應該就是保留了中國唐朝的叫法。
儘管唐朝有了揩齒法，但學界對於這種刷牙方式在唐朝的普及程度存在爭議。有觀點認為，唐朝時只有僧人團體會揩齒，並未在社會上廣泛普及。
到了宋朝，中國終於出現了真正的牙刷，叫作「刷牙子」。宋人周守中在《養生類纂》中記載：「蓋刷牙子皆是馬尾為之。」最初的牙刷毛多是用馬尾巴製作的，一寸多長，置於牛角之上，其形狀跟現代的牙刷類似。不過，宋朝比較缺馬，馬尾較少，用來做牙刷成本太貴，所以市場上常見的牙刷不一定都用馬尾製作，也可能是用豬毛製作的。
南宋遺老周密在《夢粱錄》裡回憶道：「獅子巷口有凌家刷牙鋪，金子巷口有傅官人刷牙鋪。」說明南宋時期杭州已經有人專門開店賣牙刷了，看來刷牙在南宋已經比較普遍。
古人刷牙的時候並不是用牙刷幹刷，而是和現代人用牙膏一樣，要在牙刷頭上蘸清潔劑。這種牙齒清潔劑有膏和粉兩種，其成分包含皂角、生薑、升麻、地黃、旱蓮等中草藥，可能會再放一些鹽。古人的牙膏可是純草本的。宋朝時，還發明了一種牙刷和牙膏的結合品，叫「牙香籌」。用香料和藥材製成固體清潔劑，固定在牙刷上，用牙香籌反覆清潔牙齒，然後再漱口。這種牙香籌可反覆使用多次，而且攜帶方便，是古代人旅途必備之佳品。
後來，中國的牙刷傳到了歐洲，受到貴族階層的歡迎。但由於售價較高，一般歐洲民眾難以承受。直到19世紀30年代，用尼龍做毛的牙刷誕生了，因其價格低廉，從而進入了尋常百姓家。