在《神農本草經》之是以「膠」入藥，未有「阿膠」之名。先秦的時候膠由多種動物皮熬製而成，即「鹿膠青白、馬膠赤白、牛膠火赤、鼠膠黑、魚膠餌、犀膠黃」，沒有驢皮膠，表明早期藥用膠的多樣化。至漢《神農本草經》已有「阿膠」、「傅致膠」之名，但也沒有指明是由何種材料製成。
三國至南北朝《名醫別錄》中明確記載「煮牛皮作之」，後魏《齊民要術》指出：「沙牛皮、水牛皮、豬皮為上，驢、馬、駝、騾皮為次，破皮鞋、鞋底、格椎皮、靴底、破鞍、革叉，但是生皮，無問年歲久遠，不腐爛者，悉皆中煮」。可見，此時認為什麼皮都行。
唐《本草拾遺》時牛皮、驢皮膠已成兩大主流，且認為驢皮膠藥用好於牛皮膠。 驢皮膠已佔主導地位。明代牛皮膠、驢皮膠都作阿膠藥用，牛皮膠又單用作黃明膠藥用，但以驢皮為主，有的明代本草著作，甚至指出是黑驢皮。清代阿膠應以烏驢皮和阿井水製成，而把牛皮膠當作偽品。《中國藥典》已明確阿膠原料是驢皮，黃明膠是牛皮。
驢起源在非州及西亞，後擴散新疆、蒙古一帶。是漢張騫通西域時把驢引進了中原地區。驢適應性好，耐粗飼，繁殖力強，行動靈活，被農戶廣泛飼養，成為中原地區與牛馬豬羊同等重要的家畜之一，這樣也就有了驢皮膠。牛皮膠逐漸被驢皮膠取代，主要是五代至宋實行的「牛皮之禁」有關。
五代至宋戰亂不斷，士兵的甲冑、盾牌、車馬挽具及制膠用於弓弩，用量甚大。官軍要用牛皮製造甲冑，出現牛皮脫銷。後漢法律規定，販牛皮一寸抵死。宋初「民間自死牛皮筋角，並中賣入官，量為三等支作錢。其不及等者，退還百姓及許客旅販賣。」
至宋仁宗時，因與契丹戰爭頻繁，「人戶自死牛馬皮筋角，限半月赴官送納。」再加上古代農業社會，耕牛是極重要的生產工具，不能隨便宰殺，只有病、老死之牛皮。正是上述 原因，唐代已大量用驢皮阿膠。宋代的牛皮膠或系民間取官府捨棄的劣等牛皮製成，以致醫家認為不堪藥用。黃明膠也許是避諱禁民私用牛皮，且牛皮膠黃赤透明取名。
阿膠最早草創於西漢，成書於東漢的《神農本草經》已有阿膠的記載，但沒有產地。梁《名醫別錄》中有阿膠：「生東平郡，出東阿」的記載。從阿膠名稱的 來歷知是因產地而得名。
熬製阿膠最好是阿井裡的水，水經地下巖石和沙礫層濾過，不但起到清潔作用，同時也帶入鈣、鉀、鎂、鈉等礦物質，故色綠質重，每擔水比一般井水或河水重。用此水與驢皮熬製阿膠，因水質重，雜質及漂浮物便於打上來，雖經炎夏酷熱也不變形變質。 現代認為微量元素還有協同作用。《齊民要術》熬膠法中指出：「凡水皆得煮，然鹹苦之水膠乃更勝」。經青島商檢局化驗鈣、鎂、鉀、鈉等礦物質高 於一般水。
因此，阿膠在先秦時期並不特指驢膠，先秦時期膠的用類繁多，馬牛鼠鹿都可以，唯獨沒有驢皮膠，至漢代才有驢皮膠之說。五代十國戰亂不斷，牛皮被用於製造甲冑，因此，牛皮逐漸被驢皮取代。清代阿膠應以烏驢皮和阿井水製成，而把牛皮膠當作偽品。現今《中國藥典》已明確阿膠原料是驢皮。