最早的羊羹是用羊肉來熬製的羹，冷卻成凍以佐餐。其後隨禪宗傳至日本，由於僧人不食肉，於是便用紅豆與麵粉或者葛粉混合後蒸製，故羊羹在日本慢慢演化成為一種以豆類製成的果凍狀食品。其後隨著茶道的發展，羊羹逐漸成為一道著名的茶點。
羊羹起源自中國，其後再傳入日本而成為當地的傳統點心。初期，羊羹的確是一種加入羊肉煮成的羹湯，再冷卻成凍佐餐。後期羊羹傳至日本，但在鎌倉時代至室町時代佛教的禪宗傳入，由於僧侶戒律不能食葷，故羊羹亦慢慢演化成為一種以豆類製成的果凍形食品。此後，羊羹成為了茶道的其中一種著名茶點，而日本人亦慢慢將羊羹發展和轉化，變成今天多款不同口味的羊羹。
初期的羊羹製法主要以小豆加上小麥粉混和，再加以蒸煮而成。製作方法如另一種和式果子外郎相若。天正17年（1589年），和歌山的駿河店店主岡本善行右邊衛將原有的羊羹作改良，在餡料中加入寒天（一種曬制而成的乾菜，煮後凝固成果凍狀。與現代的「瓊脂」相似）製成煉羊羹，並用竹竿將羊羹的形狀鞏固成方形。
此後，羊羹就成了現時長方形的形狀。江戶時代是煉羊羹最盛行的時期，其中以江戶本鄉的藤村羊羹最為著名，而與此同時四周亦開滿了林林總總以製作羊羹為主的知名店鋪
中國最早的記載於魏晉南北朝時期，宋毛脩之降魏後做的「羊羹「，稱之為」絕味「，魏太武帝食之」大喜，以脩之為太官令「。是魏晉南北時期的特色佐餐菜餚。
羊羹製作方法是將慄果洗淨曬乾或烘乾去皮然後磨成細粉，將紅小豆加鹼去粘液以後蒸至開花，並加水鋼磨磨碎，製成豆沙，用紗布去除水分。最後將瓊脂稀釋，加入糖燒至120度的時候加入慄粉和豆沙，以及少量的水溶解的苯甲酸鈉攪拌均勻，熬製一定程度以後在尚未冷卻的時候灌入模具完全冷卻以後即可成型。