據說遠古的時候吳剛是在南天門看門，他和月亮宮裡的嫦娥是相好，經常與嫦娥約會就耽誤了自己的工作。
後來玉帝知道了，一怒之下，就懲罰吳剛到月宮裡去砍伐一棵叫月桂的樹，說如果吳剛不能砍斷這棵樹，就不能到回南天門，也不能和嫦娥仙子相見。
又有傳說說砍月桂樹的人本來是人見一個名叫吳剛的砍柴人，是漢朝人，他雖然砍柴但是不喜歡這個職業，他就找到當地有名的地仙教他法術，吳剛學了很久都沒能有什麼成績，後來他又叫地仙教他怎樣能到月亮上面，因為一直沒有耐心能專心學習，後來教他的神仙生氣了，就把吳剛留在了月宮裡，還說：「如果你能砍倒這桂樹，你就能直接會仙術」可是，吳剛每次砍一段時間，桂樹就會自動癒合，年復一年，吳剛砍倒桂樹的願望一直沒有達成，他一直不斷地砍下桂樹，桂樹就一直不斷的癒合。
吳剛就一直砍，從冬天砍到了夏天，足足砍樹砍了半年，看著樹快要砍光了，玉帝就派烏鴉來到樹的旁邊，直接把吳剛掛在樹上的上衣叼走了。吳剛放下斧頭，就去追烏鴉。衣服追回來以後，吳剛回到樹的旁邊一看，他砍下來的所有樹枝又都重新長到樹上去了。從此以後，吳剛快要砍光桂樹的時候，烏鴉就很及時的過來站在樹上「哇哇」大叫，吳剛只要停下手中的斧頭，看它一眼，大樹就會重新長出樹枝，恢復原樣。
年復一年，日復一日。吳剛砍不光這棵樹。相傳這棵樹在每年八月十六那天,才會有一片葉從樹上掉到地上。誰要是能得到這片樹葉子，誰就會得到用不完的財寶。