成語的數量很大，情況也是多種多樣的。概括地說，成語是語言中一種習用了的固定詞組或短句，大多是由四個字構成的，在句子中一般起著一個語詞的語法作用。
從它的來源上看，則許多成語是將一個歷史事件、寓言故事或詩文中的名言警句壓縮而成的。例如「夜郎自大」這個成語，就記載著這樣的事：在漢代我國西南部有一個夜郎國，面積只有一個州那麼大，但是他們自以為大得很了。有一次，夜郎國王會見漢朝使節時問道：「你們漢帝國跟我們夜郎相比，哪一個大？」這個問話，十分可笑，真是太目中無人了。從此就傳了下來，用這四個字來比喻那種妄自尊大的情形。這個例子就是由歷史事件造成的。
再如「刻舟求劍」這個成語，記述了這樣的事：從前楚國有個人坐船過江時，不小心把劍掉下水去了，於是，他連忙在劍落下去的船沿上刻下一個記號，說道：「我的劍是從這裡掉下去的。」一會兒，等船停了以後，他就從刻了記號的船沿跳下水去，摸他的劍，結果沒有摸到。他不知道船是在行駛的，而劍落水以後是不動的，所以，這樣找是找不回來的。後來這個寓言故事就壓縮成了這個成語。
又如有些成語是從名言警句中提取加工而成的，象「後來居上」，來自《史記·汲鄭列傳》:「陛下用群臣，如積薪耳，後來者居上。」(「積薪」是堆積木柴，先搬來的自然堆在下面，後搬來的自然放在上面。)「一鼓作氣」，來自《左傳.曹劌論戰》:「夫戰， 勇氣也，一鼓作氣，再而衰，三而竭。」(意為第一遍擊鼓時士氣最旺盛，第二遍、第三遍擊鼓時，士氣就逐漸衰竭了。)「以逸待勞」，來自《孫子》:「軍爭以近待遠，以逸待勞。」(軍事之爭，要以休整好的軍隊來對付遠來而疲勞了的軍隊。)如此等等。
此外，也有許多成語是來自諺語、俗語的，不一定有文獻記載，例如：倚老賣老、坐吃山空、虎頭蛇尾、啼笑皆非、裝模作樣、懸崖勒馬等等。也有許多成語是來自今人的語言的，例如：百花齊放、推陳出新、古為今用、洋為中用、厚今薄古、一窮二白、想方設法等等。廣大的作家和人民群眾同樣也在不斷地創造出新的成語來。因此，成語雖然有很大一部分是來自古代文獻的、是為古人所創造的。但是，這不等於說，今人就不能創造出許多新的成語來；也不等於說，成語就必須是古已有之的。我們不應採取厚古薄今的態度。
成語的結構大致可以分成兩類，第一類是由前後兩段合成的。例如：狼吞虎咽、手舞足蹈、謹小慎微、胡言亂語、奴顏婢膝、輕描淡寫、裝模作樣、道聽途說、東張西望等等。這是前後語義相似而互相補充的。
又如：眼高手低、名存實亡、人面獸心、口蜜腹劍、外強中乾、取長補短、少見多怪等等，這是前後兩段利用反義詞相對照而表達一個完整的意思的。
再如：一窮二白、三心二意、七嘴八舌、五花八門、四面八方、五光十色、低三下四、三令五申、萬水千山、千奇百怪等等，這是前後兩段各插進一個數目字的。
此外，也有些是前後兩段中有同字重複以加重語氣的，例如：患得患失、任勞任怨、非驢非馬、同心同德、作威作福、不倫不類、再三再四、再接再厲、小手小腳、大吃大喝、大搖大擺等等，這類由前後兩段合成的成語，在結構上有一個特點，就是把兩對相同類別的單詞交叉配合，例如把「東」、「西」和「奔」、「走」， 交叉成「東奔西走」。或者是把構成現代漢語兩個雙音詞的詞素(這些詞素在古漢語中是單詞)交叉連接，例如把「甜蜜」和「言語」交叉成「甜言蜜語」等等。第二類是前後相連、不分段的。例如：愚公移山、葉公好龍、杞人憂天、塞翁失馬、門庭若市、百花齊放、死灰復燃、草木皆兵、利令智昏、笑容可掬等等，這是屬於短句的語法結構的。
又如：退避三舍、草菅人命、寄人籬下、指鹿為馬、一丘之貉、旁若無人、一落千丈、恍然大悟、莫名其妙等等，這種類型又跟前邊舉的幾種不同。
成語大部分都是文字上定型了的，即大多數都不能隨便改字換字或顛倒順序的。例如：「指鹿為馬」，不能改成「指驢為馬」、「胸有成竹」不能改成「胸有成樹」、「東張西望」不能改成「南張北望」、「一清二白」不能改成「三清四白」等等。又如「手舞足蹈」不能顛倒成「足蹈手舞」、「兔死狐悲」不能顛倒成「狐悲兔死」、「七上八下」不能改成「八下七上」等等。
當然，這不是絕對的，為了表達的需要或別的原因而改動成語的情況，也是常有所見的。例如「知難而退」不好，就改成「知難而進」;「揠苗助長」太難，就改成「拔苗助長」;「事半功倍」也可以為對比的需要而說成「事倍功半」如此等等。
成語是經過加工提煉的語言材料，它比起普通詞語來，精煉得多，表達能力也強得多。由歷史故事縮寫而成的，那是不必說了，它背後有著豐富的內容，能使語言表達得言簡意賅，而又十分生動和形象化。就是一般的成語，也能獲得鮮明、強烈的表達效果。例如「東張西望」借「東」與「西」一一對照，這「張望」一語就非同尋常了，「手舞足蹈」借「手」與「足」一補充，這「舞蹈」一語，就更加具體和形象化了；「一乾二淨」借數字一對舉，使「乾淨」一語更加突出了等等。
因此，成語在語言表達上，能夠發揮很好的積極作用，它是非常有用的語言材料，我們應當學習和掌握這些東西，正確地加以應用，使我們說話、寫文章獲得更好的表達效果。