善於或喜好觀察人的人們，都會有這種感覺：即對於部分人，一看其形貌和行為就可對他的內心世界有個大體的或某一方面的了解。中國相術就根源於人類的這種生活經驗，可以說早期相術是人類生活經驗的積累。《孟子·離婁上》：「孟子曰：存乎人者，莫良於眸子。眸子不能掩其惡，胸中正，則眸子瞭焉，胸中不正，則眸子耗焉。聽其言也，觀其眸子，人焉度哉？」這段話的意思是：孟子說：觀察一個人，再沒有比觀察他的眼睛更好了。因為眼睛不能遮蓋一個人的醜惡。心正，眼睛就明亮；心不正，眼睛就昏暗。聽一個人說話的時候，注意觀察他的眼睛，這人的善惡又能往哪裡隱藏呢？孟子的話是中國相術理論的先導，是總結生活經驗而形成的精闢論述。我國最早的文獻之一《左傳》，就記載了許多依據生活經驗相人的事例，從中顯示出了早期相術的特點，即點滴地從部分明顯的標誌上斷定一個人。《左傳·文公元年》載，周王派內史叔服到魯國會葬，魯國的公孫敖聽說他會相人，就讓他相自己的兩個兒子，他的長子名叫谷，次子名叫難。叔服見到兩個兒子後說：長子谷將來是祭禮供養你的人，次子難將來是埋葬你的人，谷的面部下半部分豐滿寬大，他的子孫必定會在魯國延續下去。相術把人的面部分為上中下三部分，最下一部分反映人的晚年和子孫後代的狀況，所以叔服依據谷的豐滿寬大的下面部，看出了谷的子孫的延續不絕。《文公元年》還載，楚王想立兒子商臣為太子，問令尹子上的意見，子上說：商臣這個人，長著一雙蜂眼，聲音如荼狼一般，是一個兇狠慘酷的人，不能立他為太子。楚王不聽，商臣被立為太子，後商臣果然逼迫楚王上吊自殺。《宣公四年》載，楚國的司馬子良生了一個兒子，起名為越椒。子良的哥哥子文說：必須把越椒殺掉，這個人長得象熊虎一樣，聲音又象才狼，不殺掉他，將來一定會讓我們家族滅亡。常言說：狼子野心。他就是狼，難道可以養育嗎？子良不聽，子文憂慮異常，臨死的時候，他把全家族的人聚在一起說；如果越椒掌握了國政大權，你們就趕快逃跑，免遭災難。後越椒執政，成為楚國的令尹，率領全族與楚王爭鬥，終被楚王消滅。
到司馬遷的《史記》，相術的記載就更多更全面了。如趙國的平原君曾說秦國武安君白起，頭小而上部很尖，眼睛黑白分明，看東西時堅定而不轉動。又說頭小而頂尖，這是有決斷、敢冒險的標誌，眼睛黑白分明，表明其能很清楚明了地認識事情，眼珠不轉動，表明信念堅定，有主見。所以，對待這樣的人，可以與他長期對峙，不能與他爭鬥以決定勝負。大梁人尉綜曾給秦始皇出計，以財吊賄賂各國豪臣，破壞他們的聯合，秦始皇聽從其計，並以彼此平等的禮節對待尉繚，穿衣吃飯都與尉繚相同。但尉繳說：秦王這個人長著很高的鼻子，眼睛很長，胸部又同鳥一樣，聲音象狼，是一個少有情義而有虎狼之心的人，困難時容易謙卑，得志之後會以人命為草菅。
從人的言辭談吐來觀察人，《周易·繫辭下》中已有較詳盡的論述。其文說：如果一個人說話帶有愧的成分，那麼這個人就將有背叛行為，如果一個人說話支支吾吾，或左或右，那麼這個人必定多疑；忠直善良的人，其言談必簡捷明了；浮躁的人，其言談必繁亂雜沓；誣陷善人的人，其言談必定遊移不定；毫無操守的人，其言談必定柔弱。
相術發展到漢代，已形成了基本的雛形，並在社會上有了廣泛影響。漢代著名哲學家王充的《論衡》和王符的《潛夫論》中，都闢有專章討論相術。《淮南子》中也較全面地談到了相術。我國第一部相術專著《人物誌》也是漢代寫成的。秦漢期間出現了許負、朱建平、管格等著名相術家。相術發展到後來，越來越紛繁複雜，人身的各個細小部分都成了吉兇禍福的標誌，使本來是反映一般生活經驗的相術走進了絕對化和神秘化的泥潭。
就成熟期相術的總體看，是從五個方面來觀察的，這五個方面是：形、神、氣、色、聲。形又包括動態的和靜態的兩部分，動態部分指坐臥、行走、飲食、哭笑等動作，靜態部分包括身體的各個細節，如形狀、位置、紋痕、痣點等。五個方面中，以相形的一方面最為豐富複雜，它是相術的主要成分。
形的靜態部分的相法，一般是以各個細節為獨立觀察對象的。分為面部形狀、頭的形狀、頭髮、眉、眼、鼻、耳、口、唇、齒、舌、鬍鬚、脖子、背、腰、腹、胸乳、下部、手、腳、四肢等，其中面部形狀、頭形、眉、眼、鼻、耳、口、手、腳是主要觀察對象。
相術往往給人體的各個部位，特別是面部各部位一定的名稱，這本來是為了分析和敘述的方便而採取的必要措施，但後來卻名目繁多，並有意在名稱上顯示玄奧，使本來簡單的現象神秘複雜起來，如面部的名稱就有六府、三才、三停、五官、五星、六躍、五嶽、四瀆、十二宮、十三部等十多套。分析一下這些名稱所指的部位，就可以看出，名稱雖多，部位卻仍是那麼幾個，只不過是一個部位同時兼有幾個名稱而已。
三停包括上停、中停、下停。上停指髮際到眉的額部，中停指眉到鼻尖的中臉部，下停指鼻尖到下須的下臉部。三才包括天、人和地，天即指額，人指鼻子，地指須。五官包括保壽官、監察官、出納官、審辨官、採聽官。保壽官指雙眉，監察官指雙眼，出納官指口，審辨官指鼻，採聽官指雙耳。六府包括天倉二上府、額骨二中府、頤骨二下府。天倉二上府指左右額、額骨二中府指左右勸骨部，頤骨二下府指左右腮。五星包括火星、土星、木星、金星、水星。火星指額，土星指鼻，木星指右耳，金星指左耳，水星指口。六躍包括計都、羅喉、紫氣、月李、太陰、太陽。計都指右眉，羅喉指左眉，紫氣指印堂，月指鼻根，太陰指右眼，太陽指左眼。五嶽包括南嶽衡山、西嶽華山、東嶽泰山、中嶽嵩山、北嶽恆山。衡山指額，華山指右顆骨部，泰山指左額骨部，嵩山指鼻，恆山指須。四瀆包括江、河、淮、濟，江指雙耳，河指雙目，淮指口，濟指鼻。
十二官包括命官、財吊、兄弟、田宅、男女、奴僕、妻妾、疾厄、遷移、官祿、福德、相貌。命宮在兩眉之間，財串指鼻，兄弟指雙眉，田宅指雙眼，男女在雙眼下，即淚堂，奴僕指下須，妻妾在雙眼外角，疾厄在鼻根，遷移在雙眉外角，官祿在印堂上面，福德在左右額，相貌指整體，包括五嶽三停。
十三部包括天中、天庭、司空、中正、印堂、山根、年上、壽上、準頭、人中、木星、承漿、地閣。十三部分從臉的中部縱向由上向下排列，其中山根指鼻根，準頭指鼻尖，木星指口。
如前所述，什麼審辨官、三才中的人、中嶽嵩山、土星、濟、財吊等實際上都指一個部位，即鼻，採聽官、木星、江等都指耳，如此等等，顯然相術家有故弄玄虛，把簡單問題神秘化複雜化的傾向。
前面說過，相術一般對身體的各個部分，是單獨觀察的，各個部分分出後，再就每個部分生成的不同形狀和特點進行分類，而後確定不同類別所標誌的貧富、貴賤、吉兇、禍福、壽天等。如面部分甲字面、申字面、田字面、同字面、王字面、園字面、風字面、用字面、目字面等。某字面表示面部形狀象某個字形，甲字面即面部形狀象甲字字形，即臉的上部寬廣，下部狹窄。申字面即臉的中間寬大，上部和下部狹窄。簡單地說，甲字面的人，少年富足，老年貧寒。申字面的人，少年生活多艱，中年功名隨願，老年孤苦。
眉毛一般分二十四種，有：
鬼眉 疏散眉 黃薄眉 掃吊眉 尖刀眉 八字眉 羅漢眉 龍眉柳葉眉 劍眉 獅子眉 前清後疏眉 輕清眉 短促秀眉 旋螺眉 一字眉 臥蠶眉 新月眉 虎眉 小掃帝眉 大短促眉 清秀眉 間斷眉 交加眉
依相術理論，知道某種眉形，便可知道長有這種眉毛的人是什麼樣的人，如長有鬼眉的人，是「粗雜鬼眉壓眼波，假施仁義毒心多，百般生活無沾染，竊得人財著（穿）綺羅」。長有柳葉眉的人，是「眉粗似葉濁中清，骨肉情疏子晚成，信友忠君多義士，終鬚髮達播賢聲」。
眼睛共分三十九類，有：
龍眼 鳳眼 猴眼 象眼 龜眼 鵲眼 獅眼 虎眼 牛眼 孔雀眼鴛鴦眼 鳴鳳眼 睡鳳眼 瑞鳳眼 雁眼 陰陽眼 鶴形眼 鵝眼 桃花眼 醉眼 鶴眼 羊眼 魚眼 馬眼 豬眼 蛇眼 鴿眼 駕眼 狼眼伏犀眼 鷺鴦眼 猿眼 鹿眼 熊眼 蝦眼 蟹眼 燕眼 鷓鴣眼 貓眼
相術理論認為，天地靠日月而閃光，日月是照臨萬物者。眼睛好比是人身的日月，左眼是太陽，右眼是月亮。人閉眼睡覺時，神歸於心，人醒時，神依留於眼睛，眼睛是神遊息的場所，觀察眼睛的善惡，就可以知道神的清獨。龍眼之人，「黑白分明精神彩，波長眼大氣神藏，如此富貴非小可，竟能受祿輔明皇」。鳳眼之人，「鳳眼波長貴自成，影光秀氣又神清，聰明智慧功名遂，拔萃超群壓眾英」。
鼻共有二十四類：
龍鼻 虎鼻 胡羊鼻 獅鼻 懸膽鼻 伏犀鼻 牛鼻 截簡鼻 蒜鼻 盛囊鼻 猴鼻 鷹嘴鼻 狗鼻 鮑魚鼻 三彎三曲鼻 劍鋒鼻 偏凹鼻 孤峰鼻 露脊鼻 露灶鼻 猝鼻 猩鼻 猿鼻 鹿鼻
鼻是權衡面部各部的基準，是職官高低的標誌，又可以顯示人的一生狀況，如露灶鼻：「孔大鼻高搬又長，須知家下少衣糧，艱辛受苦多勞碌，末喪他鄉實可傷。」猿鼻：「鼻小而口頗尖，猖狂輕躁不尊嚴，性靈噴怒多憂慮，花果常時手好括。」
耳分十六種，
土耳 棋子耳 虎耳 箭羽耳 金耳 木耳 水耳 火耳 豬耳 低反耳 重肩耳 貼腦耳 開花耳 扇風耳 鼠耳 驢耳
耳的表徵如：扇風耳：「兩耳向前且兜風，破盡家財及祖宗，少年享福中年敗，末歲貧苦受孤窮。」虎耳：「耳小輪廓又缺破，對面不見始為奇，此耳此人多好險，亦能有貴有威儀。」
口分十六種：
四字口 方口 仰月口 彎弓口 牛口 龍口 虎口 羊口 豬口吹火口 皺紋口 櫻桃口 猴口 魷魚口 鉀魚口 露船口
口的表徵如：牛口：「牛口雙唇厚且豐，平生衣祿更昌隆，濁中帶清心靈巧，富貴康寧福若松。」櫻桃口：「櫻桃口大唇胭脂，齒似榴牙密且宜，笑如含蓮情和暢，聰明拔萃紫袍衣。」
各類的名稱多是採用修辭手法確定的，其中多以動物的形狀來加以形容，這是為了增強名稱的形象性，使人易於理解，便於體會。相術中多以動物的形狀、動作、神態來比喻人，這確實是一種好方法，不如此，則需多費言辭，且不易讓人理解。相術理論對這種做法也作出了解釋，認為世上萬物都是由五行（五種元素）生成的，所以萬物會有種種相似。《人相篇》;「人桌五行以生，順天地之和，食天地之祿，未嘗不由乎五行之所取。須辨五行之形，須識五行之性，若以飛走（禽獸）取形，須議得理。如《易》取象天地風雷水火山澤八物以象八卦，取其類也。而有彎鳳龍虎獅象牛馬蛇雀鵝鴨雞豬猿猴鼠狗之類，各有相似。」
形的動態方面的相術，主要是以道德禮教為標準來判斷吉兇的，具有濃厚的封建性。行走如同流水一樣，不左右搖晃，不彎腰，不低頭，周旋進退都不失節度，這就是富貴相，反之則是貧賤相。坐如釘石，凝然不動是富貴相，坐時雙膝搖動，身體不端正，又常轉身轉頭，不恭不謹，是貧賤貪薄相。睡時安然不動，是福壽相。張著嘴睡，夢中咬牙，睡中睜著眼，睡中亂語，都是兇相。仰面睡的人貧苦短命。側臥的多壽。睡覺少的人是貴人，睡覺多的人是賤人。睡時容易醒的人聰明敏捷，難以醒的人愚蠢。吃飯時坐端莊，頭平正，急而不暴，遲而不緩，含食時不說話，嚼食時不發怒，是富貴相，反之則賤。封建禮教的標準在婦女的判斷上表現最為突出，婦女未言先笑，笑時彎腰，斜視，行坐不定，行如雀步，坐時搖膝，回頭顧視，掩口偷笑，低頭含笑，剔牙齒等都是邪相。似乎富貴的婦女都不笑，一笑就成了邪人。
形貌的觀察雖是相術的主要部分，但相形是最基礎的入門性的相法，高層次的相術乃是相神、相氣色、相聲等，相術有言：「善相者，無相。」就是說最善相術的人是不依據有形的形貌來判斷的。趙廷禮《星耕堂集》：「相家相人，以形相為主者，下工（低等的相術家）。故以獸喻人之形相，乃入行之學也。高明者必棄之不顧。」王充《論衡》也說：「下工相形，中工相神，上工相聲。」這是說，低等的相術家是依據形貌來判斷禍福吉。