二祖慧可大師，俗姓姬，虎牢(又作武牢，今河南成皋縣西北)人。其父名寂，在慧可出生之前，每每擔心無子，心想：「我家崇善，豈令無子？」於是便天天祈求諸佛菩薩保佑，希望能生個兒子，繼承祖業。就這樣虔誠地祈禱了一段時間，終於有一天黃昏，感應到佛光滿室，不久慧可的母親便懷孕了。為了感念佛恩，慧可出生後，父母便給他起名為「光」。
慧可自幼志氣不凡，為人曠達，博聞強記，廣涉儒書，尤精《詩》、《易》，喜好遊山玩水，而對持家立業不感興趣。後來接觸了佛典，深感「孔老之教，禮術風規，莊易之書，未盡妙理」，於是便棲心佛理，超然物外，怡然自得，並產生了出家的念頭。父母見其志氣不可改移，便聽許他出家。於是他來到洛陽龍門香山，跟隨寶靜禪師學佛，不久又到永穆寺受具足戒。此後遍遊各地講堂，學習大小乘佛教的教義。經過多年的學習，慧可禪師雖然對經教有了充分的認識，但是個人的生死大事對他來說仍然是個迷。
三十二歲那年，慧可禪師又回到香山，放棄了過去那種單純追求文字知見的做法，開始實修。他每天從早到晚都在打坐，希望能夠借禪定的力量解決生死問題。這樣過了八年。有一天，在禪定中，慧可禪師突然看到一位神人站在跟前，告訴他說：「將欲受果，何滯此邪？大道匪(非)遙，汝其南矣(如果你想證得聖果，就不要再執著於枯坐、滯留在這裡了。大道離你不遠，你就往南方去吧)！」慧可禪師知道這時護法神在點化他，於是將自己的名字改為神光。第二天，慧可禪師感到頭疼難忍，如針在刺，他的剃度師寶靜禪師想找醫生給他治療。這時，慧可禪師聽到空中有聲音告訴他：「這是脫胎換骨，不是普通的頭疼。」慧可禪師於是把自己所聽到的告訴了他的老師。寶靜禪師一看他的頂骨，果然如五峰隆起，於是就對慧可禪師說：「這是吉祥之相，你必當證悟。護法神指引你往南方去，分明是在告訴你，在少林寺面壁的達磨大師就是你的老師。」
慧可禪師於是辭別了寶靜禪師，前往少室山，來到達磨祖師面壁的地方，朝夕承侍。開始，達磨祖師只顧面壁打坐，根本不理睬他，更談不上有什麼教誨。但是，慧可禪師並不氣餒，內心反而愈發恭敬和虔誠。他不斷地用古德為法忘軀的精神激勵自己：「昔人求道，敲骨取髓，刺血濟飢，布發掩泥，投崖飼虎。古尚若此，我又何人？」就這樣，他每天從早到晚，一直呆在洞外，絲毫不敢懈怠。
這樣過了一段時間，有一年臘月初九的晚上，天氣陡然變冷，寒風刺骨，並下起了鵝毛大雪。慧可禪師依舊站在那裡，一動也不動，天快亮的時候，積雪居然沒過了他的膝蓋。
這時，達磨祖師才慢慢地回過頭來，看了他一眼，心生憐憫，問道：「汝久立雪中，當求何事？」
慧可禪師流著眼淚，悲傷地回答道：「惟願和尚慈悲，開甘露門，廣度群品。」
達磨祖師道：「諸佛無上妙道，曠劫精勤，難行能行，非忍而忍。豈以小德小智，輕心慢心，欲冀真乘，徒勞勤苦(諸佛所開示的無上妙道，須累劫精進勤苦地修行，行常人所不能行，忍常人所不能忍，方可證得。豈能是小德小智、輕心慢心的人所能證得？若以小德小智、輕心慢心來希求一乘大法，只能是痴人說夢，徒自勤苦，不會有結果的)。」
聽了祖師的教誨和勉勵，為了表達自己求法的殷重心和決心，慧可禪師暗中拿起鋒利的刀子，咔嚓一下砍斷了自己的左臂，並把它放在祖師的面前。頓時鮮血紅了雪地。
達磨祖師被慧可禪師的虔誠舉動所感動，知道慧可禪師是個法器，於是就說：「諸佛最初求道，為法忘形，汝今斷臂吾前，求亦可在(諸佛最初求道的時候，都是不惜生命，為法忘軀。而今你為了求法，在我跟前，也效法諸佛，砍斷自己的手臂，這樣求法，必定能成)。」
達磨祖師於是將神光的名字改為慧可。
慧可禪師問道：「諸佛法印，可得聞乎？」
祖師道：「諸佛法印，匪(非)從人得。」
慧可禪師聽了很茫然，便說：「我心未寧，乞師與安。」
祖師回答道：「將心來，與汝安。」
慧可禪師沉吟了好久，回答道：「覓心了不可得。」
祖師於是回答道：「我與汝安心竟。」
慧可禪師聽了祖師的回答，當即豁然大悟，心懷踴躍。原來並沒有一個實在的心可得，也沒有一個實在的「不安」可安，安與不安，全是妄想。
慧可禪師開悟後，繼續留在達磨祖師的身邊，時間長達六年之久(亦說九年)，後繼承了祖師的衣缽，成為禪宗的二祖。
據史料記載，二祖慧可付法給二祖僧璨後，即前往鄴都，韜光養晦，變易形儀，隨宜說法，或入諸酒肆，或過於屠門，或習街談，或隨廝役，一音演暢，四眾皈依，如是長達三十四年。
曾有人問二祖：「師是道人，何故如是(師父，你是個出家人，出家人有出家人的戒律，你怎麼可以出入這些不乾不淨的地方呢)？」
二祖回答道：「我自調心，何關汝事(我自己觀察和調整自己的心，跟你有什麼相干)！」
慧可禪師長於辭辯，他雖無意推廣自己的禪法，但是知道他的禪法的人卻日漸增多。隨著他的影響一天天地擴大，他的弘法活動遭到了當時拘守經文的僧徒的攻擊。當時有個叫辯和的法師，在寺中講《涅槃經》，他的學徒聽了慧可禪師的講法，漸漸地都離開了講席，跟隨慧可禪師學習祖師禪。辯和法師不勝惱恨，於是在邑宰翟仲侃的面前誹謗慧可禪師，說他妖言惑眾。翟仲侃聽信了辯和法師的讒言，對慧可禪師進行了非法迫害。慧可禪師卻怡然順受，曾無怨色。燈錄上記載，慧可禪師活了一百零七歲，寂於隋文帝開皇十三年(593)，諡大祖禪師。
關于慧可禪師的生前開示，《楞伽師資記》卷一中有少許記載。慧可禪師的「略說修道明心法要」雲--
「《楞伽經》云：牟尼寂靜觀，是則遠離生死，是名為不取。今世後世，盡十方諸佛，若有一人，不因坐禪而成佛者，無有是處。《十地經》云：眾生身中，有金剛佛，猶如日輪，體明圓滿，廣大無邊，只為五蔭重雲覆障，眾生不見。若逢智風，飄蕩五蔭，重雲滅盡，佛性圓照，煥然明淨。《華嚴經》云：廣大如法界，究竟如虛空，亦如瓶內燈光，不能照外，亦如世間雲霧，八方俱起，天下陰暗，日光起得明淨，日光不壞，只為霧障。一切眾生清淨性亦復如是，只為攀緣，妄念諸見，煩惱重雲，覆障聖道，不能顯了。若妄念不生，默然淨(靜)坐，大涅槃日，自然明淨。俗書云：冰生於水而冰遏水，冰消而水通； 妄起於真而妄迷真，妄盡而真現。即心海澄清，去身空淨也。故學人依文字語言為道者，如風中燈，不能破闇，焰焰謝滅。若淨坐無事，如密室中燈，則解破闇，昭物分明。……若精誠不內發，三世中縱值恆沙諸佛，無所為。是知眾生識心自度。佛不度眾生，佛若能度眾生，過去逢無量恆沙諸佛，何故我不成佛？只是精誠不內發，口說得，心不得，終不免逐業受形。故佛性猶如天下有日月，木中有火，人中有佛性，亦名佛性燈，亦名涅槃鏡，明於日月，內外圓淨，無邊無際。猶如鍊金，金質火盡，金性不壞，眾生生死相滅，法身不壞。亦如泥團壞，亦如波浪滅，水性不壞，眾生生死相滅，法身不壞。……《華嚴經》云：譬如貧窮人，晝夜數他寶，自無一錢分，多聞亦如是。又讀者暫看，急須並卻，若不舍還，同文字學，則何異煎流水以求冰，煮沸湯而覓雪。……」
另有向居士，聞二祖盛化，致書通好云：「影由形起，響逐聲來。弄影勞形，不識形為影本。揚聲止響，不知聲是響根。除煩惱而趣涅槃，喻去形而覓影。離眾生而求佛果，喻默聲而尋響。故知迷悟一途，愚智非別。無名作名，因其名則是非生矣。無理作理，因其理則爭論起矣。幻化非真，誰是誰非？虛妄無實，何空何有？將知得無所得，失無所失。未及造謁，聊申此意，伏望答之。」慧可禪師閱後，回書云：
「備觀來意皆如實，真幽之理竟不殊。
本迷摩尼謂瓦礫，豁然自覺是真珠。
無明智慧等無異，當知萬法即皆如。
愍此二見之徒輩，申辭措筆作斯書。
觀身與佛不差別，何須更覓彼無餘。」
上面所引兩段引文，基本上代表了慧可禪師的禪學主張，以及後代禪宗發展的主流。