1971年，就讀於北京廠橋小學；同年，被教練吳彬看中，進入北京什剎海體校學習武術，從而開始武術運動員的生涯。
1972年，在「泛亞非拉美桌球錦標賽」開幕式上表演武術；演出結束後，李連杰受到周恩來的接見。
1974年，在中國武術比賽中獲得少年組第一名以及全能冠軍。1975年5月，參加全運會武術套路比賽，獲得全能冠軍。
1980年，李連杰在導演張鑫炎的邀請下出演動作電影《少林寺》，他在片中飾演武功高強、匡扶正義的武僧覺遠。
1982年，該片在中國內地公映後引發社會關注，並以1毛錢的平均票價創下1.61億元的票房紀錄
尼克森對李連杰說：「小朋友，你的功夫給人的印象太深刻了，等你長大了，給我當保鏢好嗎？」結果李連杰想都沒想便朗聲答道：「不！我要保護十億中國人，不是你一個人！」這個回答讓尼克森立刻陷入尷尬，旁邊的基辛格急忙插話對李連杰說：「你以後可以做外交家了。」