鴉片戰爭後，中國的海面上開始有外國的船艦耀武揚威，他們的船艦個頭更高，馬力更大，跑得更快。統治者發現，海運比漕運更省時省力省錢，清政府於是漸漸冷落了漕運。1855年，黃河發生洪災，運河改道，漕運被迫完全終止。在大運河上威風了100多年的漕船幫這下傻了眼，扯下曾經高高飄揚的旗幟，拉下粗大的桅杆，茫然四顧，不能再運糧了，幹什麼呢?這場變故對於漕船幫來說是場名副其實的災難，大約四五萬名水手失去了固定職業，加上為大運河漕運沿途提供服務的人在內，不下數十萬。
失去飯碗後的水手好多都參加了反清的太平軍和捻軍，或者當了土匪，自然更是被清政府視為眼中釘，嚴厲打壓，漕船幫面臨著土崩瓦解的危機。但是，漕船幫的人不甘心立刻跡，上天也不允許他們這麼快就退出歷史舞臺。19世紀七八十年代，在蘇北出現了一個叫安清道友的組織，讓奄奄一息的漕船幫起死回生了。由於清政府允許漕運水手在運輸糧食時幹私活，比如帶點貨物什麼的，所以漕船幫就利用這個便利，從鹽價較低的北方偷偷運帶私鹽到南方，因此結識了好多鹽梟。蘇北的漕船幫的失業水手們不久就和當地的鹽梟們聯合起來，組成了一個新組織。為 了掩人耳目，他們叫它「安清道友」19世紀末，在青幫舉步維艱的發展過程中，出現了一位傳奇人物：徐寶山。
徐寶山是江蘇鎮江人，出身貧寒，15歲就遊食四方，廣交朋友。據說此人身材魁梧，武藝超群，刀槍棍棒無所不精。因其力大無比，經常以寡敵眾，遂得渾名「徐老虎」，年輕時徐寶山在當地參加了轟動一時「仙女廟劫案」，後被清政府捉拿並發遣甘肅，途經山東時成功逃脫，隨後即潛入江湖成為一大鹽梟。徐寶山加入青幫後，廣收門徒，盛時黨徒曾有10000多人在近代青幫發展歷程中，徐寶山實在是位關鍵性的人物，不過，在他去世後，蘇北的青幫就大不如以前了，青幫好多分子都轉戰上海，其中包括他的兩個得意門生：張仁奎和高世奎。最終，上海成為青幫分子的最大聚集地，當然，也成為他們的衰敗之地。
上海開埠之後，很快成為全國海運的中心，失業的青幫水手和船工們覺得又找到了謀生的機會。對他們而言，回家鄉當雜工做土匪流氓，或者在蘇北做私鹽販子，都沒有一個安穩的飯碗更為誘惑—沒有誰願意整天在提心弔膽中過日子。那些幫會頭子也對這裡充滿了嚮往，上海是傳說中遍地黃金的傳奇之城，他們渴望來這裡淘金並擴大自己的勢力，於是，大量抱著無數期待和幻想的水手、船工和把頭湧進上海。但他們很快發現，他們錯了，等待他們的是莫測的命運。
上海的確有很多的碼頭，也有很多的活可幹，但是更有那麼多雙眼巴巴地盯著能夠找到正兒八經、安安穩穩工作的幸運兒很少，更多的人是流落街頭。面對著生存的威脅，他們好多人加入到偷搶、敲詐勒索的行列。為了更多的機會和活動地盤，他們]又與「地頭蛇」流氓勢力相結合，為了在與流氓地痞團夥的爭鬥和矛盾中取勝，青幫不再固守漕運人員的界限，開始在遊民中吸收門徒。與流氓合流，身無他技的青幫開始從事販毒賭博、開設妓院、走私軍火、行劫窩贓、販賣人口、綁票勒索等罪惡勾當。
民國初年，上海青幫中輩分最高的是「大」字輩的「老頭子」，如張仁奎、高士奎、樊瑾成、袁克文、張樹聲、王德鄰、劉登階、曹幼珊、汪禹丞、步章武、徐朗西、陳其美等，總共也就十幾位。袁克文是袁世凱的二公子，清末民初的「名士」，文採風流都是數一數二的；張樹聲，是馮玉祥西北軍中的著名將領；徐朗西和陳其美是孫中山的得力幹將；張仁奎做了幾十年的通海鎮守使，為人正派，官望也不錯。大字輩以下的青幫中人就少有什麼「高人」了，多是從事煙、賭、娼、盜、綁、殺的黑道流氓，比如「通」字輩的金廷蓀、顧嘉棠、葉焯山、高鑫寶、馬祥生、金九齡、季雲卿、張嘯林等人。通字輩下面才是「悟」字輩，就是杜月笙這一輩的。需要指出的是，上海的青幫成員除了這些流氓地痞之外，還有很多普通勞動者那些幸運的就業者們面對殘酷的現實，也紛紛拜師交友，希望通過幫會的勢力來保住飯碗，避免捲入失業者的洪流。據最保守的估計，當時上海的工人中20%都是幫會成員，其中大部分為青幫。