康熙初年，有一戶伍姓人家由福建泉州搬到廣東廣州，家族依然從事廣東和福建之間的茶葉買賣。到了第五代時，有一個叫伍國瑩的，他應聘去了當時的廣州首富潘振承家中做帳房。直到1783年，伍國瑩開始參與元順商行的經營。
後來伍國瑩把業務交給了兒子伍秉鈞，伍秉鈞接過父親的事業後，就正式創辦了怡和行，並給自己起了一個商名叫「浩官」，這個商名一直被後人沿用，馬克思的文獻中提到的「伍浩官」就是指他們家。
誰料，伍秉鈞在35歲時病逝，其後他的弟弟伍秉鑑接手了怡和行，這一年是1801年。從此伍家的事業開始快速崛起，怡和行在他手中後來居上，並且很快取代了潘家，成為行商的總商。到公元1834年，幾乎成為世界首富。
說伍秉鑑是世界首富，並不是空穴來風。美國學者黑尼斯和弗蘭克·薩奈羅曾經說，估算伍秉鑑1834年時財產為1872萬兩白銀，而當時清政府年財政收入是4000萬兩，他的家族財富幾乎相當於一半了，他非常有可能是那個時候的世界首富。
在2001年，美國的《華爾街日報》（亞洲版）刊登了一個《縱橫一千年》的專輯，專門統計上幾個世紀世界上最富有的50個人，其中有6個中國人，而他是裡面唯一一位純粹的商人。《華爾街日報》這樣寫道：出生於1769年的清朝行商伍秉鑑，繼承父業與外商從事買賣，又進一步貸款給外商並以此獲得世界首富，他在西方商界享有相當高的知名度。
在鴉片戰爭以前，清朝以「天朝上國」自居，拒絕通商，閉關鎖國，只開放廣州港口與世界通商，史稱「一口通商」，而廣州壟斷了對外貿易的就是民間十三家商行，簡稱「廣州十三行」。
而擁有這天時地利的怡和行，更是因為它的主人伍秉鑑的人和，而名揚天下。他非常講究誠信，凡是有伍家戳記的茶葉，在國際市場質量最好的，能賣出高價。伍秉鑑在很多西方商人的眼裡享有非常不錯的名聲，有很多關於他的趣聞軼事廣為流傳。
據說當時有一個美國波士頓的商人，和伍秉鑑在生意上有合作，但是因為經營問題，欠了伍秉鑑7.2萬銀元，後來他一直無力償還這筆欠款，也就一直留在中國，沒有辦法回去。
伍秉鑑知道這件事後，叫人把借據拿了出來，對那位波士頓商人說：「你是我的你是我的第一號『老友』，你是一個最誠實的人，只不過不走運。」說完，他就把借據撕個粉碎，並對商人說：我們之間的帳目已經結清，你可以隨時離開廣州回國。
伍秉鑑這一豪爽的舉動，經由那個商人帶回了美國，讓伍浩官的名聲在美國流傳了半個世紀。
1848年，當年的美國首富約翰·雅各布·阿斯特去世，他的書房掛了兩個人的畫像，一幅是華盛頓，一幅是伍秉鑑，他說：「華盛頓給了我一個國家，而伍秉鑑給了我全部人生。」
原來，當年約翰·雅各布·阿斯特到中國廣州進茶葉，因為本錢不夠，就輾轉找到伍秉鑑，伍秉鑑賒給他7萬銀元的貨物，可惜阿斯特的貨船在回國的途中沉了，一時間阿斯科被逼上了絕路。
但是讓他萬萬沒有想到的是，伍秉鑑直接撕掉了阿斯特的借條，還送了他回國的路費。這個一個高傲的美國人，臨行前雙膝跪地，給伍秉鑑磕了一個響頭。很多年後，阿斯特終於東山再起，成為了美國首富，他將自己的商船命名為「伍秉鑑」。
伍秉鑑聲明在外，許多歐美商人慕名而來，他順勢而為，將自己的商業版圖擴張到了全世界，他入股美國旗昌洋行，開展證券、保險業務；投資美國鐵路、房地產、礦業；成為英國東印度公司中國區總代理，「怡和行」成了東印度公司的最大債權銀行，伍秉鑑在當時世界商業的地位無以倫比。
但是按當時「士農工商」的排名，商人是最低的。即使當時伍秉鑑是全球首富，珠江邊的豪宅堪比紅樓夢的「大觀園」，但他的社會地位還是非常低下的。
英國人岱曾記錄，在海關監督面前，行商們從來都行跪拜禮，跪倒在地，叩首多次。即使允許他們起身，他們的眼睛也從不會超過官服的第九粒扣子，否則行商就會遭到最嚴厲的亂棒責打，如同處罰一個普普通通的轎夫。英國商人約翰·巴羅也曾感慨道，行商見了官府最低的小吏，也會發抖……
同時伍秉鑑雖然投資了很多外國產業和公司，但並沒有實際參與管理，也不會插手國外公司的具體貿易細節。即使後來外國人在運茶葉的船裡夾帶鴉片，伍秉鑑也只有建議權，卻沒有決策權。
1839年3月10日，「禁菸大臣」林則徐抵達廣州，他查封煙館，誓將禁菸進行到底。廣州開始了非常嚴厲的禁菸措施，貿易中心十三行也被封鎖了。英商被圍困18天後，無奈交出兩萬多箱鴉片。這就有了林則徐在虎門銷煙。
而這，就成了第一次鴉片戰爭的導火索。隨後，英國入侵，僅僅1.9萬人就重創了清軍的數十萬人。當籤訂《南京條約》時，清軍傷亡2.2萬餘人，英軍傷亡才500多人。
而一場鴉片戰爭他前前後後捐了200多萬銀元。有史料透露，從1800年到1843年，伍氏家族先後自願或被迫「捐出」1600萬兩白銀，這還不包括各種私下的賄賂。
就在《南京條約》籤訂後幾個月，1842年12月，伍秉鑑寫信給他的美國朋友羅伯特·福布斯，他的信中這樣寫道：「如果我現在是青年，我將認真地考慮乘船前往美國，在你附近的某處定居。」
面對國力衰弱、任人欺凌的慘狀，73歲的他老淚縱橫：「寧為一條狗，莫為行商首！」
就算是世界首富，在那個風雨飄搖的時代，在那樣的國家之下，也性命難保，更何談榮耀與尊嚴？
1843年，伍秉鑑去世，他一手建立的商業帝國，最終土崩瓦解，廣州十三行也隨之沒落。