南北朝分治期間，南朝北朝互相敵視互相戒備，並阻止國人間的頻繁往來。雖然偶爾也派使節往來走動，目的卻是為互探國情。隨著隋的統一，南北方貿易往來急劇擴大，地區間互通有無、取長補短就變得十分必要。可是中國地勢西高東低，河流多自西向東，僅有的幾條大河，都呈平行分布。對東西往來自然有利，對南北交流卻無濟於事。為此，從前就在黃河與長江之間開鑿過聯繫兩大水域的運河，只是由於管理不當，疏於河道清淤，最終沒能長期發揮作用。
隋文帝也感到了連接南北的必要性，對原有運河進行過修繕清淤。但畢竟當時國家戰亂方平，國力有限，加之隋文帝一直奉行與民休養生息，儘量避免擾民、大興土木。也正因為這一方略，隋文帝死後才會國庫充盈，給隋煬帝留下一大筆積蓄。隋煬帝則一改父親消極的方針，在各個方面都採取了大的動作。他即位當年，就命人修繕疏通了國都長安至洛陽附近的水路，其目的並非只是恢復這段水路，而是欲將全國大河流南北貫通構建一個龐大的水路網，這只是那項大計劃的序幕。
隋煬帝即位第二年改年號為大業，開始著手開鑿大運河。他要求在大業元年內開鑿貫通黃河至淮河的通濟渠及淮河至長江的邗溝。這段水路原本就有些河渠，只是沒有貫通，現在把那些河渠擴建連通成一條完整的大運河，藉此船隻就能平安順利地往來於國都長安至長江入口的江都之間了。在運河水流湍急的地方，船隻自然順流而下；當地勢平坦水流緩慢或逆流而上的時候，就會在船上繫上繩索靠人力來拉。因此沿運河兩岸便設計了與河床平行的道路，而且把這條路稱為衡道，路旁種有柳樹，用以遮陽。
黃河到長江的運河寬四十步，相當於現今的六十米。河岸上停靠著數萬艘船，最大的便是皇帝乘用的龍舟，長六百米、高十四米。上層甲板是隋煬帝的住所和會客廳，中層甲板又分上下兩層，是文武百官和嬪妃的船室，有一百二十間。最下層是宦官的住所、廚房及儲藏室。皇后的船比此龍舟略小，構造和裝飾則完全相同。長安至江都的水路沿途修建了四十餘所行宮。其中要數長安至洛陽段，在靠近洛陽的壽安縣所建的顯仁宮最為壯觀。洛陽曾是東漢、北魏的國都，隋煬帝將此處作為副國都，稱洛陽為東京、東都。為了使洛陽成為重要的經濟中心迅速繁榮，隋煬帝下令強行從地方徵調數萬富商巨賈舉家遷移而來，並在此開設店鋪。
在城的西面，建有專供隋煬帝遊樂的西苑，外圍牆周長達九十公裡，苑中央修建了周長約五公裡的人工湖，湖中建有造型類似蓬萊等名勝的三座假山，在高出水面三十米的峰嶺其間點綴了各式樓閣亭臺，並設有石階可拾級而上。流入湖中的水形成綿延不斷的河谷，其兩側依山傍水建有十六間休息御所，每處均有美女恭候皇帝的光顧。這些宮殿樓閣極盡奢華，所用木材及庭院中的樹木， 有的甚至是從遙遠的廣東運來的。
到了冬季樹葉枯落，便將彩色的絲綢剪成葉子狀裝飾在樹上，若「樹葉」稍有褪色即刻便用新的彩綢更換。如此一來，一年四季都能領略到春秋的景象。若湖中蓮花、紅菱的葉子枯萎，也會用綢緞來精工細作。傳說隋煬帝對西苑情有獨鍾，月之夜，他便會騎馬巡遊，隨行的宮女有數千名，並譜有《清夜遊》命人在馬上演奏。除此之外，就要數長江附近的江都行宮最為壯觀了。
在運河開通之時，隋煬帝曾率數千艘遊船及護衛戰船，自洛陽附近的顯仁宮至江都，展開了一場聲勢浩蕩、綿延約九十公裡長的大巡遊。乘船的除了後宮嬪妃、王公貴族外，還有僧尼、道士、外國商人及他們攜帶的物品。拖動這樣浩大的船隊動用了八萬兵力，其中身著錦緞的將校九千餘人。護衛船上搭乘了十二大隊的衛士，這些士兵輪換著拉船。此外沿河兩岸還有騎兵護衛隨從。沿途的地方官必須提供船上所有人員所需的食物，如若供給不足或粗製濫造，將會受到嚴厲的懲罰，於是大家爭相提供山珍海味。後宮嬪妃吃不了多少東西，那搜集來的美味多有剩餘，直接扔掉會遭責罵，於是便刨坑掩埋了事。此時的運河兩岸正遭遇年饉，百姓餓得骨瘦如柴，飢腸轆轆，這種大肆浪費，真是太令人氣憤了。
這樣浩浩蕩蕩的船隊史無前例，而且率領如此氣派的船隊行走於世，對於隋煬帝來說一定非常得意。隨行的朝中官員、高級將領多少也能得到些許恩賞，成為調節心身很好的一趟旅遊觀光。吃盡苦頭的是那些低級士兵和強徵來的苦力。他們既吃不飽肚子也沒有足夠的休息時間，就這樣忍飢挨餓疲於奔命，最後累得筋疲力盡。不過還有比這更悲慘的，就是那些最終要承擔這些費用並無償提供勞力的普通百姓。更可氣的是，這樣的巡遊並非偶爾一次兩次就完了，而是接二連三經常舉行，百姓自然苦不堪言。