史書說楊國忠，喜歡飲酒賭博，多次向人借貸，行為不檢點，為姻親族人所不齒。他叔叔楊玄琰病重，他到家裡去照顧叔叔。結果，趁機與堂妹勾搭成奸，這個堂妹就是後來大名鼎鼎的虢國夫人；叔叔死後，他又將叔叔家的財物搜刮一空，跑到成都賭博，輸得一乾二淨。
楊國忠可是，街頭混混楊國忠的堂妹多，其中一個便是唐玄的宗貴妃楊玉環。楊國忠流落四川的時候，劍南節度使章仇兼瓊與宰相李林甫不和，聽說楊玉環得寵，就想結交貴妃，引為靠山。
於是，章仇兼瓊表奏楊國忠為推官，命他到長安送春貢，還贈送楊國忠價值百萬錢的四川特產。楊國忠到長安後，見到諸位姐妹，都送上一份厚禮，並與堂妹虢國夫人舊情重燃。
楊氏姐妹投桃報李，就向玄宗皇帝推薦了這個堂兄。推薦堂兄當官總得有個理由吧，楊氏姐妹想來想去，實在找不到堂兄身上有什麼才幹，只好對唐玄宗說，俺們這個堂兄善於樗蒲之戲，就讓他陪著皇帝玩吧。
什麼是樗蒲之戲？其實就是一種賭博方式，五個木片，一面黑一面白，黑面上畫有牛犢，白面上畫有野雞。賭博時，輪流投擲，比誰的黑面數多。共六種可能性，和後世的擲色子差不多。
朝鮮現存樗蒲實物楊氏姐妹的面子不能不給，唐玄宗便召楊國忠相見，見面一談，這楊國忠確實沒什麼大的才幹，玄宗只提拔他當了金吾兵曹參軍兼閒廄判官的小官。
唐玄宗此時還沒有徹底老糊塗，還知道關鍵崗位不是什麼人都能幹。李白那麼大一個詩人，唐玄宗見面一談，見他沒有治國理政之才，也只讓他做了翰林待詔，陪皇帝吟風弄月；並沒有因為他的名氣，封一個實職。
對楊國忠也是這樣，唐玄宗封他一個閒官，當一個弄臣，沒事的時候招過來，陪著朕與貴妃玩兩把樗蒲休閒一下。楊國忠此時也沒想到，不久的將來，自己會從一個弄臣，做到大唐宰相，並身兼四十多種要職。
楊國忠自己說過，我出身貧寒，只因貴妃娘娘的關係，才晉升到現在這種高位，享盡榮華富貴。楊貴妃對這個混混堂兄確實有引薦之恩，但是，僅憑枕頭風，唐玄宗也不會將一個街頭混混直接擢升為朝廷重臣。
楊國忠踏踏實實履行弄臣職責、哄皇帝開心的同時，展現了自己一項過人技能，讓唐玄宗對他刮目相看。
唐玄宗和楊氏姐妹玩樗蒲之戲時，就叫楊國忠過來，在旁邊專職負責記帳。為皇帝辦事，楊國忠相當認真、盡心，每一局誰贏、誰輸，贏多少、輸多少，一筆筆記得清清楚楚、分毫不差。
唐玄宗一看帳本，一目了然，大喜，史書上說，帝悅曰：「度支郎才也！」皇帝高興地說，楊國忠有管理財物的才幹啊。
楊國忠劇照沒過多長時間，楊國忠便擔任了監察御史，很快又遷升為度支員外郎，兼侍御史。在不到一年的時間裡，他便身兼15餘職，完成了從弄臣到重臣的蛻變。