作為一個將軍一下子被削職為民，讓其閑居在家，李廣的心情可想而知。有一次，李廣與能望以知禍福的相士王朔一起飲宴。酒過三巡，李廣長吧一聲對身邊的王朔說道：“唉，在我年輕的時候，我曾經相過一次面，那位老丈說我不能封侯，祿不過兩千石，難道我這一生果真會如此嗎？”王朔仔細的看了看李廣說道：“你的面相確實不好，但你的氣好，頭頂上福祿氣繚繞，看上去應該可以封侯的。不過將軍您想一下，你平生有沒有什么最后悔的事情？”李廣聽了以后深思半晌才說道：“我只記得在當隴西太守的時候，曾經有一次誘殺羌兵八百人，那件事直到現在我想起來，還特別的后悔。”王朔說道：“你不能封侯的原因就在這里了，禍莫大于殺降，此乃將軍為什么不能封侯之所在。”
李廣聽了此話之后，默默不語，此時他心里想的是：想自己廝殺半生，還只是一個普普通通的太守之職，而那些比自己小十幾歲甚至小幾十歲的后生們，其地位也都在其上。如公孫敖，自己當將軍的時候，他還只是一個普通的士兵，現在居然封了侯；他的堂弟李蔡，也已經位至諸侯國的丞相，封為列侯。這些怎能不讓他郁郁不歡呢。
在公元前123年，漢武帝又以衛青為車騎將軍，率騎兵三萬從朔方攻擊匈奴結果大勝而返，斬首萬余。因功衛青被封為大將軍，跟隨著衛青出征服其他將校如公孫賀、李朔、趙不虞等人都沾光封了侯。公元前119年，漢武帝為了徹底擊敗匈奴，下了大規模征兵的詔令，漢武帝征集了全國的精銳騎兵十萬，另加數十萬的后勤運輸部隊。他把部隊分成兩路向匈奴攻擊。一路由大將軍衛青從定襄出塞，一路由驃騎將軍霍去病率領從代郡出塞，然后采取分進合擊的戰略，深入匈奴的腹地，準備對匈奴進行一次一勞永逸的打擊，以徹底解決
邊境之患。
李廣在有閑居幾年之后，覺得自己已婚老，再不立功就沒有機會了，于是就像漢武帝請纓，要求上陣殺敵，開始武帝國因為他年紀太大了，沒有批準，但李廣執意要上前線，央求了武帝很長時間，并且還在武帝面前揮刀舞劍的演練一番，證明自己并未老去。漢武帝敬其威，服其壯，就命他率軍屬于衛青麾下，參加大軍遠征，并擔任前將軍。衛青大軍出塞后捉來了俘虜，從俘虜的嘴里問出單于駐扎的地方，便親自率領精銳部隊急速進擊；讓李廣與右將軍趙食其合兵一處，從東路進軍。不過從東路進軍，需要繞路，路途相對的也就遠了，水源和青草也比較少，李廣就向衛青請求道：“大將軍，末將乃是前將軍，應該做前鋒，召集您卻另外讓我從東路進軍。而且我從少年時代起就開始于匈奴作戰，直到今天才有機會正面對付單于，所以希望能在大軍前面做先鋒，先去和單于決一死戰。”
衛青聽到李廣如此的苦苦相求，心里也十分的不忍，但想起臨行之時漢武帝特意對自己所說的一番話：“李廣現在年紀已老了，而且觀其一生，運氣始終不太好，朕想為了穩妥起見，還是不要派其正面與單于為敵，以免到時候咱們抓不住單于。”武帝已經下了秘令了，衛青就算想改也沒有這個權力了，況且衛青的好友公孫敖在不久前因罪失去了侯位，衛青想讓他與自己一起在正面攻擊匈奴，從而立下大功，好恢復侯位。基于種種原因，衛青沒有同意李廣的請求。
李廣后來也不知道怎么知道了這些原因，大怒之下，就與趙食其率軍出發，可是他們這個部隊因為沒有向導，在沙漠中迷失了道路，沒有趕上與單于的戰斗。等到衛青率領軍隊回師，經過沙漠南部的時候，才遇到了李廣和趙食其所率領的軍隊。衛青得知此事之后，很是惱火，派人去李廣的軍
營，詢問李廣私自出軍的理由，按照漢軍的法律，私自出軍又貽誤戰機的罪過是要斬頭的，但衛青比較慎重，沒有貿然行事只令李廣指揮部的幕臣去大將軍處聽審，視其情節輕重再向漢武帝報告。李廣知道之后，很是氣憤說道：“迷路遲到的罪責在我，我的部下沒有罪，要去聽審，就由我去好了。”說完，親自騎馬去大將軍駐地聽審。在去的路上，李廣百感交集，想那衛青乃牧豬之奴，雖有戰功赫赫，可是在很大程度上，是靠了他姐姐衛子夫的關系，才爬到了這么高的位置。而自己從軍數十年，身經百戰，威震敵膽，最后老了老了，還要受衛青這種后生的侮辱，我本想在有生之年，與匈奴決一勝負，立一次大功，不想卻迷了路，就因為迷了一次路，就有了罪名。我今年六十多歲了，難道還要去聽審？還要受那些刀筆吏的污辱嗎？不，我不能污了我這一生的威名。想到這里，李廣從腰中拔出長劍，仰天長嘆道：“時也、運也、命也呀！”長劍往脖子上一放，橫劍自刎。
李廣自殺的消息迅速的傳達室到了他所率領的部隊，將士們無一人不落淚，無一人不傷心。而友鄰的部隊聽到了這個消息之后，也都是嚎啕大哭。大家都為李廣抱不平，鳴冤叫屈。后來軍中經常有人不定時的祭祀他，以紀念他為國家忠勇奮斗的一生和愛兵如子的品德。
古人云：謀事在人，成事在天。天者，時也，勢也，運也。李廣終其一生身經百戰穿金黃色甲，令敵人聞名喪膽，可是依然未能封侯，時乎？命乎？
衛青每當想起李廣的死因來，都會愧疚不安，雖然李廣并不是他殺死的，但他卻知道李廣是間接因他而死的，如果當時自己同意了李廣的請求，這一切或許都不一樣了，可是時光已經過去，又如何能夠回去呢，衛青只能帶著這深深的歉疚來撫慰李廣的后人了。
（本章完）