數日過后，始畢可汗果不食言，派遣柱國康鞘利一班人押送一千多匹馬到李淵這兒交易，同時許諾發兵助李淵攻打長安。至于李淵想要多少兵馬，由他自己定奪。李淵不惜重金從康鞘利手中買下一大批良馬，以充實軍隊。

然而在到底需要多少突厥士兵這個問題上，李淵遲遲拿不定主意。一方面，李淵想讓始畢可汗多出兵，這樣自己的勝算就更大。可另一方面，他又擔心入關的突厥兵馬過多會禍害老百姓，給自己造成大麻煩。因此左思右想了番，他還是堅持原來的主張，只要五六百突厥鐵騎。對李淵的這個決定，裴寂等人表示暫且可行，并不反對。然而李世民卻持反對意見，他以為父親對突厥過于忌憚。雖說突厥將士生性貪得無厭，好掠奪女子財貨，但只要加以嚴管，同樣也能很好地約束他們，并不會對百姓造成多大的傷害。當然更重要的是，由于隋軍以及其他割據勢力比較強大，如果自己沒有足夠兵力，恐怕難以取勝。所以，李世民認為五六百胡騎實在是太少了點，至少也得二三千才行。

李世民此番深思熟慮的議論確有道理，讓在座諸位將佐點頭稱是，他們完全同意身邊這位小將軍的建議。可李淵仍然固執己見，對兒子的良言不予采納。不過后來在劉文靜、唐儉、竇琮等人的一番苦勸之下，他內心發生了變化。這時，裴寂見李淵有回心轉意的跡象，就站出來力諫。李淵聽了裴寂言辭鑿鑿、懇切之至的話語，最終徹底改變了自己的想法，點頭同意了李世民的提議。隨即，他便派劉文靜給突厥柱國康鞘利作回復，同時又贈送了他一份非常貴重的禮品，好讓他替自己在始畢可汗面前多美言幾句，以便讓始畢可汗更好地履行自己的諾言。

當然，李淵也是個言出必行之人。他立馬就著手落實始畢可汗提出的要求，高舉反隋的義旗。他聽從了裴寂、劉文靜、李世民等人的建議，尊遠在江都游樂的隋煬帝為太上皇，立長安代王楊侑為皇帝，以安定隋室，同時傳布檄文到各郡縣，命令他們無條件服從自己的號令。

與此同時，劉文靜等人要求李淵易改旗幟，以此向突厥示意起義軍與隋室有別。劉文靜向李淵建議改用白色的旗幟，好與突厥保持一致。李淵內心深處對突厥相當反感，不希望什么都跟突厥一樣，自然就對劉文靜的提議產生抵觸情緒。可是隨后在劉文靜等人的強烈要求下，李淵不得已只好采取折中的方法，使用絳白雜色旗，以保留自己的獨立地位。劉文靜對李淵的做法雖說不大滿意，但見眾人都同意了，他也就不好再反對，最后一個向李淵表示贊成。李淵沒說什么，只對著劉文靜冷冷一笑，心里怨劉文靜跟突厥走得太近了。

此時，李建成、李元吉兄弟倆也帶著一班人馬歷盡千辛萬苦終于從河東抵達了晉陽。兒子們的到來，令李淵以為起義時機完全成熟，因此他便向所有將士作了番慷慨激越、振奮人心的精彩演講。過后，裴寂等人給李淵上尊號為大將軍，建大將軍府，置三軍。以李建成為隴西公、左領軍大都督，統率左路軍；以李世民為敦煌公、右領軍大都督，統率右路軍；以李元吉為姑臧公，統率中軍。同時任命裴寂為長史，劉文靜為司馬，唐儉、溫大雅為記室，殷開山為大將軍掾，劉政會、長孫順德、王長諧、劉弘基、竇琮、段志玄為左右將軍，柴紹為右領軍府長史，其余幕僚隨才任用。