杨爽率领着残存的近五万人马，随同李渊、李彻所部一道撤回关内，回想起此番自己率军北伐的前后经过，非但一城一地未得，反而折损了将近三万人马，杨爽既羞且愧，回到并州城内，只匆匆和杨广等人打了个照面，便将军权委托给杨广，自己则回到住处，一病不起。

杨爽抱病给皇帝写了份请罪奏章，要求杨坚免去他河北道行军元帅之职，并推荐杨广代替他执掌北境大军。杨爽在这份奏章中，毫不隐讳地列举了杨广自出镇并州以来，采取的种种强军措施，其中特别指出，此次自己率军北伐，被困于关外，若不是杨广不拘于朝廷军制，就近向杨俊求援，及时求得救兵增援并州，自己只怕就要全军覆没的命运了。他认为，杨广年纪虽小，但以他之能，足以担当其河北道行军元帅的重任，率领大军北御突厥。

一个月后，杨坚给杨爽这道奏章的答复下达到了并州：准杨爽所请，免去其河北道行军元帅之职，其军权暂由杨广代掌，调杨爽回京，仍兼任雍州牧。

杨爽奉调离开并州后，河北道行台的军政大权便尽赋予杨广一人统掌，他也成为了杨俊、杨秀三位出镇外藩的皇子之中唯一一位独掌军政大权的皇子。开皇二年四月间，杨广刚刚年满十四岁。

暂且撂下杨爽返京不提，拐回来再说说李渊。

李渊统领三万援军抵达并州后不久，就因西线战事发生变化，他没费多大力气，便成功地率军从关外接应回了杨爽大军。虽然杨爽为此一病不起，但毕竟能于突厥重兵围困下解救得五万大军安然归来，仍算得上是一件喜事。于是，在李渊、李彻等人率军返回并州的当晚，杨广命安若溪带领着一帮仆妇、近卫包起了饺子，就在自己居住的小院内设宴为李渊、李彻等人接风洗尘。

因杨爽称病不出，随同他北伐的麾下将领如杜彦、周摇等人也自感无颜应邀赴宴，所以，前来赴宴的只有李渊和李彻并赵才等不多的几位将佐。

待酒过三巡，饺子也端了上来，李渊左顾右盼，见四下无人，才凑近杨广，低低的声音向他问道：“王爷，这安若溪怎么又回到了你的身边了呢？”

杨广这些日子满脑门的心思全都放在了如何能接应杨爽大军平安从关外归来这一件事上，根本未曾留意到李渊已发现安若溪守在自己身边，此时听李渊问起安若溪因何回到自己的身边，才猛然惊觉，忙含混其辞地敷衍他道：“原是我离京前，她奉命还了俗，这才又回到我身边来的。表兄，请再饮一杯。”

令杨广后来越想越感到不安的是，李渊也仅仅向他问了这么一句，便就此打住，不再继续追问下去了。