杨素自己武将出身，并不懂土木宫殿的营建，而他的侄女婿封伦擅长土木工程，又是杨素的自家亲戚，这种事当然找他来帮忙，可想不到杨坚虽然下旨建筑这仁寿宫，其所在却是在高山深谷之间，施工难度极大，非十年以上不能建成。

独孤皇后久居宫中，哪知这日晒雨淋，削山平谷的不易？她只知道杨素领了朝廷所拨的巨款，结果一年下来却连个地基也没打好。

从第二年开始，她便几次三番地召杨素入宫询问工程进度，甚至还说听到有人进言说杨素贪墨了工程款，才导致进展缓慢。

杨素一生树敌无数，眼热他这位置的人也不知凡几，几十年来在官场上一直遭遇着明枪暗箭，只是这一次，是皇后对他的信任出了问题，怪他办事不力。而且就在此时，由于酷暑，役夫中疫病横行，更有不少役夫趁机逃亡。

杨素最后实在没有办法，只能将一些病死的尸体焚烧以阻止疫情的传播，后来封伦又说尸体可以用来填平山谷，上面堆上土石，这样一举三得，既处理了尸体，又平了山谷加快了进度，还能吓阻那些不知情的役夫，使其不敢再逃亡，拼命施工。

最后用了这种办法，仁寿宫在两年多一点的时间就峻工了，靠得富丽堂皇，可这雄伟的宫殿的背后，是上万役夫的累累白骨。

事后杨坚派了高熲去验收，他一看在两年内这宫殿就盖得如此奢华，心知必是杨素滥用民力所致，又查清了杨素赶工埋尸的事情，回去后就如实禀告给杨坚。

杨坚有了个先入为主的坏印象，第二天便亲自视察，发现确如高熲所言，当时就龙颜大怒，大骂杨素害他结怨天下，甚至气得当场一脚把一块大石头踢下了山谷，伤到了脚趾还不自知。这次杨坚是动了真怒，甚至比那次杨坚戏言要当皇帝被他听到后还要生气。

杨素当时给吓得五内俱焚，心知触怒天颜，必会祸及全族，都准备一死以谢天下。亏得封伦给他出了个主意，说至尊虽怒，但皇后却一定会满意，让杨素连夜求见皇后，请她向至尊求情。

结果独孤皇后连夜吹了枕头风，好不容易做通了杨坚的工作，在第二天的朝会上还跟着杨坚一起上殿，提到此事时主动说杨素看他夫妻二人年老，不辞辛劳亲自为他们盖了一座宫殿以安度晚年，忠心可嘉，总算是把这事给应付了过去。

王世充听完这件事后，长出一口气：“幸亏独孤皇后力挺了越国公，不然至尊龙颜震怒，可是翻脸不认人的啊，前两年尚书右仆射苏威被免官的时候，谁又能想得到至尊是说免就免呢。”

王世充说的是两年前相位的更迭，作为尚书右仆射的苏威，随着官职的提高，野心和胃口也变得越来越大，虽然他没有蠢到直接挑战作为帝国首辅的高熲，但开始利用自己尚书右仆射，负责官员的提拔与考核的权限，开始大肆结党营私，在朝中遍布自己的门生党羽。

苏威给自己一个人就身兼了五个要职，而给自己的儿子苏夔也加了一个国子家博士的职务，开皇十二年的时候，朝廷上讨论礼乐之事，苏夔的上司，资深国子监博士何妥与苏夔意见相左，苏夔在国子监内侃侃而谈，弄得何妥下不来台，最后气得要礼部的官员们表态，究竟是谁说得有理。