杨素奉调回京，莅任要职以后，雷厉风行，弹劾、处置了一批不法朝臣，赢得了皇帝杨坚的进一步赏识，仅仅数月，就从大兴宫（隋朝新都称为大兴城，禁宫称为大兴宫）中传出消息，称皇帝有意任杨素为相，协助太子杨勇参掌朝政。

杨素的夫人郑祁耶听到有关杨素即将出任朝中宰相的传言后，自是大喜过望，不过，同时，她也隐隐听到些流言蜚语，传言杨素在东都洛阳任长史期间，不但与东都城内的名妓私下往来，过从甚密，而且借招揽江左贤士为名，在府中收养了多达二三十位色艺双绝的歌伎、侍女，平时命人多教习她们歌舞、乐器，专供杨素与一班风流才子会宴取乐之用。

郑祁耶出身天下四大高姓之一的荥阳郑氏，且和当朝皇后独孤伽罗又是闺中密友，自谓杨素能有今日之获重用，多得力于自己，当然容不得夫君如此妄为，便瞒着杨素，悄悄地派出心腹仆从前往东都打探虚实。

杨素满心欢喜地正巴望着能登台拜相，却不料后院起火，被夫人郑祁耶派人去东都将他昔日里那些风流韵事查了个水落石出、清清楚楚。这一来，郑祁耶可不干了，非但指使仆从将在东都时与杨素有染的几位名妓当场棒杀，以解心头恶气，而且派人把杨素千方百计搜罗来，养在东都府中，没敢带回长安来的那二三十名歌伎，侍女一个不落地带到了长安，欲作为杨素行为不端的罪证，入宫到皇后面前狠狠地告他一状。

这一日，杨素因向皇帝建言再次举兵攻陈未被采纳，临近晌午时闷闷不乐地从大兴宫临德殿退朝回府，才一进门，就听府中管家来向他密报，称夫人郑祁耶派人从东都带回了二三十名歌伎、侍女，正打算进宫去告他的刁状。

杨素本就心绪不佳，尔今听说郑祁耶竟然瞒着自己，将自己留在东都府中的歌伎、侍女都抓到了长安，而且欲到皇后那里告自己的状，不由得心头火起，立马便跑去见夫人论理。

倘若杨素识趣，肯向夫人低头认错，赔个不是，自愿送这些歌伎、侍女去侍奉郑祁耶，或许郑祁耶也就顺坡下驴，不与夫君多做计较，这件事就算这么风平浪静地过去了。

可是，杨素自回长安任职以来，顺风顺水，做官做得正在兴头之上，今天却先是建言被拒，继而又听说自己的夫人也欲和自己过不去，揪住自己以往的放荡行为不放，哪儿还有心情向郑祁耶低头认错，一路闯进后厅，冲着郑祁耶咆哮着问道：“人在哪里？！这些歌伎、侍女都是前两年我奉旨对南陈施用怀柔之策招揽在府中，将来要派大用场的，你想把她们怎么样？”

郑祁耶万万没想到被自己捉到小尾巴的夫君在自己面前表现得还敢如此理直气壮，口口声声谎称是奉旨才搜罗这么多的美貌女子豢养在身边，当场勃然大怒，就要拉着杨素进宫找皇帝皇后辩说是非究竟。

杨素气归气，脑子却还不糊涂。他素知皇后独孤伽罗是当今天下第一的醋坛子，且皇帝杨坚一向惧内，平时连个后妃不敢纳，这要是被郑祁耶到她面前告发自己行为不端，风流放荡，自己别说是入省任相了，即连保住眼下的官位都难，于是，强压着心头怒火，恨恨地指着郑祁耶骂道：“我把你个妒妇，想要怎样尽随你罢了。但只一条，你须给我牢牢记住，将来我若做了皇帝，决不会册封你这妒妇做皇后的！”说毕，把袍袖一甩，怒气冲冲地独自回房生闷气去了。