封德彝下朝回到府中，在书房大发脾气，府中下人们都不敢去打搅他。早朝议立太子之事，他跟长孙无忌因为别离拥立长沙郡王李恪和中山郡王李承乾而争的面红耳赤。更加可气的是，长孙无忌一个晚生后辈敢在朝堂上顶撞他，说他身为当朝臣子却心胸叵测，这不就是指他拥立李恪，心向着着前的意义吗。
特别是他谏炀帝应当舍高丽而防突厥，引发杨广大怒，遂把他贬为河池郡守。鉴于此，李渊很正视萧瑀，方才进京定位，就遣书招致，授光禄大夫，封宋国公，拜户部尚书。李世民继位后，又拜他为尚书左仆射。
以是，东宫六率只能拱卫皇城，对于交战疆场是没有一点本色的帮忙。反倒是住在东宫的人会因为这个位子而感到如履薄冰，整日提心吊胆，到处防备着别人，恐怕本身稍有闪失遭致太子之位不保。
李恪看到时候已经不早，就道：“封大人官居尚书右仆射，掌管兵、刑、工三部，为国事劳累，有些事情本不该再费事大人，但是恪现在只是一介闲散郡王，只能求大人互助。”