下的红柜移开，让出一块地方为自己设置公座。

彭时对李贤这样做很不以为然，便直率地说：“不可如此。听说宣德初年圣驾曾经在此坐过，这里不设公座或许就是这个缘故。”

李贤说：“纵使有此故事，事情已经很久了，时过境迁，今设座又有何妨？”

彭时又说：“这里是大内，也不宜面南正坐。”

李贤争辩道：“你何必太过拘泥，即使是文渊阁大学士也不能正坐？哪有居其官而不正其位的道理？”

彭时的执拗劲上来了，丝毫也不退让：“正位在外面诸衙门则可，在大内决不可。如要正位，那么华盖、谨身、武英、文华诸殿的大学士又如何办呢？殿阁都是皇上至尊所御之处，设置大学士的本意，就是为皇上侍坐以备顾问，决无正坐之理。”

李贤这才无话可说了。后来英宗派太监送来一幅圣贤画像，悬挂于“文渊阁”匾额下，李贤的公座更加设不成了。

彭时将此事的经过记在他所撰的《可斋笔记》中，称：“盖李为人好自尊大，往往不顾是非，直行己志如此。”

不过，彭时虽然批评李贤好自尊大，并不妨碍他们在工作上取长补短，和衷共济。彭时十分尊重李贤对内阁事务的领导能力，钦佩他的出色才华。天顺七年，门达构陷李贤甚急，英宗颇有些动摇。于是从宫中传出皇上将让李贤退出内阁，专用彭时的消息。此事传到彭时耳中，这位正直的阁臣颇为吃惊地说：“李公有经济之才，怎能放出？”针对门达对李贤的无端攻击，他竭力为李贤辩护，并且誓言说：“倘若李贤去，我彭时也不得独留。”他的话传到英宗耳中，皇上对李贤的猜疑才逐渐消融冰释。