明朝洪武十二年（公元1379年）十二月，御史中丞涂杰告发胡惟庸谋反，下毒害死刘基，并说汪广洋应知道此事。

朱元璋问汪广洋，汪广洋说没有此事，“御史中丞涂节言前诚意伯刘基遇毒死，广洋宜知状，上问广洋，广洋对以无是事”（《明太祖实录》）。

朱元璋大怒，下令将汪广洋贬去海南，到达太平时，朱元璋又追究汪广洋以往的罪责，下令赐死，此时是十二月底。

次年正月初六，朱元璋下令处死胡惟庸，次日朱元璋向文武百官宣布胡惟庸的罪状，同时宣布打算撤销中书省；正月十一，朱元璋正式下令撤销中书省。

胡惟庸从明朝洪武六年（公元1373年）正月开始主持中书省政务，到案发被处死，执掌中书省长达七年，是明朝主持中书省政务时间最长的丞相。

朱元璋曾任用高见贤、夏煜、凌说、杨宪等人为检校，监督官员的行为。有一次，宋濂在家与客人饮酒，朱元璋秘密派人去监视，第二天，朱元璋宋濂昨天是否饮酒？客人是谁？吃了哪些食物？宋濂一一作答，朱元璋笑着说：确实如此，你没有欺瞒朕，（《明史·列传·宋濂》）。

而胡惟庸大权在握，朱元璋会对他没有监督吗？他会对胡惟庸的违法行为毫无察觉吗？为什么会让胡惟庸执掌中书省这么长时间？

朱元璋是参照元朝的制度设立中书省的，而元朝的丞相权力极大，大到危及皇权，这一点从元顺帝的经历便可看出。在被确立为皇位继承人后，元顺帝被接回大都，丞相燕帖木儿担心自己的权势地位受损而没让他即位，直到燕帖木儿去世，元顺帝才正式即位。元顺帝即位初期，丞相伯颜大权在握，元顺帝当时形同傀儡。

朱元璋不可能不吸取元朝的教训。

朱元璋一向行事谨慎，断然不会一时冲动做出重大决策，在胡惟庸案发后不久便宣布废除中书省，说明可能此前筹谋已久。

关于中书省丞相的合适人选，其实已经困扰朱元璋很久，他曾先后两次征求刘伯温的意见，可是刘伯温也没能提出一个妥善的解决方案。

朱元璋登基称帝前，曾对李善长不满，想换相，征求刘基的意见，刘基认为不可轻易换相，“是如易柱，必须得大木然后可”（《诚意伯文集》）。

明朝洪武三年（公元1370年）上半年，李善长生病，朱元璋又想换相，想让杨宪当丞相，询问刘基的看法，刘基认为不可，朱元璋又接着问汪广洋、胡惟庸怎么样，刘基认为都不合适。

可是刘基没有提出一个合适的丞相人选。

李善长粗通文墨，不如刘基等人知识渊博、富有谋略，而且爱嫉妒、待人苛刻，李饮冰、杨希圣对他稍有冒犯，便上奏罢黜二人，杨宪、凌说、高见贤、夏煜等得人先后被杀，李善长的地位到达顶点，开始变得骄纵，朱元璋对他心生不满，想换掉他。

明朝洪武四年（公元1371年）正月，李善长病愈，朱元璋令其致仕，任命汪广洋为中书省右丞相。

明朝洪武六年（公元1373年）正月，汪广洋因无所建树，被贬为广东参政，“广洋无所建白，久之，左迁广东行省参政”（《明史·列传·汪广洋》）。

从此，胡惟庸开始以左丞的身份执掌中书省，同年七月，朱元璋任命胡惟庸为中书省右丞相。

次年四月十六，刘基去世，此前朱元璋曾派胡惟庸带医生去探视刘基，刘基吃了医生的药后病情恶化，直至去世。

刘基之死对朱元璋的触动非常大，当时朱元璋正在凤阳中都，在凤阳发生了中都营建工匠“厌镇”事件，四月二十九回到京师后，便下令停建中都，“罢中都役作”（《明太祖实录》），淮西勋贵的势力达到顶峰，如果在凤阳建都，淮西勋贵的势力会不会进一步膨胀，甚至危及皇权，朱元璋深感忧虑。

关于中书省丞相的人选问题，朱元璋陷入两难之中：淮西大臣做丞相，会助长淮西勋贵的势力，威胁皇权，而非淮西大臣做丞相，又很难站稳脚跟。

因此，朱元璋下令撤销中书省可能是为了解决上述难题。