拿掉丞相之后，首先是重新定义中央的文官与武官首脑。在明朝建立之初，王朝的机构基本全部是沿袭自元朝的。《明太祖实录》中称，对此，朱元璋曾批评道：
“胡元之世，政专中书。凡事必先关报，然后奏闻。其君又多昏蔽，是致民情不通，寻至大乱，深可为戒。”因此，在公元1376年，朱元璋先是废除了元朝的行中书省（元朝时期，行中书省总管地方所有事务，在元末几乎如同唐朝的藩镇一般不听中央管辖），用三个不同的机构来取代。
这三个机构分别是承宣布政使司、提刑按察使司和都指挥使司。承宣布政使司管理地方行政和财政事务；提刑按察使司管理监察和司法；都指挥使司管辖军事防务。它们直接隶属于六部。然后在公元1378年，他先是将涉及六部三司的日常事务，直接移交到他本人手中，然后又大量地取消丞相的职能。到公元1380年，最终废除中书省和丞相。等于是朱元璋身兼国家元首和政府首脑的职能。
公元1380年，朱元璋设立了四辅官，辅佐自己，让他们帮自己出谋划策。公元1382年，朱元璋又废了四辅官，自称效仿宋朝的官制，将四辅官改为大学士（即殿阁大学士）取而代之。后来明成祖朱棣在文渊阁设立内阁，大学士开始参与军国大事的商讨，这些就是后话了。总之，在废除丞相这一事上，相应的就必须要求皇帝自身要精力充沛、经验丰富，否则一定会出现各式各样的偏差。