还是在大明王朝建立的前夕，朱元璋将文武百官请到自己的身边，给大家出了个题目：元朝为什么会迅速土崩瓦解？不久将诞生的新王朝当务之急是什么？请大家各抒己见。
高参刘基首先进言：“宋元以来，宽纵日久，当使纪纲整肃，然后才能实施新政。”
朱元璋感到言之有理，也深感大明朝的当务之急，应是制定法律，以法治国。根据朱元璋的命令，法律的制定工作加紧进行，到洪武三十年(1397)正式颁布了几经修改的《大明律》。《大明律》简于《唐律》，严于《宋律》。
《大明律》规定“谋反”、“谋大逆”者，不管主、从犯，一律凌迟，祖父、子、孙、兄弟及同居的人，只要年满16岁的都要处斩。
对官吏贪污，处罚也特别重。犯有贪赃罪的官吏，一经查清，一律发配到北方荒漠中充军。官员若贪污赃银60两以上，将被处枭首示众、剥皮实草之刑。命在各府州县衙门左侧设皮场庙，就是剥皮的刑场，贪官被押到这里，砍下头颅，挂到竿子上示众，再剥下人皮，塞上稻草，摆到衙门公堂旁边，用以警告继任的官员。
朱元璋对自己制定的法律，带头实行，而且执法相当严厉，这在中国古代封建皇帝中是少有的。他的女婿、附马都尉欧阳伦，凭着自己是马皇后亲生女儿安庆公主的丈夫，不顾朝廷的禁令，向陕西贩运私茶。后来河桥巡检司的一位小吏向朱元璋告发了此事。朱元璋立即下令赐死欧阳伦，同时他还发了通敕令，表扬那位小吏不畏权贵的斗争精神。
朱元璋惟一的亲侄，开国功臣朱文正，亦违法乱纪他毫不留情废了他的官职。开国功臣汤和的姑夫，自以为有硬邦邦的靠山亲戚，就隐瞒常州的土地，不纳税粮，朱元璋也将他依法处死。
朱元璋当皇帝的30年中，还公开镇压了几起大贪污案，其中最大的是郭桓案。郭桓案发时为户部侍郎。洪武十八年(1385)，御史余敏等告发北京承宣布政使司、提刑按察使司的官吏李或、赵全德等人，伙同郭桓等人贪污舞弊，吞盗官粮。朱元璋抓住线索，命令司法部门依法严加追查。这个案子后来又牵连到礼部尚书赵瑁、刑部尚书王惠迪、兵部侍郎王杰、工部侍郎麦志德等高级官员和许多布政使司的官员。贪污盗窃的钱折成粮食达2400多万石。案件查清后，朱元璋下令将赵瑁、王惠迪等人弃尸街头；郭桓等六部侍郎及各地方布政使司以下的官员有上万人被处死；有牵连的官吏几万人被逮捕入狱，严加治罪。各地卷入这个案件的下级官吏、富豪，被抄家处死的不计其数。
