首先，胡惟庸把那些遭到朱元璋惩治而心怀不安的官吏争取过来，结成党羽，然后又托亲家李存义去他的哥哥李善长那里探听口风，李善长知道这是祸灭九族的事，起初不肯应允，经李存义再三说明利害，最后默许了。从李善长的态度里胡惟庸得到了鼓舞，加紧了谋反的准备活动。胡惟庸把一些亡命之徒结纳为心腹，又暗地里招募了一些勇士组成卫队，并把天下兵力部署情况了解得一清二楚，再派人去同东南沿海一带的倭寇联系，引为外援，还结交了一些掌握兵权的人，准备一旦事发，就起兵响应。他又秘密结交日本派来的贡使，作为事败之后的退路。
胡惟庸在觉得一切准备完毕之后，就于洪武十三年（公元1380年）正月，奏告朱元璋说京宅井中出了一眼甜泉，乃是大吉大利之兆，请朱元璋前去观看。朱元璋竟信了他的话，车驾从西华门出发，准备前往。就在这时，内使云奇突然闯入跸道，勒住了朱元璋的马缰绳，极力劝阻朱元璋，说是不可前往，由于情势太急，云奇声调急促，以至不能说得明白。朱元璋见此情景大怒，以为云奇放诞不敬，就喝命左右用金锤挝击。云奇断了胳膊，仆倒在地，气息奄奄，但却用手指着胡惟庸的宅第方向。这时，朱元璋突然明白了，忙登上高处向胡惟庸的宅第方向看去，但见胡宅中隐隐透出兵气，朱元璋大惊，立即发兵前往捕捉。