陈宫道：“如此之言，主公有何惧哉？”吕布惭愧。陈宫道：“今曹操占领小沛，山阳等地，于李腾之鲁国任城相对，李腾往任城防守，自是不敢轻离。主公已失徐州，下邳不过一徐荣看守，臧霸张辽便可擒之，何不先占下邳，然后再图良策。”
吕布应允。遂尽取朐城之兵，往往下邳而去。徐荣于下邳城听说吕布起兵来攻，甚是大惊，连忙遣人往任城给李腾报信，又谴兵往东海向孙明赵奇求救。
第二天，徐荣于城上查看，只见远处一队人马冲杀过来，徐荣远远看的那所打之旗上大书‘吕’字，知是吕布兵到，忙命守城将士皆被。吕布来到下邳城下，见徐荣于城上，笑道：“我大军来到，徐荣何不早降？”徐荣道：“食君之禄，忠君之事，不敢投降。”
吕布道：“若不投降，必然身死。”
徐荣道：“若是身死，乃报国捐躯也。”
吕布大怒，遂遣高顺出阵，于城下搦战。徐荣带兵出城迎敌，见到高顺，徐荣道：“前翻我家主公擒的将军，亲解绳索，以上宾之礼待将军，将军为何不思回报。”
高顺惭愧，遂退回营中，又遣大将张辽出战，徐荣谓张辽道：“公仪表非凡，吕布无道残暴，何故失身于吕布。”
张辽亦惭愧，拨马退回阵中，吕布一见两员大将皆不出战，派出之后，退回阵中，不禁大怒，亲自来战徐荣，徐荣原本董卓手下，深知吕布勇猛，欲拨马回城，奈何吕布马快，到了跟前，徐荣只得迎战，战至十余回合，徐荣战败，意欲逃跑，吕布哪里肯放，纵马追赶，徐荣阵中两员副将见徐荣失败，连忙出阵来救，截住吕布，徐荣趁机逃跑。那两员副将和吕布战不三个回合，便被吕布一戟刺死一人，另一人慌忙拨马逃跑，陈宫挥兵掩杀，徐荣兵大败。吕布见徐荣逃回城里，命陈宫攻打东门，张辽攻打西门，高顺攻打南门，臧霸攻打北门，高顺不愿出战，吕布只好命侯成魏续攻打南门。亲带大军，准备接应四门。徐荣见下邳城就要被吕布打破，副将韩少功道：“将军不如弃城往东海而去，再做打算。”