第二阶段，从月23日至2月5日。
月23日夜，第十二兵团向东南方固镇转移，企图靠拢李延年第六兵团。月25日，第十二兵团被中原野战军集中7个纵队在宿县西南「包围于双堆集地区」。
月27日拂晓，黄维决定强力突围。此时，第八十五军第一一〇师师长、中国共產党地下党员廖运周，却和解放军搭上线，准备「阵前起义」，且把黄维打算突团之秘密，也告诉解放军。
因为事先已有协议，解放军便在其第四纵队包围线上，让开一条通路，在黄维预定之突围时间早几个鐘头，让廖运周急行出去，又把缺口给封住。黄维和吴绍周以为廖师突围成功，大部队就跟着行动，被碰回来才知道廖运周率部兵变。
黄维乘合围尚不严密，以4个师兵力为先头，向东南方全力突围失败，军心不振，只得固守待援。第十二兵团从澮河南北之线，向固镇方面撤退时，因时间耽误，解放军已大量涌至。此时国军被动挨打，第七兵团被歼，徐州东线暴露；徐州往蚌埠之退路，因中原野战军佔领宿县而切断。第十二兵团被中原野战军合围，有被全歼之危险。
月2日，杜聿明奉召飞到南京，参加官邸会议，经过共同研商后，杜聿明为保持高度机密，又单独向最高统帅作报告请示，决定放弃徐州，由杜聿明率领邱清泉、李弥、孙元良三个兵团，从徐州西侧，经永城到涡阳、阜阳地区，以淮河作依託，再向敌军攻击，以解黄维兵团之围。
同时电令黄维坚守待援，不可轻动。此一方案确定后，杜聿明即刻飞回徐州，部署行动。
徐州剿匪总司令部总司令官刘峙离开徐州，调到蚌埠指挥第六兵团、第八兵团再次北援，由杜聿明于月30日放弃徐州向西南沿永城、涡阳撤退。杜聿明率徐州主力30万人南撤。
华东野战军发现国军撤走，即以7个纵队30万人拦截追击。
由于南线「李延年、刘汝明兵团在固县受阻」，缩回蚌埠，华东野战军又从南线另抽调3个纵队加入北线围攻杜聿明集团。杜聿明途中接到蒋命令向东南出击，转攻东南解救黄维第十二兵团。
2月4日，华东野战军将由徐州西逃之杜聿明集团3个兵团（邱清泉第二兵团、李弥第十三兵团、孙元良第十六兵团）包围于永城东北青龙集、陈官庄地区。
第十六兵团协调错误，自行突围。华东野战军将突围之第十六兵团歼灭。
2月日，孙元良兵团主力被歼。2月日，华东野战军陈毅、栗裕、谭震林以政治部函招降杜聿明、邱清泉、李弥、孙元良，受到拒绝。
中原野战军对黄维第十二兵团採取大量土工作业，近迫攻坚，对第十二兵团合围圈不断缩小至2月初，第十二兵团防区缩小，粮弹不足陷入困境，只能靠有限的空运补给。此外，华东野战军又抽调5个纵队加炮兵纵队由参谋长陈士榘指挥，加入对第十二兵团的围攻。第十二兵团副司令胡璉因回家奔丧最初没有随军，第十二兵团被围后乘飞机进入双堆集包围圈。2月日，中原野战军、华东野战军对第十二兵团全线发起攻击。
2月日，黄维兵团日趋瓦解，已无法再固守下去。当天，蒋中正在日记中写道：「下午研究黄维兵团突围计划。将领气馁胆怯，只想逃命，不知廉耻，痛斥之。」这时的黄维兵团连突围的力量也没有了，蒋中正情急之下准备使用化学武器。在下一天日记中写道：「本日时刻想望化学炸弹之功效能否济急，最为系念。直至黄昏始运到，而犹未能起货试验也。此实最后之一法，存亡成败皆在于此。上帝佑华，其必能使之有效也。」
2月0日日记写道：「朝课后催询化学弹运制情形」，「下午督导化学弹使用之准备计划，亲临空军指挥部研究」，「手拟黄维函稿，谆谆叮嘱使用化学弹应注意各点及鼓励士气，固守待援也，晚召集化学弹有关人员再三研究，决定明日再准备一日，以期周到无缺也。十时后就寝，今日几乎全力用于化学弹使用之准备工作，忧喜与疑信参半也。」
2月日日记写道：「晚课后听取化学司今日试验化学弹报告，结果良好为慰。」
2月2日解放军全线发起总攻，蒋中正在当天日记写道：「上午与叔铭屡通电话，研究化学弹应否使用，有人绝对反对，故不能绝断。礼拜如常。正午决放弃使用化学弹。」
2月5日，中原野战军在华东野战军配合下，在宿县西南双堆集地区围歼第十二兵团，俘兵团司令黄维，该兵团一个师参加中国共產党阵营。国军2万人被消灭，残部各自突围。2月5日副司令胡璉与战一团战车第二营代营长甘义三之座车，与战车连副连长周名琴等官兵数人，共乘一车。他们单独突围逃出（这部战车为战车二营突围指挥车，仅此车有突围路线地图及资料）。但坦克被解放军击中亦受重伤。后遇到未被包围作为后卫的第十八军骑兵团以及第十八军第四十九师，遂把胡璉护送到蚌埠，转往上海就医。
第三阶段
第三阶段，从2月23日至949年月0日。
为配合平津会战，按照中共中央军委统一部署，解放军部队战场休整20天。解放军对傅作义集团之分割包围，避免其迅速决策经海路南逃。由于已消灭国军34个师，邱清泉第二兵团、李弥第十三兵团之22个师被包围，解放军对合围的杜聿明部暂缓攻击，向杜聿明发动政战宣传与劝降，消耗其心理，为最后围歼杜聿明部做最后准备，虽然杜聿明拒绝投降，但瓦解了国军官兵士气。
合围圈中的国军粮弹两缺，虽有空投补给，但远不够用。2月9日，被围的国军曾谋划空军化武掩护下突围，亦无力执行。2月2日，徐蚌战场被围困于陈官庄之杜聿明、邱清泉、李弥部，因连日大雪，飞机停止空投，接济断绝。2月2日，杜聿明问顾祝同增援徐州之兵力在哪里时，顾祝同回答说：「现在到处受到牵制，哪里也调不出兵力。」
这时，华北国军傅作义集团，已被分割包围于北平、天津、塘沽，歼灭杜聿明已不再影响华北战场之势态。
949年月5日，第十六兵团司令孙元良自宿县突围抵汉口，所部残馀千馀人，至驻马店地区。
月日，徐蚌会战第三阶段开始。
下午4时起，华东野战军东、北、南3个突击集团同时对河南永城东北之青龙集、陈官庄地区被围之杜聿明集团发起总攻，在2小时内歼李弥第十三兵团万馀人，攻佔村落据点3个。
解放军在看见招降无效，就发动猛烈总攻，乘国军疲弱无力，以大胆分割战术，全面突入，先摧毁外围据点，续入核心阵地，国军死里求生，奋力拚斗。
月9日，消灭第十三兵团大部，残部撤往第二兵团防区，「虽然出动了救援的飞机，但没来得及」国军苦战到月0日夜间，终于全线瓦解，结束战斗。
经4日战斗，解放军全歼第二、十三两个兵团，俘徐州剿匪总司令部副总司令兼前进指挥部主任杜聿明。
徐州剿匪总司令部前进指挥部副主任兼第二兵团司令官邱清泉阵亡。
参与此役之高级将领，仅李弥、孙元良、熊笑三、高及人等倖获脱险，杜聿明及其以下军、师长多人均被俘。
犠牲之重，堪称空前。
是日，蒋介石日记写道：「杜聿明、邱清泉二将领虽作战失败，但其始终听命，奋斗到底，实不愧为革命军人。」
在战斗最激烈阶段，蒋曾下令使用毒气弹掩护杜聿明部突围，并以甲种弹掩人耳目。杜聿明在《淮海战役始末》一文中回忆：「我想突围也无望，但限于蒋中正的命令，又有董明德来，不能不敷衍他一下」。
于是即找第三处处长邓锡洸来商讨，拟定陆、空协同放毒突围的计划。董说：「黄兵团这次用了毒气弹，部队被消灭后，共军即广播出来。放毒是违犯国际公法的，所以这次决定以空军放毒，掩护你们突围。规定毒气弹为「甲种弹」，其他弹为「乙种弹」，计划中只写甲种弹、乙种弹，而不写毒气弹。
我（杜聿明）问董：「用的什么毒气？」
董说：「催泪性的。」
我（杜聿明）说：「这有什么用？为什么不用窒息性的呢？」
董说：「窒息性的太严重，还不敢用」。
施洋认为，之所以国军「窒息性」的「不敢用」，除了顾忌其威力之外，可能是因为国军战术素养低下，无力大规模实行化学作战所致。
实际上根据战后中国共產党解密档案显示，徐蚌会战最后阶段，杜聿明给南京电报要求投放20万隻防毒面具，以放毒率部突围。
但是电报落到李克农领导的中共华东局社会部在国民党联勤司令部共產党间谍人员手里，共產党间谍拖延缓办，杜聿明一直未收到空投防毒面具，对甲种弹导致投鼠忌器，以致全军覆没，自己束手被俘。
役后，国军用于发射化学弹药的化学炮和防化设备均被解放军虏获。
949年月日，蒋见此败局，「决在蚌埠临淮各留一个兵团，构成据点留守，掩护撤退，馀部皆络续南撤。」。李延年第六、刘汝明第八兵团随后放弃淮河以南、长江以北地区，撤往江南。徐蚌会战结束，解放军佔领长江以北大片土地。
