战斗打到5月3日下午13时，天主教堂据点的硝烟还在街巷间翻卷，日军残部被挤压至铁路大楼与老城鼓楼两处孤立核心，困兽犹斗。第51集团军211师、第56集团军先头部队按营连分割清剿残余街区，团部前移至天主教堂残破钟楼内，有线电话快速架设，各营以班排为单位，沿侧巷、后弄迂回压缩，杜绝小股日军钻巷流窜、偷袭后勤线。
631团1营营长陈峰收拢部队，清点伤亡：1连阵亡14人、伤22人，2连沿后街推进时遭阁楼冷枪，排长重伤，3连作为机动，扼守正街与十字巷交汇口，防敌突围反扑。街面青石板被血浸得发黑，碎砖、断木、丢弃的三八大盖与歪把子散落路侧，几名卫生兵蹲在墙角包扎伤员，担架队穿梭往来，将重伤员优先转运至江岸野战医院，轻伤员裹上纱布便归队待命。
“各连以班组梯次推进，先清两侧夹巷，再向铁路大楼东侧压进，遇大型建筑先封控再攻坚，不许单兵冒进！”陈峰对着步话机下达命令，身旁通信兵快速记录坐标，迫击炮班在巷口死角构筑临时阵地，炮口对准铁路大楼西侧围墙，随时准备压制露头火力。
铁路大楼为四层钢筋混凝土结构，原南浔铁路九江站办公主楼，墙厚逾半米，窗口被沙袋封堵，仅留射击孔，楼顶架设2挺九二式重机枪、1门九二式步兵炮，底层构筑环形街垒，连通地下廊道，驻日军约600人，含第13师团残编2个步兵中队、工兵分队与师团直属警卫小队，吉田经太郎将临时指挥所迁入大楼地下室，依托坚固结构拖延待援，同时令残存狙击手分散布于周边三层民居楼顶，专打军官与重武器操作手。
13时27分，631团3营7连沿铁路路基迂回北侧，刚抵近货场围墙，楼顶重机枪骤然开火，子弹扫过路基碎石溅起一片白芒，走在排头的排长左臂中弹倒地，两名机枪手刚架起马克沁，便被一发步枪冷弹命中肩胛，当场失去作战能力。连队迅速卧倒，依托废弃车厢与货垛隐蔽，连长当即呼叫营属迫击炮压制，两发炮弹掠过楼顶，炸塌一角掩体，机枪声短暂沉寂，旋即又从相邻窗口续上火力，日军射手依托墙体死角交替转移，压制推进路线。
“派爆破组从西侧民房穿墙抵近，用炸药炸塌底层外围街垒，同时抽调2挺重机枪占邻房屋顶，钉死楼顶步兵炮位！”3营营长迅速调整部署，爆破班4人背负12公斤TNT炸药，沿窄巷贴墙匍匐，利用房屋夹层凿开墙体潜行，中途遭阁楼掷弹筒袭击，1名爆破手小腿被炸伤，仍咬牙将炸药包贴紧大楼底层墙角，拉火
…。。