王墉旅长在李闯王挂甲的那个地方中了冷枪，光荣牺牲了。这一天是1948年3月23日。
徐向前心情悲愤地下令：“破城雪恨！”
王墉旅长牺牲的当天下午5时半，攻城全线展开，愤怒的炮火炸开了东关一个约10米宽的口子，24旅从突破口冲进去，攻占了一个碉堡群。阎军组织猛烈的火力反击。
24旅和阎军打成拉锯战。
在24旅突破东关后，23旅也展开了冲击，但没占到什么便宜。开始，23旅很快突破阎军前沿，攻占了碉堡阵地。后来，阎军组织反击，阵地又被阎军夺了回去。
13纵和太岳军区部队进攻东关也均未得手。
3月24日，攻城部队再次攻打了一天，伤亡不少，但攻城未能奏效。
痛失良将王墉，徐向前深为惋惜，他沉思良久，还是下令：“暂停攻击！”
26经过一个星期的讨论后，3月31日，徐向前召集团以上干部，部署下一步军事行动。
徐向前再一次简单地阐明攻克临汾的意义，总结半个月来的战斗经验，分析突破未果的教训，并作了自我批评。接着，他说：“关于攻城的手段，还是用23旅的‘土行孙战术’，挖地道，钻地下，最后拱翻临汾城。《封神演义》中的土行孙是个神话人物，擅长钻地行走，来无影，去无踪，在姜太公手下屡建奇功。我们打曲沃、攻运城，8纵23旅创造了‘土行孙战术’。这个战术，对我们来说，很管用。因为我们炮火不强，而临汾城坚难摧，只好从地下想办法，依靠地道爆破解决战斗。”最后，徐向前明确宣布，哪个旅最先登城，就授哪个旅为“临汾旅”荣誉称号。
自然，徐向前看中23纵。因为23纵是“土行孙战术”的首创部队。徐向前对王新亭说：“临汾哪有攻不下的道理，就是把胡子打白了，也要打下临汾；打不下临汾，你我都到五台山当和尚！”
王新亭立即号召全纵各旅，争当“临汾旅”。各旅纷纷表决心。23旅旅长黄定基要求把最艰苦的任务交给他们。
决心坚定，决策正确。徐向前重新调整部署：8纵23旅从东北方向，向东关进攻；13纵37旅从东南方向，向东关进攻。
23旅和37旅是两支劲旅。23旅以善于攻坚作战著称，旅长黄定基曾获特等杀敌英雄奖章。37旅擅长机动作战，旅长王诚汉，在孟良固战役中指挥灵活，曾受到陈毅司令员表彰。现在，徐向前用这两个铁拳，摔向东关，意在突破东关后，23旅由北向南攻击，37旅由东向西突破，这样，临汾就完全解决了。
就在徐向前部署兵力之际，守城的阎军总指挥梁培璜给下属宣布“八杀”命令：奉命进攻迟延不进者，杀；奉令赴援迟延不进者，杀；未奉令放弃守地者，杀；邻阵被攻有力不援者，杀；邻阵被陷不坚持本阵地者，杀；滥行射击虚报弹药、阵前无敌尸者，杀；谎报军情企图卸责者，杀；主官伤亡次级不挺身而代行职务者，杀。
杀！杀！杀！第二阶段的一场恶战，就这样打响了。