1月下旬，华东全军进行了统一整编。正式成立华东军区、华东野战军（简称华野）和中共华东野战军前线委员会（简称前委），陈毅被任命为军区司令员、野战军司令员兼政治委员，并担任前委书记。（军区政治委员饶漱石、副司令员张云逸、副政治委员黎玉，野战军副司令员粟裕，副政治委员谭震林）野战军直辖第一、二、三、四、六、七、八、九、十等9个步兵纵队和1个特种兵纵队。原华中野战军第十三旅（即中原突围之皮定钧旅）改为独立师，归第一纵队建制。步兵纵队按三三制的编制辖师、团、营等建制单位，特纵辖骑兵团、野、榴炮团及工兵、坦克分队，鲁南战役的大量缴获，为特纵的创建准备了必要的物质条件。野战军共约27万人。华东军区下辖鲁南、鲁中、胶东、渤海、苏北（由第十二纵队兼）、苏中（由第十一纵队兼）等军区和滨海军分区、东江纵队（后改番号为两广纵队），共约30万人。
　　在整编的同时，野战军在临沂附近召开了干部会议，传达中共中央和毛泽东主席的一系列指示。陈毅代表前委作了《一面打仗，一面建设》的报告。
　　陈毅首先指出了华东野
　　战军和山东战场的特点和承担的任务。他说：“华东野战军是山东、华中部队的汇合，（华东）是解放区兵力最大集中的地方，是解放区爱国自卫战争主要战线之一，又是美蒋集中大军进攻的主要方向。特别是今后，山东地区的战争将成为中国人民与美蒋恶势力的决战场所之一，因此我们的任务很大，担子很重。”他又提到华东全军的战绩，指出半年来总共歼敌26个旅以上，特别是宿北、鲁南两个战役，歼灭敌人3个整编师和1个快速纵队，这个胜利，对美蒋打击最重，影响最大，与全国解放区各兵团的伟大战绩配合起来，使我军必胜，蒋军必败的形势更清楚明显，连国民党的反动报纸和南京首脑部的人员也无法否认战局不利于美蒋的事实。陈毅更激昂慷慨地说：“这一次自卫战争，要使历史上未完成的民主斗争任务，在这一次最后完成。
　　我全体同志能亲自参与这个伟大的斗争，并且在斗争中担负重大任务是最光荣的，这是至高无上的革命幸福。”
　　由此，他从坚持人民军队建军路线的高度，针对当时部队中存在的某些不良倾向，号召全军要加强军队内部及军政、军民之间的团结，强调要树立整体观念，统一意志，统一行动，统一组织，统一制度；为了保障今后大规模作战的买施，一定要加强党的领导，加强政治工作，打破由于过去历史条件造成的山头主义、本位主义和游击主义；为了保持和发扬人民军队的本质和发挥内线作战的优势，一定要加强群众观念和群众工作，遵守纪律，支持和配合好农村的土改斗争；实行以战养战，夺取敌人武器以武装自己，明确树立兵员、武器、弹药等主要取之于敌的思想，要爱护装备物资，反对“破坏专家”；实行以战教战，打一仗进一步，从不断战斗中总结经验，学习新知识、新技术，使全军能掌握各种新兵器，能进行更复杂的战斗，能进行更大规模的会战；要爱护新战士，争取新解放战士，加强团结以争取伟大胜利。
　　陈毅这个报告，既贯彻了中央军委的建军方针和一系列指示精神，也在一定程度上反映了他的建军思想和认识。
　　在短期的休整中的工作是很多的，陈毅抓得很紧，中央也有指示：利用敌人大举进攻前夜全军休整，多一天好一天。休整即是胜利。可是，鲁南战役在1月20日结束，国民党军在1月31日便发动进攻了。
　　原来国民党军在苏北、鲁南连遭惨败，蒋介石认为薛岳指挥不力，便派其参谋总长陈诚前往徐州指挥。陈诚与薛岳会商后，仍留薛在徐州，他自己进驻陇海路东段的新安镇指挥。他们发觉华东解放军在鲁南战役之后，主力集结在临沂地区休整，而临沂是山东解放区的首府，共军必将固守，共军在连续作战之后“伤亡惨重，续战能力不强”。因此，陈诚急忙制订了一个“鲁南会战”计划，企图迫使华东野战军在临沂附近决战，以军事上的胜利来影响即将举行的苏、美、英3外长会议。其部署是：整编第十九军军长欧震指挥8个整编师20个旅组成主要突击集团，自台儿庄至城头一线分3路进犯临沂：其右路为黄百韬指挥的6个旅，中路为李天霞指挥的7个旅，左路为胡琏指挥的7个旅；以第二绥区副司令李仙洲指挥第十二、四十六、七十三等3个军9个师为辅助突击集团，由胶济路南下，直捣山东解放区在莱芜、新泰、蒙阴的后方基地，形成南北夹击的态势。他们不仅集中了华东战场上所能集中的全部机动兵力，而且出动了大批飞机对临沂等地狂轰滥炸；还从豫北、冀南抽调王敬久集团4个整编师集结于鲁西南地区，以阻止晋冀鲁豫野战军东援或华东野战军西撤。陈诚严令所属各部：“党国成败，全看鲁南一役，只许成功，不许失败。”
　　1月31日，陇海路东段的敌军采取“集中兵力，稳扎稳打，齐头并进，避免突出”的战法，以平均每日前进6公里左右的速度向北推进。同时，第二绥区司令官王耀武、副司令官李仙洲由济南赶赴博山，于2月1日召集高级军官会议，布置进攻。其先头部队于2月4日到达菜芜。一年前被迫从伪军反正的郝鹏举在这种形势下于1月27日率部叛变投蒋，被国民党部署在白塔埠、房山街地区担任进攻临沂的冀侧掩护任务。
　　面对此种情势，陈毅曾主持过多次研究，制定过诱歼南线敌军突出冒进的一路于临沂附近的方案，但敌人进军始终保持着齐头并进，华野未能实现预定的战役计划。2月4日中央军委又发来电报，指明：敌愈深入愈好，我愈打得迟愈好，只要不求急效，并准备于必要时放弃临沂，则我必能胜利；目前敌人策略是诱我早日出击，将我扭打消耗后再稳固地占领临沂，你们切不可上当。这些指示给华野前委负责人以很大启示，陈毅深深感到毛泽东主席以空间换取时间，集中兵力歼灭敌人有生力量的战略思想的英明。因为敌人逼我在临沂地区决战，我有了必要时放弃临沂的准备，作战的回旋余地就大得多了。思路敏捷的陈毅很快提出了一个重要的设想：既然南线敌人重兵密集，战机难寻，而北线敌人孤军深入，威胁我后方，我们何不改变原定作战方针，置南线重兵集团于不顾，而以主力北上，以绝对优势兵力，歼灭北线之敌。他要求粟裕对此作深入周密的思考。
　　粟裕觉得司令员这个设想十分高明。他又作了进一步的对比和分析，首先他对比了南、北两路敌人的不同情况，认为南线敌人有60多个团，我也仅有60多个团，在兵力上不能占有优势，不能对敌人实施分割包围；而北线敌军兵力小，战斗力相对弱些，内部派系矛盾多，如我将主力隐蔽北上，可以对其形成绝对优势，有把握予以歼灭。敌人既认定我必固守临沂，我军突然北上，定可出其不意。这样，我就可置敌在南线强大兵团于无用武之地，既可避免不利决战，又可在北线歼敌一大坨，粉碎敌之南北夹击意图，解除我后方威胁。
　　北线的敌人如发现我主力北上，可能回缩使我扑空，但即令如此，我还可乘势进击胶济路，打通鲁中、胶东、渤海三区联系，然后休整部队，以逸待劳，从容迎击南线北进之敌。而且我军还可采取种种佯动措施，迷惑敌人，只要能争取到几天时间，北线之敌便难逃被歼的命运。
　　粟裕又考虑了多种不利情况及处置方法，其中包括来自敌方的和我方的，以及后勤支前方面的，都向陈毅一一陈述。陈毅每听他说完一个问题，就说一声“对头”。等他全部说完，更非常高兴地一连说了几个“对头”。
　　然后又同谭震林及其他前委委员商量，都得到了完全的支持。
　　2月5日午时，陈毅签发了报请中央军委审查的三个作战方案：第一，以第二纵队进击白塔埠、房山街之郝鹏举部，诱右路敌东援或待中、左路敌放胆北进，然后视机歼其一路；第二，如敌仍密集不分，则以一部监视敌人，主力集结临沂以北休整待机；第三，如敌仍不北进，即转兵北上，求歼李仙洲集团。2月6日，讨郝战斗发起，战至7日黄昏，全歼郝总部及其两个师，生俘郝鹏举。但此时南面的敌人不但未前进反而略向后缩，北线的李仙洲集团部则继续南下。
　　正在讨郝作战时，军委回电，同意第三方案，并指出为执行此方案，对外应装作打南面之敌模样，使李仙洲集团放手南进，然后秘密移动全军，求歼李集团，并攻占胶济路。
　　其时，华野指挥部驻在临沂东南45里的新集子，当夜即开始向北转移，8日晚宿营于原军部驻地独树头，9日到半程，10日到徐北家庄，一路反复商量，到此时陈毅终于最后下定了决心：留下第二、第三纵队，由参谋长陈士榘指挥，伪装全军模样，在南面采取宽正面的防御，节节阻击敌人。主力隐蔽北上，求歼李仙洲集团，同时布置地方武装进逼兖州，并在运河上架桥，在黄河边找船，造成华野将从泰安、兖州间西渡黄河的假象，以迷惑敌人，在当夜，令主力分3路隐蔽北上。
　　陈毅兴趣来了，他写了一首新诗，题名《决胜之歌》，请文工团的作曲家迅速谱曲在第二、第三纵队的连队教唱。署名陈毅作词，把词曲油印发到前线的战壕里去，使敌人发现这歌曲，更相信华野主力将在临沂地区决战。
　　陈毅也乘车北上了。他在坦埠附近进入山区。一天晚上，他到了新泰县的太公峪村住下。鲁中军区第二分区司令员封振武来见，陈毅对他说：“看来这一仗就要在你们地区打喽，这必然给这一带的群众增加负担，你们二分区3个团，你带1个团随华野指挥部行动，另外两个团到指定地区活动，随时听从调动。”他在地图上划定了活动地区之后，又说：“你们二分区除了配合主力部队作战外，还要有个思想准备，必要时抽调补充主力，这个问题我已经给鲁中军区打过招呼了。另外你们还要准备足够的民兵、向导和担架，做到随叫随到。”封振武说：“请首长放心，保证完成任务。”谈话完了，陈毅送他到指挥部门前，突然问道：“听说这家房东是你的亲戚？”封振武颇为惊异，答道：“是的，这是我爱人的娘家。”“哦，看来我同你封振武结下缘分了，把指挥部设到你老婆家里了！”说完哈哈大笑起来。
　　过了不久，陈毅又把封振武找去当面交代任务，要他立即率领分区3个团沿着泰（安）、新（泰）公路，经徂徕山昼夜不停地向泰安方向运动。若是白天行军，要注意部队防空，要保持同野战军指挥部的通信联系。这次行动的目的是什么？为什么白天行军？白天行军不是容易暴露吗？封振武不便多问，便去执行命令，当他率领3个团向泰安方向挺进时，一些兄弟部队也正按照野战军指挥部的命令向兖州佯动，并在运河上架桥，这时他才恍然大悟：原来是在制造华野即将西渡黄河的假象以迷惑敌人，掩护全军主力隐蔽地向莱芜地区开进。
　　过了几天，指挥部又派人把封振武带到了指挥部新的驻地。机关人员刚吃过晚饭，正准备行军。陈毅立即对他说：“现在情况很急，我们马上要转移，大部队走后；李仙洲指挥的四十六军（按：即整编第四十六师）可能乘机由莱芜南犯，占领新泰、蒙阴两县，现决定由你率分区3个团阻击敌四十六军，迟滞其行动，使他不能那样快进占两县，你们能抗击5到7天最好。”
　　封振武对此颇有难色：二分区的3个团都是新建不久，装备也差，能抗击四十六军2.3万人一个星期吗？陈毅看出了他的顾虑，便说：“当年诸葛亮大摆空城计，身边只有两个老兵和一个琴童，迷惑了握有重兵的司马懿，你现在有3个团的兵力还不能同敌人周旋一番吗？你这个阻击战打得越好，越有利于我们大部队调整部署。”然后说：“详细情况请粟裕司令给你说吧！”
　　粟裕把封振武带到地图前，向他讲明情况并交代这个仗的具体打法，对他说：“这次给你的任务很艰巨，但也有许多有利条件，完成任务不成问题。
　　首先，敌人这个部队同他的上级有矛盾，对南犯蒙阴不甚积极，正处在进退两难之际。另外，你们可以打出主力部队的番号，虚张声势，迷惑他们。陈军长不是教你唱空城计吗，就是要造成敌人的错觉。古时不是有个孙膑战庞涓的故事吗？孙膑用每日减灶的办法诱庞涓上当，你这次不妨以增灶的办法，使敌人摸不清我们的虚实??。”封振武的思想大开了窍，信心百倍地执行任务去了。
　　对于李集团的行动，陈毅和粟裕等是极其关注的，早就派出侦察人员到北线活动。2月10日，据报在蒙阴前面抓到了国民党一个姓李的“高级特务”。
　　送来一看，这人竟是派到敌整编第四十六师去同该师师长韩练成联络的敌工科长杨斯德。原来经过中共南京办事处的工作，解放军早与韩师长取得了联系，并派了杨斯德和刘贯一两人到该部联络。这次是韩师长托杨斯德来通报情况的。此后，刘贯一也受托来汇报过。陈毅曾嘱刘贯一转告韩练成：第一，希望他努力民主事业。第二，中共中央和陈毅本人对他是信任的。第三，彼此之间的联系不便向下面讲，因而发生摸哨之类的事在所难免，不要见怪。
　　在这期间，陈毅的作战方案步步实现。自从主力于2月10日北上后，留下的第二、三纵队打着全军各纵队的番号在临沂外围阻击敌人，颇有一番准备“决战”的表演。坚持了5昼夜之后才后撤。敌人于15日进占临沂后，鼓吹“大捷”，宣称“在临沂外围歼共军16个旅”。第二绥区司令官王耀武却从航空侦察中发现大量解放军部队在向北行动，对进占临沂的“捷报”产生怀疑，判断华野系放弃临沂掉头北上，赶紧在16日命令李集团缩回莱芜、颜庄地区。但蒋介石、陈诚却相信了他部属制造的“捷报”，又得共军在运河上架桥，有西渡模样的情报，认为共军“东临大海、西际湖山、局促一隅，流窜非易”。“似将在东阿、范县间渡黄河”，因此严令李集团再度南进，确保新泰、莱芜，并派部队向蒙阴、大汶口侧击“陈匪”。同时又令第十一师、第六十四师等部西开临城，沿津浦路北上兜堵“奸匪”。
　　19日这天，蒋介石在南京“军官训练团”作《剿匪战役之检讨与我军今后之改进》的演说时，大放厥词。他说：“现在关内的匪军约可分为五部??此五部中，就我的观察，以陈毅一部最为顽强，训练最精，诡计最多，肃清最为困难。但自国军收复苏北攻克临沂以后，陈毅已失其老巢，就再不能发生过去一样大的作用了。”然而就在此时──2月19日，陈毅率领的主力已在莱芜东西地区形成了对其李集团的包围态势。直到这时，敌人才判明了华野的真实动向，赶忙命令李集团再向莱芜收缩，并令第七十三军的七十七师自博山南下归建。但要摆脱被歼命运，为时已晚。针对敌情，华野指挥部确定了攻击部署。
　　部署完毕，已是2月20日，陈毅又接见从敌整编第四十六师归来的刘贯一，陈毅将作战步骤告诉了他之后，要他掌握在攻歼李总部时不让韩去增援；为了求得此次战役的彻底胜利，要他二人继续留在韩部积极活动，动摇韩部军心，并要防备对方在紧急情况下可能反脸而产生的危险，要机动灵活，沉着应战；要刘立即返回颜庄韩部，等到晚间10点半炮响时，再把我们的决心和布置大体告韩，但不能过早泄漏秘密，否则会对战役增加很大困难。最后陈毅深情地同刘握手，对他说：“我代表党中央和华东局向你们二位同志表示党对你们的态度，党对同志们是非常爱护和关心的，为了完成这一光荣任务，需要你们两位同志去担当。要留下你们两个人继续在那边同两万三千敌人斗争。”这使刘贯一十分激动，他说：“党和上级耐心的教育了我好几年，我虽然质量不高，但是在任何情况下决不能向敌人屈服，请上级放心！杨科长的质量比我高的多，他也决不能向敌人低头，亦请首长放心！”这样，他们告别了。
　　这时，莱芜城东北方向发生了战斗，作战室向陈毅报告，这天早晨，敌第七十七师由博山南下，午后到达莱芜城东北之和庄、不动（地名）地区，预伏在该地区南北一线山地的第八、第九两纵队主力立即发起突然攻击，战斗进展顺利。陈毅十分高兴，对粟裕说：我们前后改变了7次作战方案，总算把李仙洲抓住了。当晚10时半即下令全线发起进攻。
　　21日晨，已报到首战告捷：敌七十七师已被全歼，攻城部队已占领莱芜以西以北的各要点，包围了敌人粮弹囤集点吐丝口镇，并攻占了锦阳关，只是未能切断敌整编第四十六师与七十二军之联系。22日上午，第四十六师缩进莱芜城，指挥部立即将第一、二、七纵队和第四、八纵队分别组成东西两个突击兵团，如敌固守莱芜，则从东、西两面实施强攻；如敌向北突围，则以第六纵队一部位于吐丝口以南坚决堵击，而以东、西两突击兵团合击突围之敌于莱芜、吐丝口之间地区。
　　李总部率两个军缩集于小小莱芜城，满城是兵，军心动荡，李仙洲束手无策。22日，王耀武令其迅速向北突围，退保济南和胶济路，指挥部查明这一情况，立即在莱芜、吐丝口之间布置了一个口袋阵以迎敌。23日晨，第四十六师师长韩练成毅然接受刘贯一、杨斯德的劝告，放弃了指挥，脱离了部队，隐藏在城内。韩的行动使敌军产生了混乱，敌人开始拥出城门向北行动，先头在吐丝口以南遭到顽强抗击，前进受阻，到中午，敌后尾脱离莱芜城。
　　华野立即占领该城、断其后路。下午1时前后，华野部队从四面八方向敌人猛攻，穿插分割，坚决消灭负隅顽抗的敌人。到下午5时，战斗结束，活捉了李仙洲。第七十三军军长韩浚率1000余人窜入吐丝口，纠合新三十六师残部向博山方向逃窜，在青石关被第九纵队全歼，韩浚也被活捉。一个被俘的团长感慨万千，他说：“就是捉5万只鸭子，也得费点功夫啊！”陈毅考虑到韩练成将军还须留在国民党军中工作，便让他带了卫队等100余人从莱芜东南山区“逃出共军的天罗地网”，向青岛方向而去。
　　战役结束的当天下午，蒋介石便带着俞济时从南京飞到济南，把王耀武骂了一顿：“你们只是在莱芜这个战役里就损失了两个军和一个师，损失了这样多的轻、重武器，增加了敌人的力量，这仗以后就更不好打了！”
　　失去了临沂“老巢”的陈毅此时却和粟裕、谭震林一起愉快地报告中央军委：“莱芜战役已于梗午结束??残敌正肃清中。此役共歼顽敌计17个步兵团加24个直属营约5万余人，另击溃暂十二师等部。个团之援队，详细战果以后续报。”“俟明晚全部情况明了，即派十纵、九纵向博山及胶济线推进，首先攻击铁道一段，我军大部争取三、五日休整再全力奔北。”
　　电报发了，便开晚饭。野司一位测绘员在他的日记中写道：“晚饭后，军长夫妇在广场上开汽车，粟带着家小爬山打枪，谭坐军长的车子，张参（按指副参谋长张元寿）在观看，和我们一群群真是象征着胜利后的自由愉快。”
　　28日，陈毅等遂率华野司令部移驻淄川东南之大矿地。