早在1952年夏，中共中央为加强统一集中领导，就决定逐步缩小各大行政区，并集中一部分负责干部到中央工作。当时陈毅在给毛主席的信中表示完全拥护中央这一决定，并提出：“我想仍留南京做部队工作并就近协助华东和上海。在将来必要时调我到北京工作我亦愿意。”
　　现在这样的时机成熟了。中共中央已经有了内定。1954年9月3日，陈毅作为上海市选出的人民代表到北京出席了第一届全国人民代表大会。9月27日，人代大会隆重选出了国家主席，产生了国务院总理。陈毅被任命为国务院副总理、国防委员会副主席。又根据中央政治局的决定，任中共中央军事委员会委员。
　　9月29日，由周恩来总理主持国务院常务委员会，研究总理和几位副总理的分工，会上作出决议，陈毅为国务院常务副总理。（华东局于10月19日致电中央，建议仍由陈毅兼任上海市长。中央10月28日复电同意。）陈毅后来在1958年4月17日全国外事工作会议上说：“我调到中央就是准备做外交工作的。”但是，外交战线和外事口任务繁重，情况复杂，不是一下子能担起来的。于是陈毅一面“见习”外交工作：出访外国、出席国际会议、接待外宾、参加外交部党组会议??一面就担当起常务副总理的责任。在10月31日的国务院常委会上，还确定兼管科学院、政法、文化，也参加国防。常务副总理以“常务”为专业，协助周恩来总理处理国务院的日常公务，已经够忙了，还要分工兼管几个专务，真是百事丛集。后来又兼管国务院“八办”的工作，还得和资本主义工商业家打交道，抓公私合营的复杂工作。
　　好在陈毅斗志旺盛，精力充沛，头脑灵活，所以即使是对他不大熟悉的工作，也能及时地作出正确的处理。
　　1954年10月28日他访问东德回来，一方面亲自参加撰写整理《关于德国问题的材料》、《出国见闻》等出国考察报告；一方面就投入国务院的工作。其中突出的一件事就是第三次全国民政会议于11月22日在北京召开。
　　此时，刘少奇、周恩来等党和国家领导人联袂去广州休假，陈毅是国务院分管政法的，内务部长当然在会前要把准备好的会议文件送给他审阅，这就使他遇上麻烦了。
　　内务部负责人汇报：这次会议以讨论政权建设为中心。主要是第一届全国人民代表大会通过公布了宪法后，如何贯彻地方各级人民代表大会和地方各级人民委员会组织法，有待在会上统一认识。因为虽然有了地方各级人民代表大会，有了地方各级人民委员会，有了这样的权力机关，执行机关，许多地方的党委和政府常常不注意发挥其民主议政和执政的作用，甚至会议也不按时召开；重要工作，常由党委（或政府）召开三级干部会或一揽子会去布置、讨论和贯彻。有些地方的人民代表大会和人民委员会就起不了多大的作用。还有，农业生产合作社纷纷建立以后，和乡政权的关系弄不清楚，对乡政权运用不够好。有的人误认为“互助合作发展了，乡政权就失去作用”；甚至发生过农业生产合作社侵占乡政府的房子，取下乡政府的牌子，把乡政府房子改为托儿所等情况。民政部门的任务，过去常偏重于优抚、救灾和社会救济的工作，对于事关人民民主的政权建设倒不够重视。
　　所以，这次会议，内务部提出的《1954年民政工作总结和1955年工作任务》的主要文件和闭幕词稿子中，都强调了“民主建政”，以抓政权建设为民政部门的主要任务。①内务部负责人说明，中共中央的政法领导小组也是这样指示的。
　　陈毅一贯重视民主，1929年他在《关于朱毛红军的党务概况报告》中写到“群众割据”，就写下了“群众??自行管理区域的大小事件”，而反对群众“成了红军的老百姓”。对于政府工作、群众工作中采用军队的一套工作方式，他也是有感受的。内务部提出来的问题又确是存在的，因而，陈毅没有发现什么问题，同意了会议的方针和文件。遗憾的是中央主要负责人都不在京，无法请示报告。会议开到两周的时候，内务部作了会议情况报告。
　　陈毅对会议情况表示认可。但过后一想，对于“民主建政”的提法和会上争论的一些问题发生了怀疑。因为中央从来说巩固人民民主专政，没有提出过“民主建政”。而且按内务部文件的倾向，民主建政就该民政部门来管，民政部门主要的工作就是搞政权建设了，政府的一个部门来管政权建设这样的大事，妥当吗？
　　陈毅觉察到有问题，立刻向董必武、彭真等“老政法”请教，得到的回答是在全国第一、第二次民政会议上这些问题就有争论。据说有的干部还主张内务部有权召集省主席、县长会议，要管县长的委派等等。陈毅越加感到问题不简单。
　　问题提出来了。要解决却颇费思量。内务部长期管民政工作，再加有党的政法领导小组的指导，自己刚刚走马上任，就能比别人高明？会期过半，临时改变会议指导方针和议程必然造成思想混乱，又怎么解决？特别是怎样才是正确的指导思想，一定要明确解决。陈毅出席会议，和与会代表们交换意见，心里渐渐地有点数了。
　　这时正好毛泽东、周恩来休假结束，回到北京。陈毅在12月17日向周恩来汇报了这次民政会议的情况和自己的想法，得到了明确的支持。周恩来指示：“民主建政”的口号是不正确的，内务部应主要管优抚救济工作。要把问题摆开，彻底搞清楚。
　　陈毅又向毛泽东汇报，毛泽东说得更透彻了。毛泽东说：宪法公布以后，内务部还想要管建政；救灾、优抚那么重要的工作不去管，很不好，这个问题要讲清楚。“民主建政”是资产阶级的口号。政府是权力机关（按：指人民代表大会）的儿子，它凭什么去建政呢？中央有些部门搞了好几年，究竟该管些什么事他自己也不清楚，糊里糊涂的。现在你搞这个工作，我要告诉你这一点。
　　毛泽东的批评很尖锐。陈毅在1955年3月3日国务院第6次会议上回忆这段对话时说：“这个指示首先对我是当头一棒：我到国务院来是副总理，我也要考虑到底干什么。我听了这个指示也搞得很紧张，对我有很大启示。”
　　无情的现实是：第三次全国民政会议已告结束，各地代表要打道回府了。
　　一个大胆的、没有先例的决定作出了：代表们暂不离京，会议重开。
　　陈毅立即召集部长、副部长以及其他有关的领导干部们做工作，开座谈会。根据毛主席、周恩来总理的指示反复作了说明。接着又分别召集各地代表连续开小型座谈会。一连几天，内务部和各地代表们围绕民政部门的任务反复讨论，开展了批评和自我批评，澄清了混乱思想，重新商定了1955年的工作①陈毅：《在第三次全国民政会议上的发言》，1954年12月26日。
　　方针。
　　1954年12月26日，陈毅在第三次全国民政工作会议上发言，对这一场争论作了总结。
　　最重要的问题是政权建设是谁的事。陈毅在发言中说：“大家要知道政权建设工作从根本上说，这是全国人民在党中央和各级党委领导下来进行的事，是全国人民代表大会和地方各级人民代表大会的事，是中央人民政府和地方各级人民政府的事；这样的事决非民政系统所能包办得了的，而且根本就不应该由它来领导办理。”民政部门在政权建设方面是要做工作的，那只是在党委和政府领导下了解情况，研究问题，提出建议；而应把优抚、救灾、社会救济等事关亿万人民利益的工作作为自己的主要任务。
　　陈毅还从理论上对“民主建政”的口号进行批判，资产阶级的政权理论只提民主，不提专政，是为了用“民主”来掩盖其资产阶级专政的实质；我们是无产阶级和人民大众对少数反动分子的专政，是正义的，是人民民主专政。“因此我们主张取消‘民主建政’的错误口号，回到‘巩固人民民主专政’的正确口号。”
　　陈毅十分注意辩证法，两点论。他在透彻批判的同时，也充分肯定1954年民政系统很大的成绩；也指出有些地方对按期召开人民代表大会和人民委员会，运用政权去领导各项建设，认识不足，做得不好，甚至不按照法律规定办事，轻视召开人民代表大会和人民委员会的作用，是应该批评和加以提醒的。民政部门在这些方面提出建议，促请党委和政府注意，是应该的。
　　显然，这样的解决，符合中共中央当时的大政方针，符合毛泽东主席的想法，也符合公布不久的宪法的规定。
　　陈毅在紧张地主持着民政会议转轨的同时，他还得分出许多时间来参加在北京召开的两个全国性会议的掌握和筹备。这两个会都是要“吵架”的会议。一个是1954年12月5日到1955年1月8日的全国扩展公私合营工业计划会议，另一个是1954年12月30日到1955年1月5日的私营工商业问题座谈会。这两次会都涉及中国革命和建设所特有的朋友──民族资本家们。
　　本来，国务院分工不该陈毅来管，可是中央指定他召集。
　　这显然是因为他从1949年5月以来一直在上海这个资产阶级最密集的城市，一直在与资产阶级交朋友、作斗争的第一线，积累了丰富的经验。这显然也是中央对他在上海创造性地执行私营工商业改造政策和统一战线政策的成就的充分肯定。的确，比起处理“民主建政”来，陈毅在私营工商业问题上有把握得多了。
　　不过，这毕竟不是上海一个局部，而是全国的私营工商业社会主义改造，全国资本主义的利用、限制、改造的大问题。
　　全国扩展公私合营工业计划会议当然是为了讨论怎样扩展公私合营工业的，就是说1955年要把多少私营工厂变成公私合营工厂，1956、1957年又怎么样，怎么组织领导？可是会议开始后，各地代表，特别是上海、天津、沈阳等地的代表反映一大堆问题。最集中突出的反映是现存的私营工厂生产发生严重困难，一些主管工业和原材料的部门有只管国营，不管私营，只管企业合营，不管生产安排的倾向，定货任务不给私营厂，象第一机械工业部60万部水泵的生产任务全分配给了国营厂，私营厂一部也捞不到。私营厂接不到定货，搞不到原材料，就要停产，发不出工资，有些工人就向党委请愿。
　　还有就是改造资本主义企业和资产阶级分子工作中的急躁、简单态度。
　　本来改造应是逐步进行的，有的干部却抛开“逐步”，而想“一步”完成改造；有的企业一搞公私合营，马上搞一长制，把私方搁在一边；有的只愿意接收资本家的企业，不愿意安排教育资本家的人。资本家说怪话：“干部昼夜忙，资本家晒太阳。”“公方是直达快车，私方是虚设一站。”“房子越住越小，汽车越坐越大。”
　　还有就是搞公私合营工作的、到合营厂当公方代表的干部中，有不少入学习不够，质量不高，并且不安心工作，说是“到156项建设单位工作的是优秀干部，搞公私合营工作的是‘生锈’干部。”许多地方并且没有专管公私合营工厂和干部的部门。
　　这种种情况，特别是生产没有统一安排、公私未能兼顾的情况，如不迅速切实地解决，公私合营的工作难以扩展，计划当然难以制定。
　　陈毅当然很理解这些情况，而且敢于向中共中央如实反映这情况，他是不怕按中共中央的路线政策去关心和照顾资本主义工业和资产阶级分子的。
　　陈毅很快在一次政治局会议上提出问题：陈云听后便约“八办”的干部去谈；因为这些问题牵涉面太大，陈云又约陈毅及“八办”许涤新等一起向周恩来详细汇报。
　　问题展开了，得到毛泽东、周恩来的关心，陈毅指出了几个倾向，特别认为“目前批评一下不统一安排是十分必要的。”周恩来完全同意陈毅意见，并指出：我们的主要缺点，是在处理私营工商业及资产阶级的问题时，既不研究情况，又不同人家协商，也不估计后果，就片面处理。
　　毛泽东指示说：公私合营就是去解决矛盾的，把私方利益纳入公方之中。
　　私营工业有很大的积极性和消极性，把它和公方拉在一起，加以调整，发挥它最大限度的积极作用，消除它最大限度的破坏性，达到解决矛盾。很明显这个工作乃是总路线的很重要的部分。在工业中，原料和定单（生产任务）分配不公，给私营太少，是不对的。私营有困难要照顾他们，要统筹兼顾，要调整公私关系。
　　陈毅在1955年1月7日传达了这些指示。
　　毛泽东还指示陈毅召集资本家开座谈会。
　　陈毅更把会议中出现的各种问题及时向直接领导这次会议的陈云报告。
　　陈云在12月31日于中南海怀仁堂向会议作了《解决私营工业生产中的困难》的报告，对会议的顺利进展起了很大作用。
　　1955年1月7日，陈毅代表中共中央给会议作了总结报告。总结报告强调了统一安排，统筹兼顾，还强调了既抓合营工业的企业改造，又抓资产阶级分子的教育改造。总结报告贯彻了毛泽东、周恩来的指示，吸收了大家讨论的成果，对一系列问题作了正确的回答，并确定了1955年的扩展合营计划和1955年到1957年的扩展合营计划。
　　根据毛泽东、周恩来的指示，陈毅邀请全国政协的工商界委员63人，和各有关部门负责人及出席扩展合营工业计划会议的代表一起举行“私营工商业问题座谈会”。会议在一周内开了4次。开始，有些工商界委员“摸不清行市”，抱定“哑巴进庙，光叩头，不开口”的态度。陈毅在会议上鼓励启发，在会外通过工商联、民主建国会进行酝酿，陈毅自己并与黄炎培、陈叔通、李烛尘等工商界上层代表人物交谈。结果“发言者由迟疑而踊跃，最后两次会议上则大有争先恐后之势。”最后由陈云作了有关调整工商业公私关系方针政策的报告，还说国营厂要“吐”出一部分任务来照顾私营厂；由曾山、吴波、许涤新等回答问题；陈毅也多次发言，并在会上向党内干部指出一定要重视协商。这样，工商界代表普遍情绪高涨，对共产党更加信任，而且提出资方也要作自我批评，说“收获超过想象”。
　　1955年3月14日，陈毅向中共中央呈送了《关于全国扩展公私合营工业计划会议的报告》和《关于召开私营工商业问题座谈会的报告》。中共中央在3月17日将这两个报告批转全国，“即希认真研究组织贯彻”。中共中央对于报告中所强调的“努力做好改造资本主义工业和资产阶级分子的双重改造”给予特别重视，指示：“目前的情况是重视对企业改造而忽视对资产阶级分子的改造，这是必须纠正的，两者应同时抓紧才好。”陈毅在召开私营工商业问题座谈会的报告中写道：“组织工商界代表人物就有关问题进行讨论，反映他们的意见和要求，并同他们进行充分协商，就是将阶级斗争引向公开、合法的斗争。只有积极地领寻和掌握这种公开、合法的斗争并适当处理他们的合理要求，批判他们的不合理要求，才有利于制止和堵塞各种隐蔽、非法的斗争，并克服他们对社会主义改造的反抗与破坏。”这一经验的取得无疑对全国社会主义改造和阶级关系处理有重要意义。中共中央在批示中说：“这是一个正确运用政协这一统一战线组织来处理国内阶级关系的范例。”
　　1955年3、4月陈毅主要的任务是外事，陪同周恩来总理出席万隆亚非会议，这在下一章《外交风云》中将系统地叙述。但这里先提一件“内事”：筹备出国时，周恩来突发急性阑尾炎，住进北京医院，政治局即在北京医院开紧急会议，批准进行手术。3月15日晨，邓小平通知：因周恩来刚刚动了手术，决定他不出席中共中央将于3月21日召开的全国代表会议，如4月中旬不能出席亚非会议，拟由陈毅率团出席。陈毅痛感“中枢负责人健康关系甚大，替人最难，并急切难于接手”。陈毅为此极其认真地作了一番准备，为他后来在万隆做周恩来的主要助手打好了基矗从印度尼西亚回来以后，5月10日，周恩来召集陈云、习仲勋和陈毅3位副总理再次研究分工问题，确定陈毅分管国务院第一、第二办公室、民族事务和科学卫生工作。
　　对于科学，陈毅是深知其重要性的。他十五、六岁的时候，曾经是“科学救国”的信奉者。后来接受了革命理论，知道了救国须主要靠革命，但要使祖国富强，科学还是极重要的工作。尤其是人民共和国建立以后，科学的作用更加伟大。陈毅曾大声疾呼：“我们过去要有一支军队，现在搞建设需要科学研究。”
　　一到国务院，他就分管科学院和科学技术。在军内，他也受命兼管国防科学技术。1955年9月27日，他被授予中华人民共和国元帅军衔。陈毅元帅当时要关心的正是用现代化的科学技术改进人民解放军的装备和战术技术。1955年国庆节，陈毅和老帅们一起，穿上元帅礼服佩带一级八一勋章、一级独立自由勋章、一级解放勋章登上天安门城楼。陆海空军的方阵和百万群众的海洋使党政军领导人十分激动。毛泽东感叹：这一事实证明中国人民已完成组织起来的任务，今后的任务是如何把自己装备起来。陈毅大有同感。
　　他在当天的日记中写道：毛主席“此一概括，甚为正确，工业农业的发展，社会主义工业化，即解决装备之唯一途径。”
　　他对科学技术的关心正是为了“装备”中国人民和军队。他对原子能的研究和开发特别重视，积极着手从和平利用原子能，建造原子反应堆做起，从科研、选矿到基础设施的建设，都付出了大量心血，这为后来原子弹、氢弹的研究制造，为核反应堆、核电站的建设，都起到了奠基的作用。
　　1956年2月，陈毅就任全国科学规划委员会主任，李富春、郭沫若、薄一波、李四光为副主任。这是党内领导科学研究的最高机构，受到中共中央的特殊关怀，有事可以直接向毛泽东主席和周恩来总理请示报告。
　　科学规划委员会在这个阶段着手抓科研机构、科研队伍的建设和全国12年科学技术发展远景规划的编制工作。这部40万字的科学技术发展远景规划是个大工程。编制过程中，百家争鸣，气氛极为热烈。最后博采各家之长，集思广益，搞成了一个既具远见又比较切合实际的规划，成为指导科学研究工作的纲领性文献。由于党和国家对科技的重视，这时的科研机构由解放初期的40多个发展到380多个，研究人员已由那时的几百人增加到9000多人。
　　陈毅对科学的重视特别表现在他对科学工作人员的尊重。他多次深入科学院各部检查工作，登门拜访科学家。张劲夫被任命为科学院党委书记，来见陈毅，说自己未于过科学工作，不知该怎么办。陈毅告诉他：这很简单，你若是当部长，司长来看你。你当科学院的领导，就该你去看所长，看科学家。他自己，就是用这种当小学生、当勤务员的精神来团结改造知识分子，来为科学研究服务、撑腰，直到1962年他在广州会议上为“资产阶级知识分子”行“脱帽礼”。
　　1956年9月，在中共八届一中全会上，陈毅当选为中央政治局委员。这时，由陈毅来主管外交已进一步明确了。在10月28日召开的科学规划会议上，宣布了根据中共中央指示将科学工作交由聂荣臻主管的决定。