南昌起义部队进入广东后，决定以大部攻克潮汕；周士第的二十五师及第九军教育团留守三河坝地区，由九军副军长朱德指挥。这样就把全军最强的叶挺部队的二十四师与二十五师拆散了。事隔25年，陈毅在《关于八一南昌起义》的谈话中痛心地说：“如果三河坝不分兵，我们一共有15个团，而桂系加陈济棠可以集中的不过17个团，力量差不多，我们战斗力强于他们，一定可以击破他们。三河坝一分兵，反革命就以钱大钩牵制朱、周部，集中全力对付叶、贺。叶、贺长途跋涉，队伍疲劳，一路仰攻上去，到了汤坑遂陷入反革命的重重包围”，损失严重。
　　三河坝位于广东梅江、汀江、韩江的会合口。二十五师为避免背水作战的不利态势，东渡韩江，在以东文部为中心的笔枝尾山、龙虎坑、下村一带设防。10月2日起，钱大钧部以优势兵力3个师10个团多次渡河攻击，伤亡达1000余人。起义军顽强抗击，歼灭渡河之敌，但自己也有数百人伤亡。
　　10月4日，敌军再次多路渡河登陆。起义军兵力少，久战不利，乃撤出三河坝地区，向潮、汕与大部队靠拢。但行至饶平县茂芝，先后遇见潮汕撤出的部分人员及在揭阳、汤坑失败跑回的零散人员，才知道潮汕失守，起义的领导人已分头撤离。
　　中国共产党第一次独立领导的革命武装起义失败了！2万多人的起义部队现在只剩下朱德身边这2000余人，而且四面都有占绝对优势的敌人，随时有被歼灭的危险。而如果这支部队的领导人不再坚持领导岗位，部队必将全部溃散。
　　当时，朱德决心继续斗争，陈毅坚决拥护。他们决定到闽粤赣三省边界地区活动。在饶平县的茂芝，部队进行整编，以七十三团为基础编为第一营（4个连的大营），以七十四团编为第二营，以九军教育团编为第三营。
　　10月7日，朱德、陈毅率部向闽粤赣边界地区转移。
　　同时，与饶平地方的共产党组织取得联系，留下一批枪支，分散安置了一批不能随军行动的伤员，并派人秘密赴香港向中共南方局报告请示。
　　10月15日，中共南方局与广东省委联席会议提出，南昌起义军必须“全部转变为工农革命军”。10月24日，南方局恽代英在致中共中央的信中说：“工农革命军第一师（即二十五师）据彼处派来之人报告，确存长枪1000，驳壳200，机枪约4挺，人2000，??”然而在闽粤赣边立足的意图未能实现。路过峰市，因为后面有钱大钧的追兵，不敢久留。在武平，同钟绍奎的土匪部队遭遇，钟部被击溃，乃进占武平。钱大钧部一个师又猛扑而来，第一师退出武平，向武平以西的山区转移。
　　部队仰攻险要的石径岭，朱德亲率突击小分队爬绝壁翻山崖到守敌侧后猛袭，始得突破险关。朱德智勇善战的名声此时便在七十三团这样的铁团得到推崇。
　　进入江西后，情况更糟。对于武装斗争的悲观失望，日益严重地摧毁着部队的意志。与上级党及地方党完全失去联系，两眼抹黑，前途茫茫。时至深秋，官兵们还是南昌起义时的单衣单裤，露宿山林，风寒露冷。山区少人烟，搞不到多少粮食，饥饿削弱体力。病员急剧增多，疟疾、痢疾，没有药品治疗。每天还得长途爬山行军。于是掉队、离队的日多。
　　部队到达安远县的天心圩。在这里才得到短暂的休息。领导干部聚集起来，议论出路。这时的部队，体力和战斗力都大大削弱，散伙的现象日益明显，有的带着整班、整排公开离队，带着枪自寻出路。部队只剩1000来人了。
　　还有没有必要和可能维持这一支小小的接近涣散的队伍确实成了问题。即使要奋力维持，有没有必要保持这么些军、师、团职的领导干部也令人怀疑。
　　朱德态度坚定明朗，他认定南昌起义留下的骨干必不能溃散，一定要带着走出绝境，坚持武装斗争的路。陈毅到北京、上海、四川都有出路，但他既已认定中国革命必须要有共产党所领导的武装，他也决心带队到底。原七十四团参谋长王尔琢也决心带部队，他已蓄起胡须，发誓革命不胜利就不剃掉。后来大家同意去留自愿。这时，团以上领导干部就只剩他们几个人了。
　　傍晚，在天心圩圩场外的河滩上，朱德召集排以上干部开会。朱德阐述了他在领导干部议论时的主张。他说：大革命失败了，革命的旗帜不能丢。
　　武装斗争的道路一定要走下去。1927年的中国革命好比1905年的俄国革命。俄国在1905年革命失败后是黑暗的。但是黑暗是暂时的，到了1917年革命终于成功了。只要坚持斗争下去，中国也会有个“1917年”。朱德还说：“要革命的，跟我走，不革命的，可以回家，不勉强！”
　　陈毅也讲了话。他说：一个真正的革命者，不仅经得起胜利的考验，能做胜利时的英雄，也经得起失败的考验，能做失败时的英雄。
　　经过天心圩的整顿和动员，许多人的心中又燃起了希望之火。部队继续西进。但实际困难丝毫没有解决，反而更趋严重。饥寒、疲劳、疾并穷困，把部队折磨得筋疲力荆林彪领着几个连长来见陈毅。他们都是黄埔四期的毕业生。林彪说：现在部队不行了，一碰就跨。与其等部队垮了当俘虏，不如现在穿便衣，到上海另外去搞。其他几个也附和，他们劝陈毅走。
　　陈毅明确表示他不走。他说：“现在我们拿着枪可以杀土豪劣绅，土豪劣绅怕我们。离开了队伍没有了枪，土豪劣绅就杀我们。我们都是共产党员，要经得起失败的考验。”
　　其他几个连长被陈毅劝止了。只有林彪一度离队，但没走多久又回来了。
　　因为走到梅关，看到搜查、抢夺、打人、杀人，这样送命太不值了。陈毅批评了他，对他回来还是表示欢迎，让他仍回原来的连队任连长。①部队减员到只剩800多人。可是终于得到了难得的休整机会。他们走到了信丰县。军阀刘士毅的军队远在赣州，信丰没有敌军。这时军阀战争即将开始，他们身后己没有了追兵。赣南地方党也派人来取得联系，他们第一次对赣南的情况有了较全面的了解。
　　在敌情缓和的情况下开进县城，对这支贫困饥寒、而且是有许多旧军人的部队，是一个新的考验。问题还是发生了，有人进饭馆白吃白喝，有人到当铺“当”手榴弹要钱花。
　　朱德、陈毅正同城里的地方人士座谈，忽接报告：一家当铺被一伙士兵抢了。朱德让陈毅先去紧急处理。
　　陈毅下令紧急集合，带领部队跑步到离城20多里的一个山坳里。朱德也飞马赶到。
　　陈毅站在山坡上发出整队口令。
　　①陈毅于1971年10月老同志座谈会上发言谈及此事。
　　朱德应声跑到排头兵位置，肃然立正。王尔琢跟上，站第二名。于是800多人迅速列队。
　　朱德、王尔琢出列来到陈毅站立的山坡，紧急研究后，由陈毅宣布此次哄抢当铺事件的严重危害性，并当场查明带头肇事的抢劫主犯3名，立即枪决。陈毅又向大家讲述了这支共产党领导的铁军铁团的革命宗旨和光荣传统，要大家自觉执行政策、遵守纪律、一心为公。他特别强调要以朱德为榜样。朱德不屑高官厚禄，1922年就加入共产党。他目光远大，意志坚定，许多师、团领导干部离开了，唯独他不走，他看到这支队伍一定会发达，革命一定会成功。大家要跟朱军长革命到胜利！
　　官兵们自发地喊出了“拥护朱军长！”“跟朱军长干革命！”的口号。
　　参加哄抢的士兵，纷纷把抢得的东西交了出来。
　　朱德感谢大家的支持，完全赞成陈毅的处理，指出革命纪律铁面无私，如果他本人违犯纪律，大家可以同样拿他问罪。朱德并郑重宣布，从今起，这支队伍由他和陈毅共同领导。①通过这一次严肃整顿，既有共产主义的理想和道德，又有铁的纪律，政治工作的威望大增。10月底开进大余县城时，县长吴巨光闻风逃到广东南雄。群众也纷纷离家躲避，随即听说这支队伍不住民房不抓民夫，态度和气按价付钱，又陆续回到城里。这时国民党新军阀之间战争正紧锣密鼓地进行，自顾不暇，朱德、陈毅、王尔琢研究决定利用时机进行思想整顿和组织整顿，并改善物质条件，恢复体力。当时江西由滇军将领朱培德主持军政，各县主政的多云南人，吴巨光也是，且在云南时与朱德有过旧交。朱德乃在县商会筹得1万多元经费，说明为借用，并留信请吴巨光县长拨款归还。部队的整顿工作乃在生活较好的条件下展开。
　　部队急需调整组织。考虑到和湘赣一带的滇军搞好统一战线关系并利于隐蔽，决定暂时将部队改编为国民革命军第五纵队，下辖3个支队，计7个步兵连，1个重机枪连，1个特务连（一说迫击炮连）朱德化名王楷任纵队司令，陈毅任纵队指导员，王尔琢任纵队参谋长。
　　陈毅负责党团组织的整顿。重新登记了党团员，发展了一批坚决革命的人入党，把全部56名党员组成一个党支部，把一部分党团员分配到各连队，“建立了连的指导员”。事隔几十年，粟裕还印象深刻：“那时候我们还不懂得应当把支部建在连上，但是实行了把一部分党团员分配到各个连队中去，从而加强了党在基层的工作，这是对于这支部队建设具有重大意义的一个措施。”
　　11月上旬，部队移驻湘粤赣三省交界的上堡、文英、古亭一带山区。敌人忙于军阀混战，使他们得到近一个月的休息。离队官兵200余人归队，加上一批参军新兵，部队又有1000多人。部队天天上小课，隔一二天上一次大课。军事方面讲授正规战如何向游击战发展，讲新战术。政治工作方面继续整顿思想、整顿纪律，规定筹款和缴获要全部归公，组织部队打土豪、筹款、各班排分头向群众作宣传，调查情况，帮助群众劳动。陈毅主持了这支部队的政治工作建设，颇多建树，成为中国人民解放军政治工作的开拓者之一。
　　11月中旬，附近到了一支部队，经联络，竟是秋收起义后经过三湾改编的一个营，该营是一团三营，由张子清、伍中豪带领，因在一次战斗中被敌①《粟裕战争回忆录》，解放军出版社1988年11月第1版，第42至45页。
　　人切断了和毛泽东亲率的一团团部及一营的联系，三营独立向南发展。得知毛泽东领导着部队在井冈山活动，朱德、陈毅、王尔琢立即派原在第二十五师政治部工作的毛泽东的同胞小弟毛泽覃去与毛泽东联系。同时，与范石生也联系上了。
　　范石生当时为国民革命军第十六军军长，驻防湘南粤北。他是朱德早年在云南陆军讲武堂的同学、知交，结过金兰。他派该军参谋韦柏萃（原为共产党员）带着他的亲笔信前来联系。范石生希望两军合作，信上还指出该军内部即有一批共产党员，他并未取缔他们的活动，以示诚意。
　　早在南昌起义军南下时，周恩来即曾授意朱德致函金汉鼎、范石生、杨如轩等滇军将领进行争龋朱德等各军师负责人并带上了中国共产党前敌委员会的组织介绍信备用。此时，朱德、陈毅、王尔琢等对与范石生的合作进行了慎重研究，考虑到部队疲惫，子弹、服装、被盖等也极度缺乏，有建立统一战线关系的必要，乃决定在确实保持共产党武装独立自主的原则下与之合作。
　　11月21日起，朱德根据党组织的决定到第十六军四十七师师部驻地汝城与范石生的代表、该师师长曾曰唯进行了两天谈判，达成了协议：朱部是共产党的队伍，一切行动听从共产党的调动；范部给朱部的物资补充，完全由朱部自己支配；朱部的内部组织和训练工作等，完全按照朱部的决定办，范部不得进行干涉。
　　朱德以王楷名义任第十六军总参议、第四十七师副师长兼第一四○团团长，陈毅任团政治指导员，王尔琢任团参谋长。嗣后，又将张子清、伍中豪的一个营改称为第一四一团，将何举成带领的湖南宜章、汝城农军200余人改称为第十六军特务营。为统一这三支部队及十六军原有共产党组织的党的领导，秘密建立了中共第十六军军委，陈毅任书记。
　　朱德、陈毅有意识地利用滇军与蒋、桂、粤的矛盾，范石生也希望增加友军力量并企图与朱德同回云贵求得发展，再加朱德、范石生彼此友谊甚深，彼此相信对方品德，所以合作是真诚的。朱德在他的一部书稿中曾感慨说：“他接济我们10多万发子弹，一个月还接济我们万多块钱、医生、西药、被单??”“这时范石生去打广东，很多东西留下来了。”“我们始终心心相樱就在红军的发展上来讲，范石生是值得我们赞扬的。”
　　对这一合作的最好检验，是能否确保这支共产党军队继续实行党的政治主张和革命活动。在上犹、崇义期间，“改编”了的这支部队照旧打土豪，支持农会活动。他们还同各地的共产党组织联系，并于11月下旬在汝城召开湘南各县党组织负责人的联席会议，共同策划“年关暴动”。移驻粤北以后，更有力地支持农民运动。途经仁化时，积极支持恢复农会，帮助组织农民武装，号召开展土地革命。
　　从另一方面也可看出这支队伍的革命坚定性。──中共中央接连写信给他们，“能否不为范石生所解决，很是疑问”。“为避免被消灭的危险，你们只有坚决的脱离范石生”。中共北江特委常派人侦听他们的情况。有一天陈毅在该团军政干部会上讲话，北江特委派人秘密监听。只听得陈毅说革命是有波折的，要根据客观形势的发展决定革命的方法。但最要紧的是不能被环境所屈服，时刻不忘记自己在中国无产阶级领导的革命运动中应该担负的伟大任务。于是北江特委派人与陈毅接上党的关系，通过北江特委又与中共广东省委建立了联系。
　　广州起义即将举行，北江特委传来广东省委指示，要朱、陈率部参加。
　　他们即行开拔，范部也不阻拦。他们途经韶关，请范石生拨给去广州的车皮，范石生也如数调拨。只是临上火车时得悉广州起义失败，临时中止。
　　嗣后部队移驻韶关以北的犁铺头，继续进行军政训练，并开办了教导队。
　　陈毅常到教导队讲课。部队仍积极支持农民运动，除继续联系仁化董塘等地外，还派人到驻地附近的曲江西水地区支援农民暴动，使那里的斗争蓬勃开展。
　　北江特委先后派出熟悉当地情况的龚楚等人来到部队。此时张子清、伍中豪的一四一团已休整装备完毕回井冈山地区，而一四○团收留了陆续归队的人员和广州起义失败后来投奔的零散人员（其中干部80多人），已恢复到1200余人。
　　12月下旬，何长工受毛泽东的委派来到犁铺头。朱德、陈毅、王尔琢等与何长工促膝长谈，介绍了南昌起义部队的情况和经验教训，也了解了井冈山武装割据建立革命根据地的情况。
　　1928年元旦刚过，突接范石生从广州派专人送来的密信。朱德正应范部师长之邀赴宴，陈毅拆信。信中大意是：合作事已败露，应从速离开，自谋出路。最后胜利是你们的，现在我是爱莫能助。陈毅等一面急报朱德，一面紧急准备撤离。