8月3日，南昌起義軍按照中共中央在起義前的決定，開始撤離南昌城，取道江西省臨川縣（今撫州市）、宜黃縣、廣昌縣，南下廣東省，以期恢復廣東革命根據地，并占領出海口，取得國際援助，然后重新舉行北伐。但是，中共領導的南昌起義部隊力量弱小，不可能重新進行像大革命時期那樣以占領城市為中心目標的革命戰爭。起義軍在退出南昌后，沒有認識到應就近到江西省、湖南省、湖北省廣大農村，同還沒有完全被反革命勢力鎮壓下去的農民運動相結合，以便逐步積蓄和擴大革命力量，而是忙著南下廣東省，勞師遠征，爭奪城市和出海口。
經歷三河壩分兵
8月6日，粟裕所在的警衛隊奉命出發，負責南昌起義軍指揮機關的警衛任務和押運武器彈藥任務。粟裕除隨身帶的駁殼槍和子彈外，還身背兩支步槍、200多發子彈，加上背包、軍毯、水壺、飯盒、鐵鎬、鐵鏟，共有30多公斤。另外，每一個班要抬一頂大帳篷，每人還要照管一個挑槍支彈藥的民夫。8月盛夏，每天行軍三四十公里，又熱又累。如果誰照管的民夫中途跑了，那些槍支彈藥就得自己挑。這是粟裕經歷的第一次長途行軍，也是第一次巨大考驗。
在南昌起義軍向廣東省進軍途中，由于領導上的原因、政治工作薄弱，加上天氣炎熱，逃跑士兵和病號劇增，部隊減員相當嚴重。起義軍離開南昌市不遠，剛行抵江西省進賢縣時，蔡廷鍇就率部離開了隊伍。南昌起義軍到達臨川縣時，已減員6000余人，并遺棄了部分槍支。8月底至9月初，起義軍在贛南瑞金縣（今瑞金市）、會昌縣境內，與廣東省前來堵截的國民黨軍進行了多次激烈戰斗。起義軍雖然殲敵6000多人，繳槍2500支，但自己傷亡近2000人。其間，又有第二十軍第二師第五團叛逃。至此，南昌起義軍只剩下1萬余人。會昌戰斗之后，粟裕奉命帶領一個班將繳獲的槍支裝上船，押送到廣東省東江。
9月下旬，南昌起義軍攻占廣東省潮安縣（今屬潮州市）、汕頭地區后，才得到短暫的休整。接著，南昌起義軍主力經廣東省揭陽縣（今揭陽市）向豐順縣湯坑西進，在白石地區與敵作戰失利，損失慘重，被迫退向普寧縣（今普寧市）流沙地區。10月3日，起義軍主力在向海豐縣、陸豐縣（今陸豐市）轉移途中，在烏石地區遭到敵軍截擊。第二十軍第一師、第二師潰散。第十一軍第二十四師僅剩1300余人，后在該師第七十團團長董朗和師黨代表顏昌頤率領下，退入海陸豐地區，參加當地的革命斗爭。
南昌起義軍主力出動后，粟裕所在排奉命在潮安縣城留守，負責后勤部門和物資倉庫的警戒。留守潮安縣城的起義軍力量單薄，在國民黨軍的圍攻下不得不撤到城外。粟裕所在排的任務，是保衛后勤部門領導和其他干部的安全。他們找到幾條船，東渡韓江，準備經廣東省饒平縣去大埔縣三河壩，同第二十五師會合。
原來，賀龍、葉挺率南昌起義軍主力挺進潮安縣、汕頭地區時，把第十一軍第二十五師作為潮汕的前哨，留在三河壩警戒敵人。為加強部隊領導，葉挺致信第二十五師師長周士第，命令由第九軍副軍長朱德統一指揮該師和第九軍軍官教育團。后來看，南昌起義軍分散行動的決定是錯誤的，容易被敵人各個擊破。10月1日至3日，第二十五師在三河壩遭國民黨第三十二軍兩個多師的進攻，激戰了三天三夜。第二十五師參謀處長游步仁、第七十五團第三營營長蔡晴川等數百名官兵犧牲。10月4日凌晨，第二十五師在朱德、周士第的指揮下撤出戰斗，向潮汕地區前進。此時，第二十五師還不知道潮汕已經失守，南昌起義軍主力已經失敗。第二十五師行進至饒平縣附近時，得知南昌起義軍主力失利的消息，于是停止了前進。第二十五師還約有2000人，三個團的建制也都還保持著。從潮汕地區撤退下來的零星部隊和人員，陸續到達饒平縣的五六百人，也會合到了一起。粟裕到達饒平縣時，第二十五師已經先到了。
第一次負傷
第二十五師失掉與領導機關的一切聯系，成了南昌起義軍余部。朱德認為，南昌起義軍主力雖然失敗了，但起義旗幟絕對不能丟，武裝斗爭的道路一定要走下去。鑒于國民黨軍隊云集在周圍，可能隨時撲來，起義軍必須盡快離開此地，甩開敵人，否則就有全軍覆沒的危險。經過慎重考慮，朱德決定脫離敵人，避免與敵交鋒，向敵人力量薄弱的閩西、贛南地區轉移。起義軍把負傷人員交給饒平縣共產黨組織分散安置，并留下了一部分槍支。10月7日，朱德率領起義軍余部從饒平縣出發，踏上了艱苦轉戰的道路。10月16日，起義軍余部到達閩贛交界處的福建省武平縣。
南昌起義軍余部向西北轉移的行動，很快被敵人發覺。10月17日，國民黨第三十二軍軍長錢大鈞率領第十八師追到了武平縣。起義軍寡不敵眾，加之缺糧少彈，無法與強敵持久地硬拼硬打。激戰兩個小時后，朱德下令部隊撤出戰斗。起義軍向武平縣西北方向轉移，粟裕所在排奉命掩護。粟裕和戰友們一陣猛打，敵人不知虛實，慌忙退卻。
突然，一顆子彈從粟裕右耳上側頭部顳骨穿了過去。粟裕只覺得頭部猛然受到一擊，隨即倒在地上，動彈不得，心里卻依然很明白，只聽排長說：“粟裕呀，我不能管你啦。”隨后，排長卸下粟裕的駁殼槍，丟下他走了。不久，粟裕從昏迷中蘇醒過來。剛才還血肉橫飛的戰場，此時靜得可怕。粟裕當時只有一個念頭：無論如何要站起來，趕上部隊，絕對不能離開革命隊伍。他咬緊牙關猛地站了起來，但腿一軟身子一晃，又倒在地上。粟裕用力順著山坡往下滾，一直滾到了路邊一片水田里。正好有幾個南昌起義軍戰友沿著山邊走來，發現了粟裕。他們連忙把粟裕扶起來，給他包扎好傷口，攙著他趕上了部隊。粟裕一生六次負傷，這是他第一次負傷。
武平縣西北五公里處有一條山路叫石徑嶺，地勢險峻，懸崖峭壁間只有一個隘口可以通過。南昌起義軍余部要向西北轉移，這是一條必經之路。經過偵察，起義軍發現隘口被地主武裝民團占領著。為了出其不意制伏敵人，朱德率領幾個警衛人員，從長滿灌木的陡壁攀登而上，從側后發起進攻。戰斗力本來就不強的民團，遭到突然打擊，丟下武器四散逃命。朱德站在斷壁上，手握駁殼槍，指揮部隊勝利通過了石徑嶺。
經過武平縣城戰斗和石徑嶺戰斗，南昌起義軍余部擺脫了國民黨軍的重兵追擊，進入了贛南山區。饑餓、疲憊、傷病折磨著官兵，革命前途十分暗淡。逃跑、叛變的官兵每天都有，粟裕卻堅持了下來。他拖著重傷的身軀，堅定地跟著部隊前進。
天心圩軍官會議、大庾整編和上堡整訓
10月下旬，南昌起義軍余部到達江西省安遠縣天心圩。第二十五師領導及多數團領導已經離隊，起義軍只剩下1500余人，長短槍1000余支，機槍2挺。就在隊伍瀕于潰散的關頭，朱德主持召開了全體軍官會議。朱德以俄國十月革命為例子，對大家講中國革命的長期性、曲折性。他鼓勵大家不要灰心，要相信中國革命總會成功的。他還表示，革命是心甘情愿的事業，不愿革命的可以回家。朱德的講話深入淺出，給大家以極大的鼓舞。第二十五師第七十三團政治指導員陳毅、第七十四團參謀長王爾琢，堅決贊成朱德的意見，表示要斗爭到底。陳毅誠摯地對大家說：“南昌起義是失敗了，南昌起義的失敗不等于中國革命的失敗。中國革命還是要成功的。我們大家要經得起失敗局面的考驗，在勝利發展的情況下，做英雄是容易的；在失敗退卻的局面下，做英雄就困難得多了。只有經過失敗考驗的英雄，才是真正的英雄。我們要做失敗時的英雄。”天心圩軍官會議意義重大，粟裕也參加了。聽著這些充滿激情和樂觀的講話，粟裕的革命信念更加堅定了。
10月底，南昌起義軍余部繼續向西北前進，到達贛南大庾（今大余）縣境內。這時，國民黨新軍閥各派之間的矛盾日益尖銳，混戰不已，放松了對南昌起義軍的追擊。南昌起義軍抓住時機進行整頓，重點整頓了黨組織和團組織。共產黨員、共青團員重新登記，成立了黨支部。部隊縮編為七個步兵連、一個迫擊炮連、一個重機槍連。為縮小目標，南昌起義軍使用國民革命軍第五縱隊番號，朱德任司令，陳毅任指導員，王爾琢任參謀長。粟裕被從班長越級提升為步兵第五連指導員。五六十名共產黨員分配到各個連隊，成為部隊骨干。經過整編，起義軍士氣回升。離隊和走散的一些官兵陸續回到部隊。這就是著名的大庾整編。
11月上旬，朱德、陳毅、王爾琢率南昌起義軍余部到達贛南崇義縣上堡地區，進行了一次整訓。受大革命影響，這里群眾基礎好，有利于開展革命斗爭。這里的地形是一片連綿不斷的大山，適合部隊隱蔽。南昌起義軍進入山區，發動群眾，開展游擊戰。南昌起義軍趕走占山為王、作惡多端的土匪，解散反動地方武裝，整頓稅收，解決了給養裝備問題。官兵每天的任務，除了訓練，還要幫助農民生產勞動，向群眾宣傳共產黨的主張。南昌起義軍在這里駐扎約20天，粟裕和官兵們受到的教育很深刻。過去，大家只知道打仗，現在做群眾工作，把武裝斗爭與農民運動結合起來了。
經過天心圩軍官會議、大庾整編、上堡整訓，南昌起義軍余部保存了一批經受過嚴峻考驗、具有堅定革命意志的骨干力量，作戰形式也開始由正規戰向游擊戰轉變，為日后的發展創造了有利條件。
湘南起義
南昌起義軍余部駐扎崇義縣上堡期間，朱德從報紙上看到國民黨第十六軍移防同崇義縣接壤的湖南省郴縣（今郴州市）、汝城縣一帶的消息。他同陳毅商量后，便寫信給第十六軍軍長范石生，希望建立合作關系。范石生是朱德在云南講武堂的同班同學，一起參加中國同盟會，一起參加昆明重九起義，一起參加護國討袁戰爭，關系非同一般。1926年，滇軍第三軍改編為國民革命軍第十六軍，范石生任軍長。朱德的信發出去半個月后，終于有了復信。
1927年11月20日，朱德受黨組織的委托，去汝城縣談判。最后達成三項協議：（1）同意朱德提出的部隊編制、組織不變，要走隨時可以走的原則。（2）南昌起義軍改用第十六軍第四十七師第一四○團番號。朱德化名王楷，任第四十七師副師長兼一四○團團長。（3）按一個團的編制，先發一個月薪餉，并立即發放彈藥和被服。范石生信守諾言，認真執行了這些協議。在給養、裝備等方面，南昌起義軍得到的補充與第十六軍部隊沒有區別。
12月上旬，南昌起義軍余部轉移到粵北仁化縣。中共中央決定舉行廣州起義，指示朱德、陳毅率部趕到廣州，參加起義。南昌起義軍南下至廣東省曲江縣（今韶關市曲江區）時，得知廣州起義失敗，便停止前進，就地駐扎。南昌起義軍官兵一邊休整、練兵，一邊到農民中宣傳革命。
1928年初，蔣介石發覺南昌起義軍余部隱蔽在范石生部，立即下令解除南昌起義軍武裝，逮捕朱德。同時，命令國民黨新編第十三軍軍長方鼎英率部從湖南省進入粵北，監視南昌起義軍和范石生部的動向。范石生接到蔣介石的密電后，立刻向朱德作了通報。形勢萬分緊急，朱德決定立即率部脫離險境。開始，他按照中共廣東省委的意見，準備去東江同廣州起義軍余部會合。后來，南昌起義軍余部到達仁化縣時，突然發現國民黨新編第十三軍正沿湞水開往仁化縣以東的南雄縣（今南雄市），切斷了前往東江的去路。朱德當機立斷，在收編廣州起義軍余部后，折向西北，向湘南開進。
1月上旬，南昌起義軍余部到達湘南。1月12日，進占宜章縣。根據中共廣東省委指示，南昌起義軍余部改稱工農革命軍第一師，朱德任師長，陳毅任黨代表，王爾琢任參謀長。同時，招收一批修筑粵漢鐵路（廣州—武漢）的民工參軍，部隊發展到2000余人，編為三個營。繼而，工農革命軍第一師在宜章縣南部和廣東省樂昌縣（今樂昌市）坪石等地，擊潰來犯的國民黨軍獨立第三師，殲敵1000余人，繳獲了一批槍支彈藥，甚至有迫擊炮、山炮。部隊裝備得到極大補充，還成立了一個炮兵連。
工農革命軍第一師的勝利，轟動了湘南。中共湘南特委領導人趕到宜章縣，與朱德等協商發動湘南起義，割據湘南。這時，國民黨軍李宗仁部正在湘東北與唐生智部交戰，張發奎部和李濟深部在廣東省五華縣交戰，湘南地區沒有國民黨軍主力。湘南各縣中共黨組織經過較長時間的準備，起義條件已經成熟。朱德等人完全支持中共湘南特委的起義計劃，當即率部北上，相繼將湖南省郴縣、耒陽縣（今耒陽市）的反動地方武裝大部殲滅。其間，中共湖南省永興縣委、資興縣（今資興市）委、安仁縣委等，分別領導農軍對反動地方武裝發起進攻，奪取縣城，建立蘇維埃政府，組建了工農革命軍。在勝利形勢的鼓舞下，湖南省衡陽縣（今屬衡陽市）、桂陽縣、常寧縣（今常寧市）、汝城縣、臨武縣、嘉禾縣等中共黨組織，也相繼領導部分農軍和農民舉行了武裝起義。
湘南各縣起義期間，中共湘南特委受“左”傾盲動錯誤的影響，提出“使小資產變成無產，然后強迫他們革命”的錯誤政策，并制訂割據湘粵大道，以切斷湘粵兩省聯系的戰略計劃。3月上旬，中共湘南特委為實現這一計劃，派代表到江西省遂川縣井岡山革命根據地，宣布撤銷湘贛邊界秋收起義時建立的中共湖南省委前敵委員會，將所屬部隊改稱工農革命軍第二師，毛澤東為師長，何挺穎為師黨委書記。中共湘南特委命令工農革命軍第二師離開井岡山根據地，參加割據湘南的斗爭。3月中旬，湘南地區的革命武裝力量統一編為工農革命軍。除南昌起義軍余部改稱的工農革命軍第一師、秋收起義軍改稱的工農革命軍第二師外，宜章縣農軍改編為工農革命軍第三師，耒陽縣農軍改編為工農革命軍第四師，郴縣農軍改編為工農革命軍第七師。永興縣、資興縣農軍各編為一個團。
上井岡山
聲勢浩大的湘南起義震動了國民黨當局。1928年3月10日，湖南省、廣東省國民黨軍“協剿”湘南工農革命軍。3月中旬，湘粵兩省國民黨軍各抽調三個師組成“協剿軍”。3月底，“協剿軍”向湘南衡陽縣和粵北樂昌縣地區集結，企圖對工農革命軍實行南北夾擊。4月1日，“協剿軍”各部分別向耒陽縣、宜章縣推進。
湘南地區交通方便，利于敵軍機動。由農軍改編的工農革命軍各師未經整頓訓練，戰斗力較弱。中共湘南特委的“左”傾錯誤，則挫傷了一部分群眾的革命積極性。各種因素表明，工農革命軍在湘南地區繼續堅持武裝斗爭是不利的。為避敵鋒芒，保存革命力量，朱德等人果斷決定率所部和湘南農軍向井岡山革命根據地轉移。
在此之前，毛澤東按照中共湘南特委指示，已于3月中旬率部進入湖南省酃縣（今炎陵縣）、汝城縣開展群眾工作。當朱德等人率部向井岡山革命根據地轉移時，毛澤東立即命令部隊主動予以掩護接應。4月中旬，朱德所部和湘南農軍與毛澤東所部在井岡山地區會師。
朱毛會師后，井岡山革命根據地武裝力量激增，達到1萬多人。其中，毛澤東率領的原秋收起義軍1600人，朱德率領的原南昌起義軍余部2000多人，湘南農軍8000人。為了加強統一領導指揮，毛澤東、朱德等人商定立即對部隊進行整編。于是，借助于原國民革命軍第四軍“鐵軍”的影響力，將部隊番號確定為中國工農革命軍第四軍。朱德任軍長，毛澤東任黨代表，王爾琢任參謀長。
井岡山會師，具有十分重要的歷史意義。南昌起義軍余部和秋收起義軍骨干，具有北伐戰爭民主革命傳統和正規作戰經驗，具有土地革命運動實踐經驗。它保留了大批軍事政治骨干，為中國人民解放軍的成長奠定了重要基礎。
在毛澤東的領導下，此時的井岡山革命根據地已經初具規模，比較鞏固。此后，井岡山革命根據地逐漸發展，全盛時包括江西省寧岡縣、永新縣、蓮花縣全部，江西省吉安縣、安福縣、遂川縣及湖南省酃縣部分地區。粟裕到達井岡山革命根據地后，立刻有一種回到家的感覺，心情無比喜悅。這是他參加南昌起義后，艱苦轉戰近九個月的結果。
