三灣改編后，連以上單位開始設立了黨代表。這時，羅榮桓擔任工農革命軍第一師第一團特務連黨代表，從此，黨代表的身份便一直伴隨著他的戰斗歷程。

10月中旬，在湖南酃縣水口的葉家祠堂內，毛澤東親自主持了第一批新入黨宣誓儀式。他特意通知全團連以上黨代表都來參加，羅榮桓自然也在應邀之列。雖然是一位老了，但這次的儀式對羅榮桓的觸動卻相當大，參加完儀式后，他想了很多，也做了很多，工作走在了其他各連的前面。

為了了解情況，物色和培養發展對象，羅榮桓花更多的時間和戰士們泡在一起，幫戰士們背槍、扛鋪蓋卷、拉家常，他很快熟悉了全連每一個戰士的經歷、家庭和思想狀況。終于，有6名戰士被列為入黨對象。

10月23日，工農革命軍進駐遂川縣大汾鎮。在這里，羅榮桓邁出了關鍵的第一步。這天晚上，在一個竹樓上，羅榮桓主持了特務連6名戰士新的入黨宣誓儀式。

竹樓的中央放了一張粗糙而陳舊的方桌，桌上鋪著一張鮮艷的紅紙，紅紙一直垂到了地上，好像是一幅桌圍。在昏暗的油燈下，紅紙上“C.C.P.”三個英文字母和六句入黨誓詞熠熠生輝。毛澤東也親自參加了這次入黨儀式。在僻靜的山溝里，毛澤東用他那粗獷而堅定的嗓音，領著大家向黨宣誓：“犧牲個人，嚴守秘密，階級斗爭，努力革命，服從黨紀，永不叛黨！”

毛澤東與羅榮桓等在水口、大汾發展的這批成了紅軍中最早的一批士兵，有了這些堅實的基礎工作，有了這些新鮮的血液，“支部建在連上”便開始真正落到實處了。

1927年12月，羅榮桓調到三營九連擔任黨代表工作。這時的他，已不再是秋收起義時對黨代表工作陌生的羅榮桓了，短短的幾個月，他對這項工作的認識和開展，有了質的變化。

無規矩，不能成方圓。羅榮桓給自己定下了一條規矩：凡是要求同志們做到的，自己先做到，以自己的模范行動作為無聲的命令。打仗沖鋒時，他與連長總是沖在最前面；退卻時，他在最后作掩護；行軍時，他肩上的東西最多；開飯時，他站在隊伍的最后頭；自己病了，咬咬牙堅持工作；戰士病了，他一天幾次噓寒問暖。

羅榮桓終于找到了做黨代表工作最寶貴的一條經驗，那就是：身體力行，以身作則，嚴以律已，寬以待人。

當時由于紅軍的成份比較復雜，隊伍中存在著嚴重的自由主義。九連有幾個調皮的戰士，總愛給別人起綽號，特別是喜歡給起綽號，給羅榮桓起的綽號是“大腦殼”。連長陳正春是個勇敢善戰的英雄，可是對政治工作他卻少了一份耐心，一聽到戰士給起綽號，他就沉不住氣，認為這是損害的尊嚴和威信，于是，把幾個調皮的戰士找來訓了一通。

羅榮桓是個胸懷坦蕩的人，大家都說他是“肚子里能撐船”。他對起綽號這件事看法不一樣，他說：“我不贊成起綽號，可也不能認為叫個綽號就會影響到的尊嚴和威信。”他借這個機會對們說：“作為黨代表，固然要有威信才能做好工作?？梢尨蠹曳?，關鍵在于發揮自己的先鋒模范作用，沒有這一點，威信就樹不起來?！?/span>

在九連的3個月，羅榮桓樸實的作風和細致的工作，贏得了全連官兵的愛戴。九連的工作被整治得生龍活虎而又扎扎實實。攻茶陵、打遂川、占寧岡……，九連像一把尖刀，所向無敵。

不久，羅榮桓升任三十一團三營黨代表。1928年8月間，毛澤東帶領三營去湘南接應二十八團返回井岡山，夜間通過桂東縣時，遭到強敵吳尚部第八軍兩個團的襲擊。部隊被打散了，大家都很著急，第二天清晨集合時，發現只少了一個擔架兵。誰知當部隊回到井岡山時，這個擔架兵早已回來了。三營的這次遠征湘南，行程數百里，打了幾十仗，卻沒有一個開小差的。三營成為拖不垮爛、打不散的鐵軍，為紅軍樹立了好的榜樣。

當年的官兵平等使紅軍成為一支鐵軍，回望人民軍隊成長史，這是一條最基本的經驗。我們要實現宏偉的奮斗目標，就是要靠廣大特別是領導帶領群眾一起干，把群眾的力量和智慧凝聚到偉大的事業當中。