1928年6月2日，奉系軍閥頭目張作霖經(jīng)不住蔣介石、馮玉祥、閻錫山和李宗仁四支“北伐”軍的攻擊，發(fā)表出關(guān)通電，拱手交出北京政權(quán)。從6日開始，蔣、馮、閻、李四路大軍分別進駐京津，15日，南京國民政府發(fā)布“北伐”成功，“統(tǒng)一告成”宣言。但各派新軍閥利盡交惡，很快又互成仇敵，蔣介石的“統(tǒng)一”不過曇花一現(xiàn)。在這種形勢下，多疑的蔣介石還不放心把第一路軍的全部資本交給何應(yīng)欽經(jīng)營，并未履行諾言，依然將何應(yīng)欽束之高閣。對何應(yīng)欽來說，對上帝他只需用虔誠的懺悔便可求得寬恕，而對主宰他命運的蔣介石，必須用切實的行動才能贖罪。他接受了蔣介石給他的“整編”軍隊的重任，擬具了《軍事善后案》和《軍事整理案》，以增強蔣的實力，削弱馮、閻、李的兵權(quán)，希望求得蔣的重新信用。

1928年6月28日，在上海召開的全國經(jīng)濟會議上，宋子文、吳稚暉等公開提出《請政府克期裁兵從事建設(shè)案》，通電裁兵，并立即停止招收新兵。蔣介石也隨之開動宣傳機器，刮起了一陣“裁兵”的旋風(fēng)?！安帽钡娘L(fēng)源來自蔣介石，而興風(fēng)狂嘯者，何應(yīng)欽是最理想的人選。首先，他有戰(zhàn)功，有聲望，曾經(jīng)統(tǒng)率過黃埔嫡系及當(dāng)時的第一集團軍的前身；而今，他孑然一身，除警衛(wèi)之外，無一兵一卒，正好以超然的姿態(tài)來裁抑別人。其次，何應(yīng)欽雖是蔣介石的嫡系，但與云、貴、川、桂等地方實力派有淵源關(guān)系；他不是南京國民政府的核心——江浙集團中人，由他出面，可避江浙集團兼并異己之嫌。當(dāng)然，以何應(yīng)欽主持“裁軍”，既可考驗他對蔣介石的忠誠，又可離間他與馮、閻、李等的關(guān)系。因此，何應(yīng)欽主持“國軍編遣”工作，人雖仍在冷落之中，但又蘊涵著蔣的期許與信任。

何應(yīng)欽對待裁軍強兵、撙節(jié)經(jīng)費之事，倒是極其認真。當(dāng)時的客觀情勢，兵多且濫，民不堪負擔(dān)，國家財力也難承受，裁軍如能真正實現(xiàn)，確也是利國福民之事。但是，不獨蔣介石，當(dāng)時任何一個統(tǒng)兵大員都不愿因裁軍而有損自己的實力地位。因此，無論何應(yīng)欽真心實意還是三心二意，都只能按蔣介石的意志，把裁軍變成剪除異己的手段。這也決定了裁軍計劃的失敗及假公濟私的性質(zhì)。

在裁軍問題上，由于何應(yīng)欽一邊倒，堅決貫徹了蔣的裁別人、留自己，多裁別人、少裁自己的意圖，以減弱各地方實力派與蔣抗衡的資本，何、蔣關(guān)系的溫度開始回升。10月1日，何應(yīng)欽被任命為兼浙江省政府主席。10日，又被任命為16個國民政府委員之一，仍負責(zé)“國軍編遣”。當(dāng)時，全國既已“統(tǒng)一”，各軍名稱均為國民革命軍，亟需統(tǒng)一訓(xùn)練，使之成為蔣軍。10月18日，蔣介石宣布軍事委員會結(jié)束，成立軍政部、參謀部和訓(xùn)練總監(jiān)部，以何應(yīng)欽為訓(xùn)練總監(jiān)部總監(jiān)，不再兼浙江省政府主席。

1929年1月1日，經(jīng)過何應(yīng)欽苦心籌備，“國軍編遣會議”在南京召開。由于與會者各逞私心，開了26天的馬拉松式的編遣會議只有相互指摘和吵嚷，不了了之。

由于編遣方案明顯不公，引發(fā)了蔣桂戰(zhàn)爭。2月，桂系的葉琪、夏威率兵襲擊長沙，逐走湖南省政府主席魯滌平，制造了“湘案”。蔣以此作向桂系開刀的理由，事前策反李明瑞陣前倒戈，瓦解駐武漢的李宗仁部；囚禁李濟深，撤散粵桂聯(lián)盟；扶持唐生智，打擊白崇禧。何應(yīng)欽替蔣出面，拉攏馮玉祥出兵六個師，許諾打敗桂系后，給馮玉祥行政院長和兩湖地盤。何又利用云、貴、川的地方實力派亟思擴張的心理，要川軍出兵攻鄂，滇、黔軍出兵攻桂，陷桂系于四面楚歌之中。3月26日，國民政府下令攻桂，蔣介石任總司令，何應(yīng)欽為總參謀長，給了何一個洗刷前衍的機會。在28日召開的國民黨三全大會上，何被選為中央執(zhí)行委員，并直接指揮蔣軍向武漢的桂系主力進攻。經(jīng)過一番戰(zhàn)斗，到4月5日，胡宗鐸、陶鈞、夏威三員桂系戰(zhàn)將聯(lián)名通電下野，所部由何應(yīng)欽委人改編。