1924年1月，國民黨改組后，孫中山在蘇聯和中國共產黨的幫助下，籌建了中國國民黨陸軍軍官學校，并模仿蘇聯模式，設置黨代表制度。同年5月9日，孫中山任命廖仲愷為中國國民黨陸軍軍官學校的國民黨代表。11月11日，孫中山發布了《任命廖仲愷等職務令》，并且明確指出：“所有黨軍及其各軍官學校講武堂，以廖仲愷為黨代表。”也就是當時所稱的“各軍黨代表”。1925年8月20日，廖仲愷被刺，在送往醫院救治的途中去世，國民政府立即進行人事調整，由汪精衛、許崇智、蔣介石組成特別委員會，主持政治、軍事、警察等事務。古應芬暫時代理廖仲愷財政部長一職。

1926年2月23日，在國民黨第二屆中央執行委員會常務委員會第七次會議上，討論并通過了政治委員會提出的《軍事委員會政治訓練部組織大綱》。大綱中第3條規定：“軍事委員會主席同時為國民革命軍總黨代表，指導政治訓練部處理日常工作。”2月26日，在中央執行委員會常務委員會第八次會議上，通過了由陳公博提出的請求國民革命軍總黨代表改任為汪精衛的提案，自廖仲愷被刺身亡后，汪精衛為“總黨代表”，其他人員均為副黨代表。

國民黨第二次全國代表大會后，相繼任命了各軍黨代表，并明確指出都是副黨代表。1926年2月1日，汪精衛在國民黨第二屆中央執行委員會第一次會議上提出：“請任命周恩來同志為第一軍副黨代表，李富春同志為第二軍副黨代表，朱克靖同志為第三軍副黨代表提案。”汪精衛在說明設置副黨代表的原因時指出：“各軍本無副黨代表之規定，現因在各軍中不易覓任與軍長資格相等之人才，而事實上黨代表不在時，又無人負責，故擬暫設副黨代表，于黨代表不在時可代行職權，又對黨代表負責任。”在中常委第十二次會議記錄上，有“第二軍黨代表汪精衛、副黨代表李富春報告啟用黨代表印信，請備案”的記載。這就清楚地說明，當時各軍的黨代表都是汪精衛，各軍內部均為副黨代表。