為了適應領導大規模經濟建設和社會主義改造的新形勢、新要求，在準備和召開一屆全國人大一次會議期間，黨中央經過慎重研究，對黨和國家的領導制度進行了若干調整。

首先是調整黨政領導的組織層次。1954年4月，中共中央政治局擴大會議決定撤銷大區一級黨政機構。6月，中央人民政府下達決定，撤銷了東北、華東、中南、西北、西南五個大區行政委員會。這項調整，結束了新中國成立初期由大區一級行政機構代表中央領導和監督地方政府的過渡狀態。在進行有計劃經濟建設的新條件下，使中央直接領導省市，直接了解省市的情況，有利于提高工作效率，克服官僚主義，同時由此可以抽調出大批負責干部以加強中央的工作，以及滿足各經濟部門、廠礦企業對管理干部的迫切需要。大區行政機構的撤銷，還有利于加強省、市一級的領導能力和工作責任，提高地方政府的行政管理水平。與此同時，中共中央的派出機構，即東北、華北、華東、中南、西南、西北六個中央局即行撤銷。隨之撤銷的還有山東分局、華南分局、新疆分局和內蒙古分局。1954年11月，中共中央政治局根據需要，決定成立上海局，重點加強對地處華東沿海的上海市及江蘇、浙江兩省工作的領導。

在調整中央和地方之間組織層次的基礎上，1954年9月，結合召開全國人民代表大會和醞釀新的國家機構組成方案，黨和國家的領導制度又作了進一步調整。

在黨中央的領導制度方面，為了適應過渡時期黨中央日益繁重的工作需要，1954年4月，中央政治局擴大會議任命鄧小平為中央秘書長。9月，中央政治局決定在中央書記處下設立一個經常的秘書長工作會議，負責協助中央政治局和中央書記處研究和處理有關方面的日常事務。為便于處理多方面的日常事務，根據中央秘書長會議的建議，1955年初成立中央第一、第二、第三、第四辦公室，作為中央政治局和中央書記處的工作機構，分別負責政策性綜合、地方工作、工業工作、群眾團體工作。第二、第三辦公室還設若干巡視員，經常到各地和各工礦企業檢查工作，并加強對它們的監督。從職能來看，中央秘書長工作會議是過渡到中共八大以后實行的中央書記處會議工作制度的一種形式。

在國家行政體制方面，第一屆全國人大一次會議確立了國務院即中央人民政府的一級政府體制，從而改變了原來中央人民政府下轄政務院的兩級政府的過渡狀態。國務院作為最高國家行政機關，統一領導全國地方各級國家行政機關的工作。地方各級人民政府作為國務院統一領導下的國家行政機關，對本級人民代表大會和上級國家行政機關負責并報告工作；地方各級人民政府所屬各工作部門，受該級人民政府的統一領導，并受上級人民政府(直至國務院)主管部門領導。建立這種垂直領導與雙重領導相結合的行政領導關系，總的有利于加強國家行政工作的集中統一領導，同時比過去減少了行政層次，提高了行政效率。

根據憲法和國務院組織法的規定，國務院全體會議由總理、副總理、各部部長、各委員會主任和秘書長組成，實行由總理主持國務院全體會議和常務會議的工作制度，負責政府方面的日常領導工作；凡屬國家的日常事務，均由國務院會議討論和決定，并下達指示和命令，保證其執行。政府工作的主要方針、主要政策和重大事項，須提到黨中央政治局(或書記處)討論和決定。國家主席在認為有必要的時候，有權召集最高國務會議，并將該會議對于國家重大事務的意見提交全國人大及其常委會、國務院或其他有關部門討論并作出決定。

在軍事領導制度方面，一屆全國人大一次會議新組建的中央國家機構中，不再設立中央人民政府人民革命軍事委員會，決定設立國防委員會和國防部。中華人民共和國主席毛澤東任國防委員會主席，彭德懷為國防部部長。1954年9月28日，中央政治局決定在中央政治局和書記處下成立中央軍事委員會，擔負整個軍事工作的領導。這項設制，體現了自中國人民解放軍建軍以來中國共產黨對人民軍隊實行絕對領導的原則。