由于他出色的組織才能，很快他就受到了重用，1930年11月，葉若夫被任命為中央組織分配處處長，也就是說，他開始管理黨的所有干部。這個最重要的處的處長直接受斯大林的領(lǐng)導(dǎo)。葉若夫這個人可怕的地方在于他本來是一個脾氣暴躁的人，但是當(dāng)他變?yōu)橹醒虢M織分配處處長之后，突然變得和藹可親起來，令人喜愛。這也難怪有人后來稱他為“嗜血侏儒”了，這要比“笑面虎”還要冷酷和恐怖十倍。誰也不知道這個“人人都以為他仁慈溫和的人”心里到底在盤算著什么。

葉若夫在1933年被任命為中央清黨委員會主席，之后當(dāng)選為黨的監(jiān)察委員會副主席，1935年2月1日當(dāng)選為中央書記。他后來取代卡岡諾維奇當(dāng)了黨的監(jiān)察委員會主席。從此他受到了斯大林的極大重視。他所表現(xiàn)出來的勤勉和忠誠贏得了斯大林以及其他很多官員的高度評價。在他人看來，葉若夫幾乎“把自己90%的時間”都用于內(nèi)務(wù)人民委員部的工作。

1936年9月26日他又被任命為內(nèi)務(wù)人民委員。1937年在莫斯科的一次聯(lián)共會議上，斯大林作了題為《關(guān)于黨的工作中的缺點和肅清托洛茨基主義兩面派及其他兩面派的措施》的報告。他稱托洛茨基分子是“一群執(zhí)行外國情報機關(guān)下達(dá)的任務(wù)的毫無廉恥和不擇手段的危害分子、破壞分子、間諜和兇手”。而葉若夫則附和著斯大林，并且用他特有的陰陽怪調(diào)的聲音暗示有一些同志在掩護某些破壞分子和托洛茨基分子。說到動情處，他會大力地向前伸出雙手，并用一種特別的聲調(diào)強調(diào)：“你們別看我個子矮，可是我有一雙斯大林式的強有力的手?！彼诎凳緞e人，他的無所不能。他那種對每個人都懷疑的眼神，讓當(dāng)時開會的不少人膽戰(zhàn)心驚。他甚至直接威脅說，不管是誰，只要敢阻撓打擊人民公敵這項工作，那就要把這些人槍斃。

這次會議之后，葉若夫開始了他的大清洗。他從國家安全機關(guān)清除掉5000多人，把大量新人調(diào)入國家安全機關(guān)，而這些新人中真正受過高等教育的寥寥無幾。誰也不知道這到底是一個什么樣子的組合，不過這些烏合之眾正在影響著一國政治走向。

1937年7月，所有黨的委員會、內(nèi)務(wù)人民委員部機關(guān)和檢察院都收到了由斯大林、葉若夫和維辛斯基簽署的《關(guān)于清除敵對階級的殘余分子——過去的富農(nóng)、反蘇積極分子和刑事犯罪分子的行動的搞法與規(guī)?！愤@一指示。

隨后葉若夫又簽發(fā)了關(guān)于在1937年8月5日開始行動的第00447號命令。各邊疆區(qū)和州都領(lǐng)到了具體任務(wù)——應(yīng)該逮捕多少人。被捕者被分成了兩類。第一類人馬上就被槍決了，根本不用走法律程序，第二類人被判刑8·10年。