就在這一年，二十三歲的倫道夫成為弗吉尼亞州議會的議員。此時期的倫道夫朝氣蓬勃，充滿活力和激情，是政壇上一顆引人注目的新星。此時，正是杰出的民主主義思想家托馬斯·杰斐遜致力于弗吉尼亞州民主改革的時代，倫道夫的思想不如杰斐遜那么激進，但在一些重大問題上的觀點是相同的，特別是在修改該州法律

的工作中，倫道夫也作出了貢獻。為了支援獨立戰(zhàn)爭，倫道夫忙于征兵、籌款，組建地方民兵，組織軍需生產(chǎn)，發(fā)展地方經(jīng)濟。他還在修改法律的工作中展示了杰出的才華。

此時期，倫道夫的事業(yè)真可謂一帆風順，1779年，他被選為大陸會議代表，此時距他參加革命僅有四年，剛滿二十六周歲。

此間，倫道夫是大陸會議中著名的活躍分子。他支持會議提出的各項革命法令，協(xié)調(diào)各地積極支援獨立戰(zhàn)爭，贊同大陸會議派代表爭取歐洲各國對美國革命事業(yè)的支持。由于他十分精通外交事務，當時的主要領導人經(jīng)常就一些重大的國際問題向他咨詢。駐會期間，倫道夫結(jié)識了一大批當時的政壇精英，為今后在政治上繼續(xù)發(fā)展奠定了雄厚的基礎。

1786年，倫道夫代表弗吉尼亞出席了安納波利斯會議。此會議名為討論州際貿(mào)易問題，但其主旨卻在于修改《邦聯(lián)條例》，在亞歷山大·漢密爾頓和詹姆斯·麥迪遜的積極游說下，會議決定再召開一個關于制憲的諸州會議。倫道夫?qū)@一行動表示支持。

同年，倫道夫被選為弗吉尼亞州州長，為處理州務而日夜操勞。他行事穩(wěn)健，善于協(xié)調(diào)各種利益和矛盾，因此任州長期間未發(fā)生什么大的風波。其時，制憲運動正在各地蓬勃發(fā)展，倫道夫是弗吉尼亞制憲運動的積極推動者。當?shù)弥獑讨巍とA盛頓對是否參加制憲會議抱猶豫態(tài)度時，倫道夫與麥迪遜共同前去做工作。3月28日，華盛頓寫信給倫道夫，表示接受他的建議。后來，華盛頓在制憲會議上發(fā)揮了不可替代的作用，倫道夫?qū)Υ斯Σ豢蓻]。

在著名的1787年制憲會議上，倫道夫作出了較大的貢獻。5月29日，他向會議宣讀了 弗吉尼亞方案 ，成為會議討論的基礎。其主要內(nèi)容是：設立兩院制議會，議員按人口比例向各州分配名額，聯(lián)邦行政部門由議會選出等。該方案雖然代表了大州的利益，但包含了不少真知灼見，對《聯(lián)邦憲法》的制定工作產(chǎn)生了巨大影響。在隨后開展的批準新憲法的運動中，他與杰斐遜的觀點同出一轍，要求對憲法的內(nèi)容加以充實完善，即把一些基本的民主權(quán)利列入憲法。此后，倫道夫積極參與了這場運動。

父親病故后，倫道夫繼承了一筆相當可觀的家族遺產(chǎn)（包括田產(chǎn)和奴隸），但同時，父親也給他留下了一筆不小的債務。為了還上這筆債務，他花費了很多年的時間，但由于他十分珍視祖上傳下來的產(chǎn)業(yè)，因此拒絕了讓他出賣遺產(chǎn)的所有建議。

議員、司法部長倫道夫是律師出身，因此對法制建設十分關注，主張建立一個民主和法治的共和國。當他發(fā)現(xiàn)州長是個 忙碌而平庸 的職位，不能真正實現(xiàn)他的主張時，便辭去這一職務，通過激烈的競選進入了州議會，以期在立法工作中實現(xiàn)他的政治理想。他的這一舉動令當時的許多政界人士感到意外。

但倫道夫在弗吉尼亞議會工作的時間并不長，由于他在法律事務上表現(xiàn)出的熱情和才華，加上與總統(tǒng)的私人關系，1789年9月被任命為聯(lián)邦司法部長。作為第一任司法部長，他在美國的法制建設方面做了大量奠基性的工作。例如，他主持了創(chuàng)建美國司法制度的工作，努力通過立法途徑保護各項自由權(quán)利，幫助總統(tǒng)起草了許多重要文件，他還與一些政治家一起抵制國家銀行。

國務卿1793年12月31日，托馬斯·杰斐遜由于厭惡漢密爾頓的政治專橫而辭職，華盛頓斟酌再三，將國務卿的重任委托給倫道夫。此時，美國政壇上黨爭驟起，倫道夫雖然觀點與杰斐遜相近，但試圖左右逢源，結(jié)果卻遭到了兩派的詆毀和詰難，在夾縫中處境尷尬，任職期間政績平平。