聯(lián)邦政府建立后，馬歇爾的觀點(diǎn)與聯(lián)邦黨人十分相近，支持亞歷山大·漢密爾頓的一攬子經(jīng)濟(jì)計(jì)劃。但由于個(gè)人財(cái)務(wù)等問(wèn)題，他沒(méi)有接受政府對(duì)他的一些重要任命。約翰·亞當(dāng)斯總統(tǒng)任內(nèi)，美法矛盾尖銳，亞當(dāng)斯總統(tǒng)派馬歇爾參加一個(gè)赴法使團(tuán)，試圖解決兩國(guó)分歧。馬歇爾接受了任命。但督政府外交部長(zhǎng)塔列朗沒(méi)有與使團(tuán)見(jiàn)面，而是派來(lái)幾個(gè)說(shuō)客羞辱性地誘使美國(guó)人向法國(guó)行賄，而后才能進(jìn)行談判。美國(guó)人拒絕了（但也有史學(xué)家通過(guò)研究認(rèn)為，如果當(dāng)時(shí)法國(guó)人同意談判期間停止在海上捕獲美國(guó)船只，美國(guó)人是同意行賄的）。馬歇爾以高傲的姿態(tài)回絕了法國(guó)人的索賄要求，然后憤而離境，其正義言行得到了國(guó)人的交口稱(chēng)贊。

1799年，在帕特里克·亨利的大力支持下，馬歇爾當(dāng)選為國(guó)會(huì)議員。在國(guó)會(huì)中，他是亞當(dāng)斯總統(tǒng)最堅(jiān)定的支持者之一，雖然他此時(shí)的某些主張與聯(lián)邦黨人不盡相同。

出任國(guó)務(wù)卿1800年6月，在友人的再三勸說(shuō)之下，馬歇爾終于接受了亞當(dāng)斯總統(tǒng)的任命，出任美國(guó)國(guó)務(wù)卿一職。此時(shí)，美法關(guān)系不斷惡化，法國(guó)私掠船不斷在公海上掠奪美國(guó)商船，以漢密爾頓為首的新英格蘭聯(lián)邦黨人主張對(duì)法宣戰(zhàn)。馬歇爾雖然具有親英傾向，但支持亞當(dāng)斯總統(tǒng)繼續(xù)執(zhí)行中立政策，設(shè)法通過(guò)外交途徑解決爭(zhēng)端。1800年9月，美國(guó)派出新的外交使團(tuán)赴法談判，簽訂了和約，宣布廢除1778年美法同盟條約，重申公海自由的原則，從而結(jié)束了一場(chǎng)一觸即發(fā)的戰(zhàn)爭(zhēng)危機(jī)。這一條約是美國(guó)孤立主義外交的體現(xiàn)，使美國(guó)遠(yuǎn)離了歐洲的紛爭(zhēng)，但它卻造成了聯(lián)邦黨內(nèi)部嚴(yán)重的分裂。馬歇爾還促成了與西班牙等歐洲國(guó)家的談判，以穩(wěn)定美國(guó)的對(duì)外貿(mào)易。這一條約也表明了法國(guó)對(duì)美國(guó)政策的轉(zhuǎn)變，即不再試圖控制美國(guó)，或利用美國(guó)對(duì)抗英國(guó)。

最高法院 掌門(mén)人 1801年初，馬歇爾受命出任聯(lián)邦最高法院首席法官。亞當(dāng)斯之所以任命馬歇爾主要基于兩點(diǎn)考慮：第一，馬歇爾是一位堅(jiān)定的聯(lián)邦主義者，具有很強(qiáng)的原則性；第二，馬歇爾是弗吉尼亞人，最高法院中應(yīng)該有這個(gè)重要的州的代表。事實(shí)證明，這是亞當(dāng)斯總統(tǒng)所做出的最重要的決策之一，馬歇爾對(duì)最高法院產(chǎn)生的影響是極其深遠(yuǎn)的。馬歇爾扮演了最高法院 掌門(mén)人 的角色，以維護(hù)司法權(quán)的地位和尊嚴(yán)為己任。正是在馬歇爾任內(nèi)，最高法院確立了眾多司法慣例，司法權(quán)的獨(dú)立地位得以確立。

亞當(dāng)斯總統(tǒng)卸任前大力擴(kuò)充下級(jí)聯(lián)邦司法機(jī)構(gòu)，把許多聯(lián)邦黨人塞入政府部門(mén)。杰斐遜政府力圖通過(guò)制定《撤銷(xiāo)法》撤銷(xiāo)這些機(jī)構(gòu)。馬歇爾認(rèn)為這是對(duì)司法權(quán)的挑戰(zhàn)，于是他便利用 馬伯里訴麥迪遜案 來(lái)證明法院的權(quán)威。該案的內(nèi)容是：被提名擔(dān)任已經(jīng)取消了法院職務(wù)的聯(lián)邦黨人要求法院下令，迫使國(guó)務(wù)卿麥迪遜頒布委任狀。最高法院的裁決是：馬伯里有權(quán)得到他的補(bǔ)償，但判給他補(bǔ)償不在最高法院的職權(quán)范圍內(nèi)。該判決使最高法院獲得了極為重要的司法復(fù)審權(quán)。馬歇爾強(qiáng)調(diào)法律對(duì)契約和財(cái)產(chǎn)的保護(hù)，從而限制了政府對(duì)個(gè)人經(jīng)濟(jì)事務(wù)的介入。馬歇爾還使最高法院獲得了判定各項(xiàng)法律是否違憲和審理下級(jí)法院的決議等重要權(quán)力。他所堅(jiān)持的聯(lián)邦權(quán)力高于州權(quán)的思想對(duì)后世具有深遠(yuǎn)的影響力。在杰斐遜總統(tǒng)第2任期間，伯爾叛國(guó)事件敗露。在審判伯爾時(shí)，馬歇爾主張對(duì)憲法關(guān)于叛國(guó)罪的定義從嚴(yán)進(jìn)行解釋?zhuān)⒂H任審判長(zhǎng)，最終以 證據(jù)不足 為由使伯爾無(wú)罪開(kāi)釋。這是對(duì)杰斐遜政府的一次沉重打擊。

由于馬歇爾堅(jiān)持他一貫主張的原則，敢于與聯(lián)邦政府公開(kāi)抗?fàn)?，使他成為政府反?duì)派人士心目中的英雄。馬歇爾在最高法院任職一直到他離開(kāi)人世，他與行政權(quán)之間，特別是與杰斐遜、麥迪遜等總統(tǒng)的相互斗爭(zhēng)始終在持續(xù)著，并不時(shí)摩擦出火花。但有學(xué)者認(rèn)為：正是這一矛盾斗爭(zhēng)使得美國(guó)的政治體制日益充實(shí)完善，在充分發(fā)揮聯(lián)邦政府職能作用的同時(shí)，有力地發(fā)揮司法權(quán)的限制和保護(hù)作用。

馬歇爾的活動(dòng)范圍不僅僅限于司法領(lǐng)域，他在其他領(lǐng)域亦有所建樹(shù)。他編寫(xiě)出版了《喬治·華盛頓生平》一書(shū)，在當(dāng)時(shí)產(chǎn)生了轟動(dòng)，但也有人指責(zé)他以歌頌華盛頓為名，宣揚(yáng)聯(lián)邦黨人的觀點(diǎn)。

1835年7月6日，七十九歲高齡的約翰·馬歇爾在費(fèi)城病逝 據(jù)說(shuō)自由鐘恰在此時(shí)破裂，好像在為一位重量級(jí)人物的去世表示哀悼。