由于杰斐遜的竭力推薦和麥迪遜本人作出的貢獻，他在1780年作為弗吉尼亞的代表出席大陸會議。這時期，他主張增加稅收以增加國家的收入，爭取使喬治敦成為國家的首都。在外交上，他贊同分化歐洲列強，孤立打擊英國的策略，但已流露出孤立主義的情緒。雖然他與杰斐遜私交甚篤，并贊同杰斐遜的基本原則，但他反對松散的邦聯(lián)制，主張加強中央的權(quán)力。他初到大陸會議時年僅二十九歲，未露頭角。但兩年之后，已經(jīng)成為一位享譽全國的政治家和法學(xué)專家，且學(xué)識淵博，辯才出眾。

1782年，三十一歲的麥迪遜陷入了初戀的喜悅之中，他的心上人是15歲的基蒂·弗洛伊德。兩人深深地墮入了情網(wǎng)，難分難舍，并確定了結(jié)婚的日期。在給杰斐遜的信中，麥迪遜描繪了自己的歡樂和對幸福生活的憧憬，甚至為此他準備放棄大陸會議的工作。但第二年，基蒂突然解除了婚約，與別人結(jié)為眷屬，這件事使麥迪遜的情緒一度跌落到最低谷。

1783年，麥迪遜重返弗吉尼亞議會，為了忘卻婚姻問題和官場失意帶來的煩惱，他全身心地投入了老朋友杰斐遜的民主改革事業(yè)。經(jīng)過他的努力，弗吉尼亞《宗教自由法案》終于完成了立法程序。在議會中，他領(lǐng)導(dǎo)了反對在弗吉尼亞重建主教派教會的斗爭，挫敗了某些議員提出的威脅政教分離思想的議案。他還極力促進了本州資源的開發(fā)工作和對外貿(mào)易。他在議會中還多次呼吁不得對異端定罪和對公職人員進行宗教考核，并提出了相關(guān)法案，經(jīng)議會審議后通過。這時期他兼任商務(wù)委員會主席，致力于提高該州各港口的等級，以加強同外界的競爭。

憲法之父 在州議會期間，麥迪遜對松散的邦聯(lián)體制的可靠性的懷疑進一步加大，仍堅持建立強大的聯(lián)邦的主張，對此，他明確指出，脆弱的邦聯(lián)制和過度的民主使國家難以應(yīng)付來自國內(nèi)外的巨大壓力。麥迪遜的言論和觀點得到了華盛頓的贊賞，極端的聯(lián)邦主義者甚至也把他視為同路人。

1786年，麥迪遜參加了安納波利斯會議。此會議是為討論州際貿(mào)易問題而召開的，但會議的重要之處卻在于：它決定在次年召開一個討論修改《邦聯(lián)條例》的諸州會議。麥迪遜是推動會議做出這一決定的關(guān)鍵人物之一。

安納波利斯會議結(jié)束后，麥迪遜轉(zhuǎn)道來到弗農(nóng)山莊，向華盛頓匯報了會議的情況，勸說他接受自己的主張，并參加制憲會議。

1787年于費城召開制憲會議，歷時三個月，麥迪遜是帶著一套宏大的制憲方案前來與會的，在這個被杰斐遜稱為 半人半神的大聚會 中扮演了舉足輕重的角色，從而成了憲法的總設(shè)計師之一。他草擬的 弗吉尼亞方案 成為會議上制定的新憲法的理論依據(jù)。他為建立一個聯(lián)邦制的國家而慷慨陳詞，起草了大部分憲法條文。他主張加強中央的權(quán)力，在聯(lián)邦政府中實行分權(quán)制衡原則，建立具有民意基礎(chǔ)的兩院制國會體系。但他不同意漢密爾頓等極端聯(lián)邦派的主張，而是主張建立一個能在中央與各州之間層層分權(quán)的聯(lián)邦體系，確立司法部門的獨立地位，并提出應(yīng)由選民直接選舉產(chǎn)生眾議員。會議期間，麥迪遜對會議過程做了詳細而準確的記錄，為后人了解這次秘密會議提供了第一手資料。《聯(lián)邦憲法》于9月17日正式簽署公布。由于麥迪遜的思想主張和社會活動對《聯(lián)邦憲法》的制定發(fā)生了巨大的影響，而且他還是制憲會議的主要記錄者，所以許多史學(xué)家稱他為美國的 憲法之父 。

為了使新憲法在弗吉尼亞得到批準，應(yīng)華盛頓的強烈要求，麥迪遜又參與了爭取新憲法得到批準的運動，因為華盛頓看到，在弗吉尼亞，反對憲法的勢力相當(dāng)強大。通過競選，麥迪遜進入了弗吉尼亞州的批準會議，他不僅成了贊成批準一派的領(lǐng)袖，而且指導(dǎo)了會議辯論。麥迪遜有力地為聯(lián)邦制和分權(quán)原則作辯護，他一再強調(diào)：新憲法將給國家?guī)戆踩?、穩(wěn)定和繁榮。經(jīng)過極其激烈的斗爭，憲法在弗吉尼亞得以批準。