1809年，詹姆斯·麥迪遜出任總統(tǒng)，他沒有忘記小亞當斯對共和黨人的支持和為此付出的代價，立即派他出使俄國。這一重要任命重新激發(fā)了小亞當斯的政治熱情和雄心，他立即帶上妻子和小兒子匆匆踏上了旅途。小亞當斯是首位為俄國正式接納的美國公使。此時，小亞當斯已經(jīng)是一位成熟的政治家和外交官了，實際上，歐洲所發(fā)生的重大事件大都是由他傳至華盛頓的，由于政府很重視他的意見，因此對政府制定外交政策產(chǎn)生了很大影響。他與沙皇亞歷山大一世建立起了特殊的友誼，經(jīng)常與沙皇聚會，聊天并充分利用這一關系為美國謀利。在他的游說下，俄國允許美國商船自由地利用俄國的港口，美俄貿(mào)易也得到了較快的發(fā)展。通過俄國，美國還改善了與北歐國家的關系。

1812年俄法戰(zhàn)爭爆發(fā)后，小亞當斯與俄國人共享遭受入侵和最后勝利的憂樂，并把這段曲折的歷史寫成精彩的報告，傳回國內(nèi)。此時，美國第二次獨立戰(zhàn)爭爆發(fā)，他認為戰(zhàn)爭是一件不應該發(fā)生的事情，但或許是對美利堅民族的一次考驗。

1813年，小亞當斯參與并領導了與英國進行的關于結束第二次獨立戰(zhàn)爭的談判。談判進行得十分艱苦，一直持續(xù)到1814年圣誕前夕，雙方才達成協(xié)議，簽署《根特條約》，最終結束了戰(zhàn)爭。

1815年時他出公差到巴黎，正巧碰上了拿破侖從囚禁地厄爾巴島凱旋回歸，重建他的帝國。小亞當斯懷著驚嘆和復雜的心情目睹了這一歷史奇觀。在出使俄國期間，他還被任命為美國最高法院法官，但沒有赴職。

1815年，麥迪遜總統(tǒng)任命小亞當斯為駐英公使，他又回到了年輕時與父親住過的倫敦。小亞當斯的使命是促進美英雙方貿(mào)易的發(fā)展和關系的正?；?，為此他付出了巨大的努力，與英國簽訂了幾項重要的商務協(xié)定。

國務卿 1817年，門羅就任美國總統(tǒng)，鑒于小亞當斯豐富的外交經(jīng)驗，門羅任命他為美國國務卿。小亞當斯一直任職至門羅總統(tǒng)卸任，他的竭誠努力是門羅政府在外交上取得的一系列成果的保障。他繼續(xù)執(zhí)行其前任的歐洲政策，為美國在美洲領導地位的形成起了重要作用。他是一位更為強硬的民族主義者，主張把美國的領土擴張至整個北美洲，并使美國成為全世界受壓迫者的避難所。

1818年，經(jīng)過談判，美國與英國就美國與加拿大沿海水域的漁業(yè)資源問題和雙方的陸路邊界問題達成了協(xié)議，該協(xié)議為美國爭得了不少利益，并穩(wěn)定了美加關系。

1818年，佛羅里達危機爆發(fā)，美國政府派強悍的安德魯·杰克遜入侵該地區(qū)。杰克遜率軍深入佛羅里達，摧毀了一些印第安人的村莊，處死了兩名挑起事端的英國人，并驅逐了西班牙總督。消息傳來，國內(nèi)外輿論嘩然，幾乎所有的人都譴責杰克遜的行為越權。只有小亞當斯一人竭力為杰克遜辯護，在他的說服下，門羅總統(tǒng)也認為杰克遜的做法是正當?shù)?，但應歸還佛羅里達。杰克遜的軍事行為對西班牙人造成了巨大威懾，使他們認識到佛羅里達早晚會落入美國人之手。小亞當斯抓住這一契機，于1819年與西班牙簽訂了《亞當斯-奧尼斯條約》，美國以五百萬美元的代價使西班牙將佛羅里達讓與美國，西班牙從此不再參與爭奪俄勒岡地區(qū)。該條約使美國的疆界貫通了北美大陸，小亞當斯從中起了關鍵作用，被譽為“美國最有才華和作為的國務卿”。小亞當斯也認為這是他最重要的一項歷史功績。