衢州雖然安全了，但以后的形勢依然十分嚴(yán)峻，面對數(shù)十萬之眾的太平軍，左宗棠兵力實(shí)在單薄，而清廷分?jǐn)偢魇〉能婐A，絕大部分又只是一張空頭支票，根本無法落實(shí)，盡管左宗棠后來最大限度地擴(kuò)充浙軍，也只能達(dá)到三四萬人，遠(yuǎn)遜于曾、李所部的兵力，而這種擴(kuò)軍，已經(jīng)拖欠浙軍大量的軍餉。

即便如此，也不能將這三萬余人全部投入浙江戰(zhàn)場。浙軍攻克嚴(yán)州、富陽之后，本來可以較順利地一鼓作氣，乘勝攻克杭州，但此時安徽方面的太平軍先后攻克皖南諸多城鎮(zhèn)，浙軍只能按照曾國藩的命令，抽調(diào)劉典、王文瑞一萬多人馬前往增援，經(jīng)過數(shù)月苦戰(zhàn)，將那里的太平軍擊退。

此時，曾國藩要求這一萬多浙軍繼續(xù)深入皖南，長期在安徽境內(nèi)和曾軍進(jìn)行會剿，這一次，左宗棠拒絕了曾國藩的命令，他只留下由王開琳率領(lǐng)的3 300人駐守徽州屯溪鎮(zhèn)，將其余8 000人全部撤回浙江。事后證明，左宗棠這一決定是非常正確的。

此時，浙軍已經(jīng)開始進(jìn)攻杭州，可是離杭州六十里的余杭也駐有太平軍重兵，如果單攻杭州，余杭的敵軍必然會進(jìn)行支援，將會使攻城部隊腹背受敵，處于十分危險的境地，因此，必須在攻打杭州的同時，也攻打余杭。這樣，就只好將兩萬余人分開，同時對杭、余兩城發(fā)動進(jìn)攻。本來就嚴(yán)重兵力不足，一分為二之后，就更顯單薄了。此時，離杭、余二城不遠(yuǎn)的湖州，聚集著大批太平軍，一旦他們趕來增援，攻城浙軍將面臨險境，因此，調(diào)回8 000人阻擊援兵，顯然十分必要。

李世賢因急于擺脫左宗棠糾纏，以回援天京，于六月中旬以攻為守，調(diào)大軍分兩路直取遂安，奔襲左軍后路。于是左宗棠調(diào)劉典等九營4 000人回援。六月二十日，劉典等部與太平軍戰(zhàn)于遂安東南。二十七日（7月18日），李世賢退回金華，將兵力集中于金華、蘭溪、龍游、武義一線，作堅守打算。左宗棠統(tǒng)兵進(jìn)入浙江以來，由于太平軍將士的英勇奮戰(zhàn)，使其進(jìn)展相當(dāng)緩慢，入浙八個月始終未能越過衢州一線。直至同治元年八月上旬，新任浙江布政使蔣益澧率廣西左江鎮(zhèn)總兵高連升、副將熊建益的湘軍8 000人從廣西經(jīng)湖南開抵衢州，戰(zhàn)局才開始發(fā)生變化。七月，清軍攻陷處州府，閏八月十三日（10月6日），蔣部高連升一軍攻陷嚴(yán)州府壽昌。李世賢見一時無法擊潰左宗棠的進(jìn)攻，只好派將分兵扼守金華、湯溪、龍游一帶，阻截清軍東進(jìn)。他自己則于是年閏八月（1862年10月上旬）奉洪秀全之命，率精兵7萬多人馳救天京。此時，浙江太平軍力量頓時薄弱。重點(diǎn)設(shè)防的龍游、湯溪等城，真正能作戰(zhàn)的留防士兵不過數(shù)千人。群龍無首，自然會亂成一團(tuán)，部隊統(tǒng)帥不在，留浙各支太平軍沒有統(tǒng)一的指揮，士氣下降了很多，甚至有些將領(lǐng)選擇了投敵變節(jié)。而這一切，對左宗棠來說，都是非常好的機(jī)會。此后，不到半年時間，清軍相繼攻陷湯溪、龍游、蘭溪、金華、武義、永康、東陽、義烏、浦江、諸暨等地，特別是攻下了嚴(yán)州西北的軍事要地桐廬。桐廬位于浙江中游，自桐廬七里瀧徑下地勢漸平，江面漸闊。由于桐廬失守，太平軍在杭州上游的重地只有富陽（屬杭州府）一城了，浙西防線因而全部潰垮。為指揮各軍沿江直取杭州，左宗棠于同治二年正月下旬（1853年3月中旬），將大本營從金華移至嚴(yán)州府治（在浙江上游），派蔣益澧逼攻杭州。

在浙東方面，英法侵略聯(lián)軍于同治元年四月十二日（5月10日）悍然進(jìn)攻寧波的太平軍。當(dāng)時英國有戰(zhàn)艦4艘，水兵330人，由“爭勝”號艦長刁樂克統(tǒng)帶；法艦兩艘，水兵70余人，由“伊臺”號艦長耿尼統(tǒng)率。