二十八歲那年，他跟一伙朋友聯(lián)手洗劫江都縣東鄉(xiāng)仙女廟。案發(fā)后潛回鎮(zhèn)江，躲到寶蓋山下，被丹徒縣主簿張煥文發(fā)現(xiàn)擒獲。后被縣衙懲辦，發(fā)配甘肅充軍。在押解途經(jīng)山東時(shí)，他瞅準(zhǔn)機(jī)會(huì)，趁夜盜得驛站中駿馬逃脫?；貋?lái)后，他藏匿在私鹽販子陶龍雨家中。那時(shí)的他遠(yuǎn)不像現(xiàn)在的徐寶山這樣神氣，整日東躲西藏，惶惶不可終日，從沒(méi)有按時(shí)吃過(guò)三餐飯，更是沒(méi)有睡過(guò)一夜安身覺(jué)，有時(shí)睡在土廟里，有時(shí)睡在麥田里，不管睡在哪，手上總要纏一支線香，到了香燃到手指時(shí)，就要趕快起來(lái)?yè)Q個(gè)地方，以防被捕。有時(shí)甚至睡到死人棺材里，這樣可以多睡一會(huì)，但是很麻煩，要先把棺蓋撬開(kāi)，進(jìn)去后還要弄一塊大磚頭把棺蓋墊起來(lái)，才不至于悶氣。如此折騰，總算沒(méi)被抓住。熬了幾年之后，他投奔了鹽梟頭目孫七。

自從投了孫七，徐寶山才慢慢恢復(fù)了元?dú)?。他是個(gè)不甘平庸的人，活著就要做點(diǎn)大事情，至少也能為孫七的山頭立個(gè)大功，一來(lái)是個(gè)進(jìn)山之禮，二來(lái)也顯示一下“徐老虎”的本領(lǐng)。當(dāng)時(shí)與孫七為敵的還有另一伙梟匪，以柏瓊為首領(lǐng)，勢(shì)力很大，孫七自覺(jué)不敵，只能處處避讓。但是徐寶山覺(jué)得就從柏瓊這里下手最為合適，因此開(kāi)始等待時(shí)機(jī)。恰巧，這一日，他在路上與柏瓊的兩個(gè)兒子相遇，這兩個(gè)惡棍正在擄掠?jì)D女，徐寶山上去教訓(xùn)柏瓊二子，打斗中，柏匪三百余人聞?dòng)嵹s來(lái)將徐寶山圍住。正在危難之時(shí)，孫七率眾趕到。已感不支準(zhǔn)備敗走的徐寶山，陡然膽力倍增，再抖精神返身殺入敵陣，持利劍近身力斃柏氏二子。經(jīng)此一戰(zhàn)，“徐老虎”重新成為江湖中聲名遠(yuǎn)播的人物。各地聞其聲名者紛紛來(lái)投，他第一次有了培植自己勢(shì)力的資本。

后來(lái)他干脆脫離孫七，另樹(shù)一幟，冒死搶了匪首朱福勝的地盤(pán)，占據(jù)十二圩和七濠口一帶，初步有了自己的隊(duì)伍和勢(shì)力范圍，并由此起家。在隊(duì)伍逐漸壯大后，他并沒(méi)有忘乎所以。他看出要與官軍和眾匪抗衡并要得到不斷發(fā)展，不能簡(jiǎn)單地招兵買(mǎi)馬，兵要招好兵，馬要找駿馬。他深知自己部下全是一勇之夫，只見(jiàn)眼前小利，并無(wú)大志。且自己的手下，組織松散，更非大隊(duì)官軍敵手。他們農(nóng)忙時(shí)回家種田，農(nóng)閑時(shí)結(jié)伙販鹽。一旦官兵大隊(duì)來(lái)襲，便四散回家，官兵去后，則又嘯聚如故，對(duì)官府而言，此是匪患難除。但對(duì)徐寶山的“大志向”來(lái)說(shuō)，實(shí)在是個(gè)不利因素。因此，他與丁賓狐等人反復(fù)商討，權(quán)衡利弊，覺(jué)得只有聯(lián)絡(luò)勢(shì)力強(qiáng)大的洪門(mén)，才能利用洪門(mén)組織搞起一支層次更高的武裝。

徐寶山本來(lái)應(yīng)算是正宗的青幫首領(lǐng)，屬于比“大”字輩高一輩的“禮”字輩。聽(tīng)說(shuō)泰州城內(nèi)有個(gè)洪門(mén)首領(lǐng)任春山，便立即帶領(lǐng)丁賓狐一起，秘密趕到泰州去同任結(jié)交，要跟他共圖大業(yè)。時(shí)逢任春山正在泰州相機(jī)發(fā)展組織，以算命先生為表面身份，暗地里則聯(lián)絡(luò)會(huì)眾?；蛟S是世道荒亂，英雄相惜，在丁賓狐的勸說(shuō)下，兩個(gè)敵對(duì)幫派的首領(lǐng)一拍即合，結(jié)為異姓兄弟。結(jié)果是任春山介紹徐寶山加入洪門(mén)，徐寶山介紹任春山加入青幫。兩人合開(kāi)洪門(mén)山頭，名字中各取一字作為山名曰之“春寶堂”，徐任為并列堂主。