魏侃夫卸任后,有感于當(dāng)?shù)孛袂榈膶捄裾\樸,決定不再回原藉江寧,而攜眷擇居縣北十華里的劉坊鎮(zhèn)。由于當(dāng)時(shí)元末明初,時(shí)局紛亂,盜賊不斷,土匪經(jīng)常騷擾,社會(huì)不得安寧,于是魏侃夫?yàn)楸R环桨矊幖吧?cái)產(chǎn)安全,召集鄉(xiāng)中賢達(dá),商議以上鎮(zhèn)為中心構(gòu)筑土堡作為防御工事事宜。當(dāng)?shù)剜l(xiāng)賢一呼百應(yīng),立即動(dòng)員百姓有錢出錢,有力出力,組織民工修筑土堡。一座牢固的長五華里,高二丈多,寬三米,并有東、西、南、北四個(gè)城門的土城堡,經(jīng)過整整一年的時(shí)間建成了。面臨雄偉的城堡,盜匪望而卻步,不敢侵犯,群眾長久治安,安居樂業(yè)。劉坊鎮(zhèn)也從此更名為“萬安鎮(zhèn)”。
魏侃夫率眾筑城一事,被小人向朝廷誣告魏侃夫及鄉(xiāng)紳私筑王城、圖謀不軌。小人誣告后,當(dāng)時(shí)的朝廷不分青紅皂白,下令抓捕魏侃夫及鄉(xiāng)紳善士,這時(shí)魏侃夫?yàn)楸`l(xiāng)民,挺身而出,以一己之肩承擔(dān)全責(zé)。魏侃夫舍生忘死,剛正不阿的義舉,令全縣百姓動(dòng)容。后經(jīng)地方正義之士聯(lián)名上書朝廷,此案得以平反昭雪。為平息民怨,皇上追敕封魏公為光祿大夫。