財神爺（家仙）也並不是至善的靈物，若是家人得罪了它，其破壞的力量非常的大。有的村民認為，最好與財神爺發生關係愈少愈好，因為四大門大致都是無甚長性，供奉得好，它便保佑家宅平安，財源茂盛；如果供奉稍有簡慢，或是家運衰微，它便要幫忙敗家。因為財神爺並不能生產財物，而是有力量來搬運財物，從一家搬運財物到另一家去，所謂興一家，敗一家，財神爺的性格既然是無常，所以興起一家之後，幾年後又將財物搬到另一家去，原來的一家受財神爺的益處，還不如蒙財神爺的害來得大。並且財神爺的慾望相當的大，不時向家人要求修樓上供，稍拂它的意思，便要翻面無情，總而言之是貪而無厭的。據於念昭和全子修的看法，認為藉著四大門的力量發家便如同暴發戶的情形相似，興起非常容易，但是敗落更是容易，決非長久之計，以下有幾個例子。
全子修有一個同學呂廷方，是平東東壩人，有四大門助其發家。鄰居有人嫁女，置備妝奩所買的布匹，都會被財神爺搬到呂家的櫃中。有一日，呂姓到倉房打糧食，看見一位大形的「黃爺」，自此，呂姓的家業發達，諸事順當。到了三年之後，家道又有敗落的趨勢。一日，呂姓在他家門口的門樓前休息，忽聽見倉房裡有人說：「往出弄！」（即向外搬運的意思）呂姓人看見門樓上撒著許多黑豆粒，知道是家仙要敗家，於是取過一根趕車的新鞭子，在門樓上等候，因為鄉民傳說如果未曾打過狗的鞭子可以辟邪，不久便看見有許多黃鼠狼披著口袋進入倉房，將倉房中所貯的黑豆裝在口袋內向外搬運。這時這些黃鼠狼都幻化成猴子模樣的東西，大小不一，前肢離地，用後肢走路，類似幼童形狀。呂姓等待它們走到臨近，猛然用鞭子向為首者打去，只聽見說「好厲害！」於是都作「滋、滋」的聲音，立刻四散不見，呂姓家業自此保住。
清華園南邊有個楊姓鄉民，由四大門發家，很是順利，後來對於四大門的信心逐漸淡泊，這是因為將要敗家，造化低微，驅使人如此，並非由人之自由意志所決定。不久將四大門得罪，因此家中總有不幸事故：牲口常死，有時牲口走失不見，夜間在桌上所放的「撣瓶」（插雞毛撣子用的）自己滾到地下摔碎，其家如此敗落下去。