过了一个多月，尹氏的伤才养好，渐渐起了床，她对丈夫十分恭敬，操持家务、孝敬公公，一个好媳妇该做的，她全做了，杨万石可算是过上了舒心日子。

但时间一长，尹氏好了伤疤忘了疼，觉得杨万石黔驴技穷，似乎也没什么特别的能耐。渐渐的，尹氏开始对杨万石调笑，见杨万石没什么反应，她又对杨万石嘲弄起来，杨万石还是鹌鹑一样没脾气，她就又开始骂起来，这下子，没多长时间，尹氏又完全恢复了之前的样子，甚至过之而无不及。

这回，就连杨老爹也终于忍受不了了，他离家出走，深夜离开家，到了河南当道士去了。杨万石知道后，迫于尹氏的淫威，也不敢去找老父亲回来。

过了一年多，马介甫又来了杨家，知道了杨家又恢复如昨，杨老爹还被逼得离家出走，他勃然大怒，将杨万石好一通痛骂，骂完立刻叫过来衣衫褴褛瘦骨嶙峋的喜儿，将他抱到驴子上，带着他径直离开了杨家。

自此后，乡民都对杨万石的所做所为万般不齿，没一个人正眼瞧他。县里的学使官进行生员考核时，认为杨万石品行低劣，革去了他的秀才功名。

又过了四五年，杨万石不小心遭了火灾，家里的房屋财物，都被一把火烧了个干净，不仅如此，大火还蔓延到了邻居家，导致邻居们也遭受了不少损失。

邻居们将杨万石绑了，扭送到官府，和他打起了官司。

有道是“衙门八字开、有理无钱莫进来”，这场官司，耗费了杨家无数银钱，杨家被官府判罚了数额巨大的银两，导致家产耗尽，连个住的地方都没有了。

乡民们厌恶杨万石和尹氏的为人，都相互告诫，不要租借屋子给杨家的人住；尹氏的兄弟们也恼怒尹氏的所作所为，不认她了，拒绝接济她，更不允许她回娘家。

杨万石穷困潦倒，只好将妾王氏卖给一户大户人家，得了些银子，带着尹氏往南边走。等他们走到河南省时，银子用完了，尹氏不肯再陪着杨万石吃苦，叫骂着杨万石没用、窝囊，闹着要改嫁。

恰好有个屠夫死了老婆，听说了尹氏要改嫁，就花了三百钱从杨万石手里买走了尹氏，尹氏欢欢喜喜的跟着屠夫走了。

剩下杨万石孤身一人，在附近的村镇上讨饭勉强为生。

一天，杨万石来到一户红漆大门的富户家讨饭，看门人一见到他，就立刻呵斥不许他靠近，赶他走。