不久，银姑父亲见银姑身怀身孕，打骂银姑，银姑含泪说出原委。银父到凤府找凤天南，反被凤天南打成重伤，不久死去。见袁银姑的父亲已死，银姑的叔嫂强行霸占其房屋，将银姑赶了出来。银姑无处可去，去找原来投靠在自己家现在已搬出去的平四，不巧平四回沧州祭奠胡一刀去了。袁银姑只得四处流浪，并在一破庙中生下袁紫衣。银姑带着小孩继续流浪，遇见扫墓归来的平四，与平四住在了一起，并与平四结为夫妇。凤天南听说平四娶了银姑，派人追杀平四，银姑与平四走失，又不敢回佛山，只能带着孩子到处流浪。一日在一饭店碰见一帮无赖，被汤沛救下，并安顿在府中。可汤沛并不是正人君子，他以小孩做要挟占有了银姑。