在革命战争年代，西山革命根据地被国民党桂军烧杀掳掠，房子被一烧再烧，千山万弄变成一片焦土，荡然无存。解放后，黄荣的父母也像村里人一样，上山砍木建了一间小茅屋，到七十年代末才盖上瓦房，算是有了一间故居老屋。上世纪八十年代末期，黄荣的父母先后逝世，这时正逢上级人民政府拨款扶持干吾屯搞新村建设。因为上报新村建设规划户数时有黄荣父母，所以这次新村建设资金的被扶持者也包括他们。

当时，干吾屯群众讨论，大家一致同意各户挤出一点资金来补助黄荣父母的扶持份额，再出一点人力帮工，帮助黄荣起一间小房，作为黄荣的“老家故居”留念，但被黄荣毅然谢绝了。黄荣说：“这些钱是上级人民政府按照各户人口情况拨给大家扶持建房，搞新村建设的我不能占用大家的建房资金，也不能让大家帮工建房。”当年，正担任自治区人大常委会主任的黄荣，不仅拒绝了村里群众对他的帮助，而且还劝队里把父母的那份扶持建房资金全部分给大家补助建房，自己不拿一分钱。

此后一段长时间，黄荣一直没有自己的故居。到九十年代，儿女们趁机向父亲提出要求，应该在老家起一间简陋的小房，作为故居老屋。这样黄荣才答应起一间80平方米左右的简陋小房，而且一而再，再而三地反复交代，严禁亲友接受任何单位和个人的建房捐助，所有建房费用由自己出资。

黄荣无论在革命战争年代还是在和平建设时期，都信念坚定、一心为民、廉洁自律，锤炼道德修养，做到明大德、守公德、严私德，因高尚品德而广受敬重。