孙荃想到郁达夫尚无棉衣御寒，便冒了大雪到邮局给他寄去一件皮袍子。当郁达夫取回皮袍时，心里真是万分地感谢孙荃，只一个心眼地想到如何想法子去报答孙荃。
孙荃以为能和丈夫团聚之时，却不曾料到郁达夫此时遇见了王映霞，并于1928年2月与王映霞结婚。孙荃从此就吃长素，念佛诵经，没有再嫁。
郁达夫的长女郁黎民回忆母亲：“在长夜漫漫中，她只得断荤茹素，寻求精神上的寄托，成了虔诚的佛教徒。”郁黎民还记得，小时候一觉醒来，往往能听到隔壁小佛堂传来母亲喃喃的诵经声，和着一下一下轻敲的木鱼声。
孙荃对儿女管教严厉。孩子放学回家，先要去她那里报到，做完了作业就在家看儿童画报。抗日战争时期，即使四处奔波逃难，孙荃也随身携带《唐诗三百首》等书籍，她还指导孩子们办了一个叫《零碎》的刊物，三个小孩子轮流当责任编辑，每期每人要写几篇文章，不管是日记、故事、小小说还是散文，甚至还可以画一张画。
1931年3月，郁达夫与王映霞之间的矛盾升级，他带着复杂的心情回到了富阳老家，见到了久别的妻儿。他对儿子天民最是喜爱：“熊儿好，熊儿好，大头大脑的，又健又壮，这双手就像两个粉团。”
尽管郁达夫请来岳母规劝，但孙荃不肯原谅他，她把郁达夫安顿在楼下的西厢房，在自己和孩子们同住的卧房门上贴出“卧室重地、闲人莫入”的告示。
不过，在饮食上，孙荃还是按照郁达夫过去的喜好和口味细心烹制。“富春江的白鱼，东坞山的豆腐皮是每餐必备”，郁黎民说，离清明还有一些时日，孙荃就让人到娘家的竹园挖出尚未露尖的早笋，采摘刚刚吐出新芽的绿茶，都是为了让郁达夫尝尝鲜。
在郁黎民看来，起初母亲对父亲抱有深深的怨恨，但是随着时间的流逝，“她由怨恨转为理解，最后转为同情，等到得知父亲殉难印尼苏门答腊的消息后，更变成了深深的悼念了”。
郁达夫的侄女郁风在一篇回忆文章中也提到后来三婶（孙荃）慢慢抛弃了对三叔（郁达夫）的怨恨，“而是饶有兴味地像谈起老朋友似地沉浸在她一生中最美好的回忆里”。
郁黎民还记得，母亲曾经说过一天晚上她梦见郁达夫交给她一把韭菜，要她好生保管。孙荃对这个梦久久不能释怀，她的解释是“韭”的谐音是“九”，加上早夭的龙民，郁达夫一共有九个孩子，孙荃觉得这是郁达夫要她把遗留下来的所有儿女都照顾好，但是她又没有这个能力，于是常常感到不安。
郁黎民发现，母亲高兴的时候总是与父亲有关。解放初一个清明节前的傍晚，富阳第一任县委书记来到家里，看到桌子上放着一盘青蒿，这是富阳的风俗，用来做清明果的。书记就问：“这也能吃？”孙荃回答：“能吃。”隔了一天，政府就送来了80斤大米，原来这位北方干部以为这一家人还在吃野菜度日。受到政府这样的礼遇，孙荃总觉得这是丈夫给她的荣耀。
更让孙荃感到荣耀的，是1952年郁达夫被中央人民政府追认为烈士，她领到了由毛泽东亲笔签名的烈属证，这让她感到无上的光荣，并且成为晚年的精神寄托。
孙荃去世前，很少离开郁家老屋，堂屋里始终挂着郁达夫的手书对联：“绝交流俗因耽懒，出卖文章为买书。”1978年3年29日孙荃逝世，享年82岁。
1927年1月14日，郁达夫在留日同学孙百刚（也是王家世交）家中邂逅了王映霞，一见倾心，立刻坠入情网，不能自拔。当天，郁达夫就邀约了孙百刚夫妇与王映霞一同出去午饭，前前后后显得异常的兴奋豪爽、周到细致，可谓备极殷勤。在当晚的日记中他写道：“中午我请客，请她们痛饮了一场，我也醉了，醉了，啊啊，可爱的映霞，我在这里想她，不知她可能也在那里忆我？”
王映霞比郁达夫小11岁，原名金宝琴，杭州人，因过继给外祖父王南为孙女，改名王旭，字映霞。王映霞为杭州的浙江省立女子师范学校毕业生，是一个性格活泼的知识女性。王映霞长身玉立，肌肤白皙，从小就有“荸荠白”的雅号。她面如银盘，眼似秋水，鼻梁是希腊式的，挺而直，娇躯略现丰满，曲线窈窕，骨肉停匀，在杭州女中和浙江省立杭州女子师范就读时，就有“校花”之誉，及笄而后，更居当时杭州四大美人之首。郁达夫一见倾心，遂求再见、三见，于是上演了现代文坛一段轰轰烈烈的恋爱传奇。
1927年，郁达夫在写下许多革命性很强的政论的同时，也写下了许多情书和日记。郁达夫还将自己的日记集于当年9月交北新书局出版，名曰《日记九种》。此书的出版事前并未经过王映霞同意。在《日记九种》中，郁达夫详细地描述了他和王映霞从相识、相知到相爱的全过程。他语无伦次地将他迟到的爱情说成是“富春江上神仙侣”。两个被神箭射中的情侣，偷偷地躲在西湖边神昏颠倒地诉说情话：一个把自己比作玉皇，觉得世界上再也没有比自己更快乐的生物；一个把自己比着皇后，已经快乐得说一句话都很困难。在日记里，郁达夫甚至连与王映霞接吻的次数都有详细的记载，哪一次亲吻得最长都有明确的记录。
这场恋爱理所当然地遭到了许多人的反对，其中包括孙百刚、郁达夫的长兄郁曼陀，甚至于是当时创造社的潘汉年、叶灵凤。郁达夫追求王映霞的成功最主要得力于王映霞的祖父王南的支持。王南，字二南，清末贡生，当时为杭州著名文化人。王南很爱惜郁达夫的才华，因此并不忌讳郁达夫已有妻室和3个孩子，并且没有固定的经济收入。
郁达夫在与王映霞拥抱和狂吻之时，“觉得世界上最快乐、最尊贵的经验，就在这一刻得到了。”此时，郁达夫在信中对王映霞的称呼也是最亲热的，在名字前加上“最亲爱的”字样。
郁达夫认识王映霞两个月，有一日在见过王映霞后，在日记中记到：“在马路上也看见了些粉绿的卖妇，但我对她们的好奇心，探险心，完全没有了，啊，映霞！你真是我的Beatrice。我的丑恶耽溺的心思，完全被你净化了。”
1927年6月5日，郁达夫和王映霞在杭州宴客订婚，次年2月在上海结婚，3月迁入上海赫德路嘉禾里居住，正式组建了小家庭。
王映霞在自传中到她与郁达夫的婚礼：“l928年的春天，郁达夫和我准备结婚。地点问题，倒着实经过考虑，最后才决定去日本东京。既然已决定下来了，我们就印发请帖，请帖上是2月21日在日本东京精养轩结婚，通知了中外亲友。后来临时由于经济问题解决不了，郁达夫说不去东京了，但又怕我祖父和母亲不同意，然后和我商量决定。在2月初，我们就到北火车站附近的小旅馆里去租住了一个多月，到了3月中旬，才又搬回民厚南里居住。不久就在南京路的东亚饭店（原址在现南京东路浙江路的服装公司）请了两桌客人，请的是几个比较接近的朋友，这一次的请客，就算作是我们的喜筵。”
郁达夫一直没有与孙荃离婚。郁达夫表示过“知识我也不要，名誉我也不要”，就是一定要与王映霞结婚的决心。但是他却受到了来自郁家的压力，特别是兄长郁曼陀对他的压力。郁曼陀凭借的是法律，曾多次写信告诫他“这是要犯重婚罪的”，在弟弟的婚姻问题上毫不让步。郁达夫无奈之下，只能让自己与孙荃的婚姻继续存在下去。
而在这种情况下，郁达夫与王映霞只能选择了低调的婚礼。据学者研究，郁达夫取消东京的婚礼并不是因为经济上的原因，真正的原因在于郁达夫“为了达到既要向王映霞家交待‘已经结婚’，而在世人面前又是‘没有再婚’这样一种目的”。
王映霞的同学顾鹤寿夫妇就接到了请帖，而且他们夫妇当时也正在东京，2月21日这天他们到精养轩参加王映霞和郁达夫的婚礼，却“扑了个空”，然后再写信问王映霞。郁达夫和王映霞说孙百刚为介绍人，可孙百刚本人却不出席，只有他夫人出席了他们的婚礼。而且孙百刚在当时自称反对此事，几十年后写《郁达夫与王映霞》（浙江文艺出版社出版）对郁、王结合也仍持反对态度。所以，郁达夫与王映霞只能算是同居。
郁、王同居次年即发生郁达夫因一言不合而突然出走宁波的事，此事最后由郁达夫向王映霞之母写“保证书”了结。此后郁达夫发脾气，又多次出走，王映霞说：“郁达夫在外祖父面前是经常写悔过书的，多写后就不起作用了。”1932年1月在上海，王映霞“叫郁达夫请来了律师徐式昌，和北新书局经理李小峰，当着众人的面，郁达夫写下了一式三份的‘版权赠与书’。律师、书局、和我三方各执一份。”原来，面对郁达夫原配未弃的实况，王二南先生出于对外孙女未来的忧虑，督促郁将其所有著作的版权，签署正式的法律文件赠与王映霞。面对王映霞的要求，郁达夫虽答应并照办，但却感到锥心之痛，情爱的馨香居然泛出钱财的铜臭。
1933年春，郁达夫迁往杭州，并拟定居于彼时，鲁迅等朋友就劝阻过，鲁迅还专门写过一首诗《阻郁达夫移家杭州》，从许多历史典故说明杭州险恶。但郁达夫还是把爱巢建在王映霞的故乡——杭州，可谓爱屋及乌。
1936年初，郁达夫在杭州横河桥场官弄建成了自己的住房，取名为“风雨茅庐”（现为横河派出所），共有3间住屋2间书房，占地一亩一分四厘，共花去一万五六千元。郁达夫为此负债四千元。然郁达夫一生在此屋内仅居住3次，时间加起来尚不足一个月。这座房屋的房契写的是王映霞的名字，此后被王映霞出售。
虽然经历了多次不快，但郁达夫依旧依恋王