了！我一定要为郁达夫伸冤！”
1938年12月28日，郁达夫应新加坡《星洲日报》社长胡昌耀的邀请，决心到新加坡去作海外宣传。郁达夫在中国抗战正激烈的时期出走南洋，引起了人们的许多猜测：有人认为郁达夫是为了抗日需要，到南洋去作海外宣传；有人认为郁达夫出走南洋是为了挽救他即将破裂的婚姻；也有人认为郁达夫是因为当时国民党某要员的迫害，无奈出走；还有人认为郁达夫出走南洋，是为了寻找创作灵感。
郁达夫自己在《毁家诗记》中也说到了南渡的原因：“纵倾钱塘潮水，奇羞难洗。欲返江东无面目，曳尾涂中当死。”所谓“奇羞”，据郁达夫注释，大概在1937年八九月左右，他不在家，浙江教育厅厅长许绍棣乘机在一次饭后，和王映霞发生了关系。郁达夫因此感到“奇羞难洗”，于是决定投奔南洋，在远离是非中心的祖国重新培养夫妻感情，挽救婚姻危机。
1940年，郁达夫在与王映霞离婚前夕曾有《珍珠巴刹小食摊上口占》一诗：“月缺花残太不情，富春江上晚凉生。如非燕垒来蛇鼠，忍作投荒万里行。”而随父亲去新加坡的11岁的郁飞在30多年后回忆此事也说：“父亲于此时应聘去国的原因，我想不外是国内政治气氛的逐渐逆转和家庭变故的创伤难以平复。”
郁达夫的第三任妻子何丽有印尼华侨。1943年郁达夫在印尼化名赵廉，在巴爷公务（PajakoemBceh）和朋友合开赵豫记酒厂。郁达夫在印尼，为了更好地掩护自己的真实身份，9月经朋友介绍，与何丽有结婚。何丽有原籍广东，遇见郁达夫的时候年仅20岁，生父姓何，幼时为一姓陈的人家收养，取名叫陈莲有。她相貌平常，没有什么文化，而且不懂中国话。郁达夫给她取名为何丽有，意思即“何丽之有”。一直到郁达夫遇难，何丽有才知道郁达夫是中国文化界的名人，而不只是一名寻常的酒厂老板。何丽有与郁达夫有两个孩子，儿子取名郁大雅（亚），郁达夫的用意是含有讽刺日本军国主义推行的“大东亚共荣圈”之意；郁达夫失踪离家后几个小时，他们的小女儿郁美兰来到人间。
【畸恋】
13岁时，郁达夫在富阳高等小学堂读书期间，就与比邻的“赵家少女”有过一段“水样的春愁”的初恋之情，时间长达两年之久。后来赵家少女订婚，他还深深懊丧自己失去了良机。大约在同一时期，他还与倩儿等两位姑娘有过类似的恋情。
后来郁达夫去了日本，又曾经与后藤隆子、蓧田梅野、玉儿等日本少女产生过恋情。后藤隆子被郁达夫昵称为“隆儿”，是郁达夫下宿处附近的“小家女”。郁达夫每次从学校到市上去，都要从她的家旁经过，遂产生情愫，并为她写下了四首诗。蓧田梅野是名古屋旅馆的侍者，郁达夫与她交往数月，同样也为她写有诗词。玉儿也是侍女，郁达夫为她所写的情诗“玉儿看病胭脂淡，瘦损东风一夜花，钟定月沉人不语，两行清泪落琵琶”至今为人称道。
李初梨说郁达夫是“摹拟的颓唐派，本质的清教徒”。
陈翔鹤说：郁达夫跟他们多次逛胡同，达夫的方法，是一条胡同、一个班子的慢慢看，先点若干班子的名，然后挑一个姑娘到她屋子里坐坐，或者一个也不挑。有一次，他对一个姑娘说：“让我抱抱吧，我已经有五六个月不亲近女人了！”这个姑娘就向他的怀里坐下去。
郁达夫从日本留学归来，在安庆法政学院教书，据说除了上课，全部时间和收入都花在游荡上。他寻花问柳的条件是：第一，年龄要大一些；第二，相貌要丑一些；第三，要没人爱过的。有一段时间，他的绰号就叫“三条件”。据此，老鸨婆便给他介绍了一位名叫“海棠”的妓女。据易君左说，他本人就是当年常随同郁达夫到海棠那里去打牌饮酒的数人之一，“这朵‘海棠花’我拜见过，当时芳龄不过比她的‘如意郎君’大两三岁，即二十七八岁，天生一副朱洪武的异相，嘴可容拳，下巴特长，而上额不容三指。据说这种面相，在男子当有‘帝王之尊’，在女子则谁也不敢领教。”
1921年他赴安庆的安徽法政专门学校执教时，与一位妓女海棠姑娘过从甚密。他每日任教结束，必到位于城外的海棠姑娘处，而由于有早课，他又必须凌晨时分早早赶到城门洞里，耐心地等城门打开。郁把自己每月教书所得的收入，都如数交她保管。有人认为，郁达夫这一时期创作的小说《茫茫夜》，可以认为是真实地记录下他的这一段感情生活。其中女主人公海棠，正是郁达夫过从甚密的海棠姑娘，而男主人公“于质夫”，当是郁达夫“夫子自道”了。
沈宁在《一个家族记忆中的名流政要》中写道，在安庆时，郁达夫对太太很好，12点钟下课，半个小时后和朋友聚会吃饭，中间还要回家去看太太一趟，安庆是个山城，虽有人力车，大家都不坐。郁达夫走路很快，只要有十分钟十五分钟，他一定旋风一样回家去看看太太。沈宁的小说《泪血尘烟》也曾这么记载。但是，根据其他资料分析，沈宁笔下郁达夫半个小时也要去探望的应该海棠姑娘而不是孙荃。
关于郁达夫，曹聚仁先生有个著名的比喻。他说：诗人住在历史上是神人，飘飘欲仙的；但住在你家隔壁就是个疯子。曹先生引了郁达夫的好友易君左讲的一个故事：说郁达夫在安庆教书的时候，有一次，他经过某小巷，看见一家杂货铺的老板娘颇有姿色，便上前搭讪，指名要买老板娘头上的别针和襟上的手帕，那老板娘见钱眼开，把两件私物真卖给他了。郁达夫买回后跑到寝室，对着镜子，用别针刺破自己的嘴巴和手指，让血滴在手帕上，放在鼻子底下狂嗅，越嗅越香，又哭又闹，令同室大为紧张，闹得满屋子人都以为他发神经病。
1926年冬，郁达夫在广州向戴季陶校长辞去中山大学教授和出版部主任之职的当天晚上，与白薇等人逛公园，后来又与白薇一道看电影，吃饭，甚是亲密。有天晚上，白薇送了他一张非常“灵敏可爱”的照片（《郁达夫日记》1926年11月21日）。不久，郁达夫就往上海去了，这段浪漫很快就随之结束。
郁达夫就在向王映霞猛烈求爱而没有得到王映霞的明确允诺之时，一度还向一位名叫徐之音的寡妇求爱，他甚至产生一种不可思议的幻觉，觉得这个寡妇“实在可爱之至”，比王映霞要“强得多”。
有了王映霞，郁达夫也没有停止对其他女性的欣赏。1927年4月15日，郁达夫见到一个叫“文娟”的女子，竟然为她所“迷乱”。
1928年秋天，郁达夫见到了美女作家谢冰莹时表现出十分兴奋和激动，王映霞见了就说他是个“放荡惯了的人”。
1934年7月23日，郁达夫见到了一位姓栾的小姐，于是在日记里记道：“栾小姐貌美，身体亦强健，在青岛接见的女士之中，当以她为最娇艳温柔。”
郁达夫在杭州生活期间，还有一个姓丁的女子到他这里来拜师，而这个女子虽然说是学生，但是年龄差不多30岁，结过婚不如意又离了婚，她非常仰慕郁达夫，为郁达夫在杭州修建的“风雨茅庐”提供不足的资金。像这样对年轻貌美女性的品评文字在他的这一时期的日记中还不少。
郁达夫与王映霞的婚姻陷入危机之时，他在新加坡欢迎他宴会上遇到了一个叫“玉娇”的歌女。这个歌女当时就坐在郁达夫的身边，她不仅钦佩郁达夫诗才，而且还敬酒三大杯，她在郁达夫的眼中因“两个大酒窝”而“娇美可爱”。其实，这并不表明郁达夫爱上了王映霞，而是这位玉娇小姐在郁达夫的眼里分明是王映霞的化身。有一次，郁达夫喝醉了酒，居然搂着玉娇小姐说：“映霞！是你对不起我！”他似乎从玉娇小姐身上找到了王映霞的年轻时的身影。郁达夫与玉娇小姐的浪漫故事才非常短暂，只有大约两年的时间。
王映霞离开星洲之后，郁达夫的心境极其孤寂和颓唐，这时，一位国色天香的女播音员李小瑛（筱瑛、晓瑛、晓音）出现在他的面前，使他已是一潭秋水的心池，又波动起一片涟漪。李筱英是福建人，毕业于上海暨南大学，能说流利的英语、上海话。1941年，李筱英刚满26岁，因和丈夫意见不合而离婚。当时她是新加坡情报部的华籍职员，后来又担任新加坡电台的华语播音员。李小瑛十分崇拜郁达夫的文学才华，并主动向郁达夫示爱。46岁的郁达夫在政治失意和家庭破裂之余，遇上这位花容月貌的佳人，一拍即合，两人感情迅速发展，不久，李小瑛就以郁达夫“契女”的名义搬到郁达夫家中居住，郁达夫也不避嫌疑，把自己的书房让给李小瑛，暗中则已实行同居之好。为了表示亲昵，郁达夫甚至用罗马史家Livius的英文名字Livy作为对李小瑛的昵称，还常用德语IchLiebedich（我爱你）来表示爱意。据王任叔说，他对这位李小姐，已到了“忠顺与卑屈，已到了奴隶的程度”。
但是，郁达夫和李筱英的结合遭到郁达夫的儿子，当时仅13岁的郁飞反对。虽然李筱英极力想搞好和郁飞的关系，时常带他去看电影，散场后还带他去高级餐厅饮冷品，并买很多玩具给他。郁飞想要架小望远镜看星象，她发薪水后领着郁飞去欧洲人商业区打算给他买，谁知只有大型的，价格相当于她的月薪，只能作罢。可是郁飞对这些始终不领情。郁达夫碍于儿子不接受李筱英，也不便正式结婚。1941年12月，李筱英痛苦地搬出郁家。太平洋战争爆发后，李小瑛退到爪哇岛，郁达夫逃亡到苏门答腊。为了表达自己的感情，郁达夫模仿唐代大诗人李商隐的《无题》，以李筱英为主人公写下了不少诗篇，后来将这些诗收入名为《离乱杂诗》的集子中。