因此胡适曾自我安慰：“情愿不自由，也是自由了”。
秋去冬来，离别的日子快到了，相见时难别亦难啊，天气也渐渐转凉，带着一片凄凉之意，胡适在日记中写到：睡醒时，残月在天，正照着我头上，时已三点了。这是在烟霞洞看月的末一次了……今当离别，月又来照我，自此一别，不知何日再继续这三个月的烟霞洞山月的“神仙生活”了！枕上看月徐徐移过屋角去，不禁黯然神伤（《胡适日记》）
新历的1923年即将结束时，胡适恋恋不舍地离开了人间天堂——杭州，离开了已经怀孕的曹珮声，回到北京。
在微微的寒风吹拂下，胡适回到了北京。徐志摩已经把胡适与曹珮声相爱的事情传开了。回到家中，妻子江冬秀手持剪刀逼问胡适，胡适承认了自己与曹珮声的恋情，由于此时母亲冯顺弟早已去世，不用再遵母命尽孝道的胡适终于向江冬秀提出了离婚。
江冬秀以杀死他们的两个儿子相威胁，胡适只好作罢。但他心中依旧念念不忘曹珮声。与妻子争吵后，胡适离家出走，住在北京西山的朋友家中，心中的苦闷、感伤和凄凉无处排遣，在一个寒冷的夜晚，胡适写道：“山风吹乱了窗纸上的松痕，吹不散我心头上的人影。”
之后，曹佩声由胡适推荐于1934年赴美国就读于康奈尔大学农学院，1937年获得硕士学位，回国后先后在安徽大学和复旦大学任教，是我国第一位农学界女教授。
1939年，曹佩声结识了一位归国留学生，俩人产生了恋情，岂料江冬秀在男方亲戚中败坏她的名声，致使男方单独解除婚约，直气得曹佩声要上峨嵋山当尼姑。后在其兄曹诚克力劝之下方改变了主意，又兼在美国做大使的胡适来信安慰，还捎来300美金资助生活，情绪才逐渐稳定下来。曹佩声对胡适，一直是痴情不改，一往情深，鸿雁不断，相互都品尝着苦涩的婚外恋情。
1949年，胡适不听曹佩声的劝阻流亡到美国，从此两人鸿雁断绝，留下的是无尽的怀念。1958年，她退休后于1969年落户绩溪山城，原想找一处房前屋后能够耕作的住所，自筹资金建一个养猪场、气象台，但这些设想都一一落空。生活上十分清苦孑寂，她写有一首《临江仙》：
〖老病孤身难寄，
南迁北驻迟疑，
安排谁为决难题？
哥哥长病废，
质仰死无知。
徒夸平生多友好，
算来终日痴迷。
于今除却党支持，
亲朋休望靠，
音信且疏稀。〗
曹珮声终身未再嫁人，她至死都把对胡适的爱珍藏在心底。杨林桥，位于胡适家乡安徽绩溪上庄村的村口，1965年6月25日，杨林桥被山洪冲毁，曹珮声捐献了自己的积蓄，重修杨林桥。
1973年，曹佩声病逝于故乡安徽绩溪。临终前她留下遗言，一定要把她安葬在杨林桥边的那条小路旁，因为那是胡适回家的必经之路。她曾经委托好友汪静之，将她一直珍藏着的一大包与胡适来往资料，在她死后焚化。这段刻骨铭心的相思，她珍藏了一辈子，死后也随她带去了天堂。
对于这段婚外恋，胡适有诗记之：
〖隐外西楼已半春，绸缪未许有情人。
非关木石无恩意，为恐东厢泼醋瓶。〗
胡适曾爱慕陈衡哲，他虽至死不承认，却给自己的女儿取名叫“素斐”。素斐即Sophia，也即“莎菲”，正是陈衡哲的英文名和笔名。
陈衡哲是庚子赔款的第一批女留学生，现代文学史上的第一个女作家，北京大学的第一个女教授。陈衡哲是一位历史学家，文学不是她的本行，但胡适赞誉她“身上每一个细胞都充满着文艺气息”，她是新文学史上颇有贡献的女作家。
胡适和陈衡哲认识于留学美国期间。陈衡哲在美国五所最有名的女子大学之——瓦沙女子大学（Vassa College）留学，专修西洋历史，同时学习西洋文学。在那里，她结识了胡适、任叔永（鸿隽）、杨杏佛、梅光迪、朱经农、胡先（马肃）等人，并以莎菲为笔名开始写作。
《胡适留学日记》中记载了胡适和陈衡哲见面的情形：“（1917年）4月7日与叔永去普济布施村（Poughkeepsie）访陈衡哲女士，吾于去年10月始与女士通信，五月以来，论文论学之书以及游戏酬答之片，盖不下四十余件。在不曾见面之朋友中，亦可谓不常见也。此次叔永邀余同往访女士，始得见之。”这是胡适在美留学期间与陈衡哲的第一次见面，他们虽然见面次数不多，但在五个月之内，胡适寄出了信函“四十余件”，差不多每月十件，为数颇不算少。留意那些“游戏酬答之片”，双方的感情还是很亲密、很谐趣的。1914年11月1日，因彼此称呼问题，“寄陈衡哲女士”云：你若“先生”我，我也“先生”你。不如两免了，省得多少事。
1915年9月，梅光迪（觐庄）等人和胡适的“文学革命”笔战中，陈衡哲也支持胡适的主张。胡适说：“民国五年（即1916年）七八月间，我同梅（觐庄）任（叔永）诸君讨论文学问题最多，又最激烈。莎菲那时在绮色佳过夏，故知道我们的辩论文字。她虽然没有加入讨论，她的同情却在我的主张一方面。……她不曾积极参加这个笔战；但她对于我的主张的同情，给了我不少的安慰与鼓舞。她是我的一个最早的同志。”（陈衡哲的短篇小说集《小雨点》胡适序）
留美期间，胡适、陈衡哲、任鸿隽是三个好朋友。任鸿隽1919年与陈衡哲订婚，1920年陈衡哲获芝加哥大学硕士学位，受北京大学校长蔡元培邀请，回国担任教授，和任鸿隽同在北大任教。1920年9月16日陈、任举行结婚典礼，胡适做赞礼，蔡元培为证婚人。胡适戏赠他俩的贺联是：“无后为大，著书最佳。”
1921年7月31日，胡适在日记中记有这样的话：“得冬秀一信，知叔永、莎菲新得一女。因重到鸡鸣寺，作一诗贺他们。”诗曰：重上湖楼看晚霞，湖山依旧正繁华；去年湖上人都健，添得新枝姊妹花。他还在诗末加注说：“三个朋友一年之中添两女，吾女名素斐，即用莎菲之名。”素斐夭折后，任鸿隽陈衡哲夫妇送他们的女儿给胡适做干女儿。由此可见，两家交情很深。
1927年，素斐夭折后一年半，远在美国的胡适给妻子江冬秀写信说：“冬秀，我今天哭了女儿一场！梦中忽然看见素斐，脸上都是病容，一会儿就醒了。醒来时，我很难过，眼泪流了一枕头，起来写了一首诗，一面写，一面哭。忍了一年半，今天才哭她一场……”并在信后附上诗《素斐》一首，有研究者认为，哭女儿是真情迸发，诗素斐，可到底是为哪个Sophia？
陈衡哲曾用“金坚玉洁”来形容他们的友谊。但有人散布流言蜚语，他们三个人的友谊被人误解和中伤。1934年《十日谈》第二十六期的《文坛画虎录》专栏上，发表了“象恭”写的《陈衡哲与胡适》的短文。文章说陈衡哲要与胡适结成永久伴侣，胡适拒绝了，然后把她介绍给任鸿隽；陈衡哲、任鸿隽婚后感情一直淡淡的。此文引起了轩然大波。为了反击胡乱猜测和无中生有的诬蔑，胡适写信（任鸿隽陈衡哲夫妇过目并同意）给《十日谈》编辑部用事实来加以批驳，并要求杂志向他们三人公开道歉。
为辟谣胡适曾写道：在留学时代，我与陈女士虽然只见过一面，但通信是很多的。我对她当然有一种很深的和纯洁的敬爱，使我十分重视我们的友谊。但我们从来没有谈到婚姻的问题。这是因为，第一，我们那时都在青年的理想时代，谁都不把婚姻看作一件重要的事；第二，当时一班朋友都知道陈女士是主张不婚主义的，所以没有一个人敢去碰钉子。她与任君相识最久，相知最深，但他们也没有婚姻之约。直到任君于1919年第二次到美国，陈女士感到他三万里求婚的诚意，方才抛弃了她的不婚主义，和他订婚。
拿胡适的女儿“素斐”来做文章的，不是别人，是胡适的高足唐德刚。唐德刚说：“素斐者，SOPHIA也，‘莎菲’也！‘为念绿罗裙，处处怜芳草！’”后来，素斐夭折后胡适写的那首《素斐》的短诗。唐德刚先生认为这是一首“缠绵悱恻的一石双鸟，悼亡、怀旧之诗”。
美籍学者夏志清说：“任氏夫妇一直是胡适的至交，也是他事业上最亲信的左右手，他对任太太是不存一丝罗曼蒂克的幻想的。但任、陈婚姻如此美满，胡适自己家里有个病中不准他看书、写诗的老婆——相形之下，他免不了艳羡他们的幸福。他骗过江冬秀，给自己的女儿取名素斐（SOPHIA），虽不能说纪念他同陈衡哲那段旧情，至少也希望女儿长得像瓦莎学院优秀生莎菲一样聪明好学，而一点也不像她生母那样的庸俗。德刚道破胡适为爱女取名用心良苦这一点，实在令人心折。”
在胡适身边，还有一位单恋胡适的女性，她就是胡适的好友朱经农的胞妹朱毅农。民国时期，朱经农曾任上海市教育局长、湖南省教育厅厅长。曾任中华民国国务总理的熊希龄夫人朱其慧，是朱经农和朱毅农的姑姑。
在胡适的朋友圈子里，最有资格说“我的朋友胡适之”的要数朱经农和任鸿隽。借着哥哥和胡适的亲密关系，朱毅农很自然地走到胡适的个人和家庭生活。1923年，从江冬秀给胡适写家书中得知，有一段时间，朱毅农主动承担家庭教师职责，教导胡适长子胡祖望，每天教他两个小时的功课。
不知道何时朱毅农何时爱上了胡适，只知道结局：单恋胡适多年而发疯，最后染病身亡。这真是一个令人悲伤和绝望的结局。这个秘密只限于跟胡适最要好的朋友知道，胡适的日记和家书中半遮半掩地记录了几笔，我们借以管窥这位薄命的红颜。
江冬�