杨玄璬自然知道这一段往事，然而，他更明白人们如此对自己，只为着女儿有宠。再者，他又明白，杨慎矜努力来交好，另有原因。宰相李林甫似乎对杨慎矜不大好了，为此，皇帝任命杨慎矜为御史中丞，他辞不敢受，转任谏议大夫。他知道杨慎矜是一个有旺盛政治欲望的人，慎矜拉拢自己，有结党的目的在。
为此，杨玄璬不堪了，他想：人们来巴结我，只因我的女儿可耻地周旋于父子之间啊！在自羞中，他真的生病了，他家居，以养病而谢见宾客。
可是，新的难堪事件又降临到他的身上——他的儿子杨鉴由宰相李林甫的推荐，擢任秘书省秘书少监，那是从四品上的官阶！以杨鉴的资望，自然不可能取得如此高的地位，何况，这又是清高而机要的地位。
杨玄璬明白，这又是因于女儿之故。再者，他又忖测，此项任命，也可能另外有作用，李林甫用杨鉴来排挤贺知章。他不欲自己的儿子参与到政治派系的斗争中去，于是，他命令儿子亲自去见宰相，辞谢新任命。
可是，杨鉴却不舍得放弃这个优职，他见宰相时，只谦逊了一番，并未认真辞谢不受。回家，他告诉父亲，宰相不许辞职。
这使杨玄璬为之气结。
这是天宝二年的初冬，十月新寒，杨玉环偕皇帝去了骊山。骊山，自天宝元年起，建筑了一所新宫殿，祀天神的，宫殿很巍峨，有高楼，为长生殿。但是皇帝另外为之立了一个名字：集灵台。因为宫中的寝殿通常呼为长生殿或长生院，以前，祀神的宫殿也称长生殿，两名相同，李隆基加上集灵台以为分别。
集灵台长生殿是道教的，没有太多的戒忌，杨玉环常常在祀神的新宫殿中游乐，她对父亲的病无所知，对哥哥升官很高兴，她曾代表哥哥向皇帝致谢。
这回在骊山，由于杨玉环贪玩不肯回长安，住了三十八天之久。
朝臣中有人记录下这一次皇帝避寒骊山，有“上乐而忘返”之语，这自然是因于杨玉环才乐而忘返的。杨玉环曾经顾全一个皇帝的现实，但她又时常会任性。这回，她任性了。有人向皇帝进言，不宜在骊山宫留得太久。杨玉环也知道了，她很不高兴，向告知这一件事的皇帝说：
“三郎，有时，你大可不予理会，在骊山，你也一样治事的啊！一个人做了皇帝，一年忙到头，玩一个多月也不可以吗？何况这又不是完全玩，对不？”
皇帝望着她期期地笑，说出：“很是，很是！”
“那些人要多事，由他们去，我们一过了年，再去骊山，看他们怎样！”她发着稚气的牢骚。
皇帝又笑着说：“很是，很是！”而这一回，杨玉环发现了皇帝的“很是，很是”，只是敷衍自己，于是，她嗔了，哼了一声，命人去找时日卷来。
“找时日卷来做什么？”皇帝笑问。
“选日子。过了年，哪一天是好日子，我们再上山去！”她说着，皇帝正要接口，她抢着说：“很是，很是！”
于是，皇帝大笑，捏住了她的双手，再说：
“不必急，现在离过年还有半个月哩！”
“我要先行选定日子，不行吗？”她还是有些气恼。
《杨贵妃》 第四卷（10）
大唐皇帝接受了——杨玉环自己选定了年初六，辛丑日，那是利于行的好日子。她请皇帝预定年初六上午发驾赴骊山，皇帝也答应了下来。
这是她偶然使一次性，皇帝以为很有趣。
进入用天宝年号的第三年，皇帝把年字改为载——称为天宝三载。
年初六，他们又上骊山去了。
对杨玉环来说，这个新年是很有趣的，他们上山的日子，好太阳，天气不大冷，但到骊山的第三天，气候变了，大雪，一夜间，山谷间除了温泉区之外，铺满了白雪，她在积雪上和谢阿蛮同舞。
谢阿蛮的技艺的确很高，她的脚浮陷雪中，但仍能使身体平衡，每次一个脚印，在雪地上留下的痕迹很匀称。至于杨玉环，却无法做到，她好胜，努力学样，终于，她滚跌在雪中，而看她们做雪上舞的皇帝，因杨玉环的滚跌而大乐。
随后，皇帝也冒寒出动，和杨玉环等人堆雪人，他们发动以百计的宫女和内侍堆雪人。
宫廷在欢乐中度新年，朝廷却在人事倾轧中。
先是，在去年底，皇帝准许道士吴筠还山，有一笔相当丰厚的赏赐，正月初，他走了。随驾在骊山的李白，情绪为之低落。接着，秘书监贺知章受到暗暗的压力，自觉再做下去不会讨好，在皇帝批准吴筠还山之后，他由长安城上山，想乞求退休。以他的年龄而乞退休，也很合理的。
皇帝和杨玉环在集灵台长生殿，贺知章是老于官场人事和深知皇帝的性情的，在集灵台内，他灵机一动，把原来请求致仕的方式改变——那是从杨玉环的衣饰而引起的。这一天，杨玉环为了好玩，又着上她平时最厌恶的女道服，自称集灵台主。
贺知章就在谈笑间请求皇帝的恩典，度自己为道士。皇命度一个人为道士，由皇家供奉，待遇很优厚，退休，虽然仍然可得一半俸禄，却比做道士差得太远了。为了现实，他有需要，再者，他又认为，自己请求度为道士，比请求致仕来得好，皇帝必不会起疑。
“贺卿，你这年纪，真还想做道士？”皇帝轻松地问。
“陛下，女道士宜年轻，男道士，似乎是年纪老一些的好——”他说着，转向杨玉环一揖，“还请妃子勿介意！”
贺知章的话说得很风趣，皇帝点点头，连连说好。
皇帝以贺知章为老臣，历事三代四帝，给予特恩，许以贺知章的住宅为千秋观，并命举行送行典礼。
当晚，贺知章把自己请求度为道士获准的事告知了李白——这使李白为之错愕不已。
隔了两天，欢乐中的皇帝接到了杨玄璬病中的上表。这是一封特殊的陈情，除了久病乞休之外，并且缕述杨氏家族四世族系，声言本族以长房作为代表，四世以来，俱皆依长房之制承袭财产等等。在这一段之后，杨玄璬才说明叙述世系之原因，以椒房之亲，宜正谱牒。
这表文很突然，李隆基错愕着。倘若是旁人所上，或者会有讽刺皇家的意思，李隆基本身并非长房，但皇帝明白杨玄璬不会作这种无聊的讽刺。再者，他对年纪并不大的杨玄璬的病，也有所疑，因为杨玄璬因病辞官，已不止一次。
他没有将这事告知杨玉环，也不曾处理事件，他命内常侍偕两名御医同往探疾。
这是恩命，一般大臣也不易得的。
杨玄璬这回的病是真实的，御医回奏了之后，皇帝终于告知玉环。她不便说自己的家事，请求皇帝于回城后，让自己和哥哥见一次，皇帝自然答允了。
不久，大唐皇帝的老臣，以正三品太子宾客衔，官从三品秘书监的贺知章，一获皇帝准许，就上表告以回乡的日期，于是，皇帝颁下特诏，命太子率六卿庶尹大夫人饯行。
这是大唐皇帝历史性的盛典，皇帝本人，先作了一首诗，又附了序文，如下：
“天宝三载，太子宾客贺知章鉴知止足之分，抗归老之疏，解组辞荣，志期入道，朕以其年在迟暮，用循挂冠之事，俾遂赤松之游。正月△日，将归会稽，遂饯东路。乃命六卿、庶尹、大丈、供帐青门，宠行迈也。岂惟崇德尚齿，亦励劝人，无令二疏，独光汉册，乃赋诗赠行：
遗荣期入道，辞老竟抽簪，岂不惜贤达，其如高尚心；寰中得秘要，方外散幽襟，独有青门饯，群僚帐别深。”
（注：全唐诗及纪，唐玄宗此诗序中谓“天宝三年正月五日”，有误，天宝三年，年初一改年为载，玄宗皇帝自己不会再用年字。又正月五日应亦有误。是年正月初六日驾幸骊山，至二月初五庚午始还都城。而饯送贺知章实分作两次，宋蜀本诗序未系日期，依之。）
接着，皇帝于宫内赐宴，饯别，并命预宴的人都作诗赠别，名满天下的大诗人李白，在情绪低落中，草率地写出一首“送贺监归四明应制”的诗。
接着，贺知章离开长安，由太子李亨主持，有一个盛大的送行宴会。八十五岁的贺知章，自女皇帝证圣元年中进士入仕，在官场中经历了五十九年，终于离开了大唐的皇都而回到江南的会稽故乡去。
他身体依然健康，近年，由于李林甫的当权，连贺知章也受到无形的排挤，他离开，是有着依依不舍的。而在近十年间，他的作风也有改变，在生活上狂恣，不再在政治上求进取了。实际上，他并不是文学上的才人而是政治家。早在开元十三年时，他就同时就任礼部侍郎和集贤学士，当时人认为无比的荣宠，宰相源干曜当时有意引他入相的，但首席宰相中书令张说，虽然是提擢贺知章的人，又不愿这位有锋芒的才人入相，只称赞他的文才。提高贺知章在文华上的地位，列为清高人物，另引李元纮为相。从此，贺知章转了几次官，都在清高部门，有一次转为工部侍郎，算是失职而降级，随后又很快起来，以太子宾客的荣衔而官秘书监。他自知拜相无望，年纪又大了，在人们排挤中，趋向狂放，即使这样，在八十五岁的高龄，还是自请做道士而离开。
。。
《杨贵妃》 第四卷（11）
李白赶到饯行宴，在惆怅中狂饮而送酒中八仙中列首席的朋友，然后，他唱出了下面二十八个字：“镜湖流水漾清波，狂客归舟逸兴多，山阴道士如相见，应写黄庭换白鹅。”
别了，一个集团的首领离开了长安城。
贺知章在秘书监任而兼内职，总是控制皇帝部分机要事务的，他利用自己的地位，也引进四方的才人，使入翰林或其他机构，在朝臣中，他是一派的领袖，显贵如李适之，名望极大的李邕，还有不少有名的文士，和贺知章合在一起，这对李林甫行事是有牵制性的。如今，贺知章这位领袖一走，他的集团等于散了，�