被征发去当契胡人的奴兵，都有生不如死的感觉。高欢假装军命严急，从军中简选万余兵士，马上催促出发。部将孙滕和尉景也假装为士兵请命，宽缓五日。士兵又忧又惧，高欢接着又假意再宽缓五日行期。
待到六镇军士的惊恐酝酿得差不多，火候正好，高欢作为统帅，与这支万余人的先遣军举行告别式，他自己也泪落如雨，做出一副万般无奈的样子。即将踏上去山西之路的士兵一片嚎哭之声，悲从中来，惊天动地。高欢叹息一声，说：“我和你们都是镇户出身，一家人呵。现在西去打仗，肯定得死！迟误军期，到目的地后也得死；发配给契胡人当部曲，还得死！总之，都是死路一条。我们该怎么办呢？”士兵们马上齐呼：“只有造反！”高欢很焦急的样子：“造反是不得已的事情，谁能带头呢？”将士雀呼，共推高欢。高欢一副万不得已，为众担罪的样子。踌躇再三，他对六镇降兵说：“你们这些人乡里乡亲很难统驭。想想看，葛荣有百万之众，就是没有军规战纪，散漫无制，最后难逃败亡。如果你们推我为领军，就不能再像从前一样，不能随意欺负汉人（六镇降兵多为鲜卑人），不能违犯军令。不然的话，我可不和你们一起造反。”“生死由您做主！”万余军士同声呐喊。于是高欢杀牛宰羊，犒赏士兵，在信都起兵。
为了名正言顺，高欢与属下拎出魏朝宗室、渤海太守元朗为帝。532年，高欢初次与尔朱兆交锋，以少胜多，在广河大败尔朱兆，俘获五千多人。尔朱兆、尔朱世隆等人在尔朱荣死后兴兵，杀入洛阳后缢死魏庄帝，立节闵帝，宰制天下。后来一家人窝里斗，各怀异心，相互猜阻。忽然之中生出高欢这么个共同的敌人，反而一条心联合起来。尔朱天光从长安出发，尔朱兆从晋阳举兵，尔朱度律发自洛阳，尔朱仲远从东郡赶赴，四路大军共二十万人在邺城汇集，夹洹水列阵，准备和高欢决战，想一举攻灭这个“忘恩负义”的“贼子”和他手下六镇降附兵士。
高欢派封隆之留守邺城，亲自率兵马屯兵紫陌。其时，高欢战马不满两千，兵不过三万，而敌兵有二十万之众。众寡不敌情势之下，高欢用牛驴连系在一起堵塞自家军队的退路，在韩陵一带摆成圆阵，兵无退路，都有必死之心。两军交战在即，尔朱兆立马于阵前责骂高欢反叛尔朱氏。高欢此刻理不亏辞不穷：“本来我们是想一起共同辅佐皇帝，现今天子何在？”尔朱兆策马言道：“永安王（被杀的孝庄帝即位前的封号）枉杀太原王（尔朱荣），我为报仇才做出这样的事。”高欢大声叱责：“从前我们一同在尔朱荣帐下，你劝他造反的事我都清楚。况且，帝王杀大臣，何报之有！今天我和你恩义断绝！”言毕，两军交战。高欢自领中军前突，大将高敖曹将左军，高欢堂弟高岳将右军。高欢中军迎战不利，被逼后退。尔朱兆军直扑而来。高岳率五百骑兵突前迎敌兵，高欢另外一个将领斛律敦将败退四散的兵士重整旗鼓从尔朱兆后面又扑上去，大将高敖曹自率一千多骑兵横击而入阵中，尔朱兆军大败。败逃之际，尔朱兆对慕容绍宗捶胸大叫：“不用公言，以至于此。”
慕容家族四散奔逃。本来就首鼠两端的大都督斛斯椿等人抢先一步回到洛阳，尽杀留守的尔朱氏党羽。尔朱世隆、尔朱度律、尔朱天光相继被俘斩。为尔朱氏所立的节闵帝派人慰劳高欢。高欢此刻觉得从前所立为帝的安定王枝属疏远，就派属下魏兰根前去观察节闵帝为人如何，准备重新迎立他。魏兰根认为节闵帝神采高明，恐怕日后难以挟制。高乾兄弟及其他手下也劝高欢说节闵帝是尔朱氏所立，其名不正，劝高欢废掉他。高欢就把节闵帝幽禁在寺庙中。拣来挑来，选中平阳王元修。当时元修正躲藏在和他关系不错的散骑侍郎王思政那里，突然见到王思政带高欢人马来找他，吓得面无人色：“您是把我出卖了吧？”思政说不是。又问：“能保我一命吗？”思政答：“世事变化无常，我真的说不准。”元修被四百骑兵拥夹在中间，到高欢大帐中。高欢下拜陈述衷由，泪下沾襟，元修回拜，表示不敢。王爷这时才知道不是要杀他，而是要立他为帝。安定王手写的禅位表已经递到他手中，于是签字同意。元修成为皇帝，是为北魏孝武帝。
五月，魏朝鸩杀节闵帝（时年三十五）。又杀曾经为帝的安定王元朗、东海王元晔。又杀孝武帝叔父汝南王元悦。
魏朝孝武帝纳高欢女儿为皇后。高欢成为国丈。
转年，尔朱家族最后一个漏网之鱼尔朱兆在秀容兵败，被逼自缢。尔朱氏最后一个钉子被拔掉。尔朱兆大将慕容绍宗携尔朱兆妻子及余众归降，高欢以其忠义，待其甚厚。他深知“各为其主”的道德，并未因从前慕容绍宗向尔朱兆进言要杀自己而计前嫌。
宰制朝廷，魏裂东西
原属节闵帝臣下、又奔抢回洛阳杀光尔朱氏党羽的斛斯椿见到高欢势力强大，心中很不舒服，他与南阳王元宝炬，武卫将军元毗和王思政一同劝说孝武帝除掉高欢。斛斯椿重新安排宫内都督人选，增加侍卫人数，选出数百骁勇武士担任孝武帝的近卫军。皇帝又多次以出猎为名，与斛斯椿排兵布阵，互相密谋。又派人与在外拥兵的贺拔岳、贺拔胜兄弟暗中联络，准备内外响应。魏朝司空高乾本是高欢的死党，孝武帝想收买高乾以为已用，借一次在华林园宴饮的机会忽然要与高乾拜盟结为兄弟。由于事出忽然，高乾来不及多想，表示自己“以身许国，不敢有二心”。而后见到孝武帝增加武卫，又屡屡交结外臣贺拔岳等人，知道事变即将发生，暗中劝高欢准备。高欢把高乾召至并州面议，高乾就劝高欢自立为帝。高欢当时觉得时机还不成熟，装出非常害怕的样子拒绝了高乾的提议。高乾进退两难，猜不透高欢心思，在都城朝廷里夹在两派之间很难受，于是密启高欢，要求外派，被任命为徐州刺史。孝武帝获悉高乾要外任为官，害怕他泄漏自己密图高欢的事，就先发制人，诏告高欢说高乾与自己立过盟誓，反复两端。高欢得知高乾与孝武帝盟约一事也很生气，就把高乾劝自己称帝的事通知给孝武帝。两个人聚在一起，把高乾召至殿上质问。高乾被双方所卖，这位自少就“性明悟、俊伟有智略”的河北豪杰也无计可施，说：“陛下您自立异图，现在反过来说为臣我反复。人主加罪，无话可说！”于是赐死。孝武帝又派人去杀高乾的弟弟高敖曹。高敖曹劫夺诛杀自己的敕令，带领十几个人奔晋阳投奔高欢。高欢与他抱头痛哭，大叫“天子枉杀高司空”。高乾另一个弟弟高仲密也投奔高欢。借皇帝之刀杀人之兄，而又能获得被杀者二弟的尊信，高欢手腕之高，由此可见一端。
534年，魏孝武帝准备率军攻伐驻扎在晋阳的高欢，下诏戒严，声称要南伐梁国。又和斛斯椿征发河南诸州兵马，在洛阳近郊进行大阅兵。为了麻痹高欢，他密诏给高欢说要带兵攻打关西的宇文泰和贺拔胜。高欢何等人，他马上回复，说自己属下五路兵马共二十二万已出发，助援皇帝征讨，并清除朝中奸佞，实际上是讲明了我已带兵赶赴洛阳要和你争个高下。孝武帝此时不得不和高欢摊牌，他令中书舍人温子升（此位正是为孝庄帝草诏诛杀尔朱荣的那位爷，他的才华，公认是北朝第一。高欢日后确实没有怪罪他，还给他官当，很像当年曹操欣赏陈琳骂绝自己祖宗八代檄文那样的胸怀。高欢死后，儿子高澄上台后怀疑温子升与叛乱有染，在让他撰完《神武碑》文后，关进晋阳大狱，不给饭吃，饿得这位大才子直吃自己棉袄里面的棉花，活活饿死）以自己名义给高欢写了一封历史上有名的书信。书信内容如下：
朕不劳尺刃，坐为天子，所谓生我者父母，贵我者高王。今若无事背王，规相攻讨，则使身及子孙，还如王誓。近虑宇文为乱，贺拔应之，故戒严，欲与王俱为声援。今观其所为，更无异迹。东南不宾，为日已久，今天下户口减半，未宜穷兵极武。朕既暗昧，不知佞人为谁？顷高乾之死，岂独朕意。王忽对昂（高敖曹名昂）言其兄枉死，人之耳目何易可轻！如闻库狄干语王云：“本欲取懦弱者为主，无事立此长君，使其不可驾御，今但作十五日行，自可废之，更立余者。”如此议论，自是王间勋人，岂出佞臣之口！去岁封隆之叛，今年孙滕逃去，不罪不送，谁不怪王。王若事君尽诚，何不斩送二首。王虽启云“西去”，而四道俱进，或欲南度洛阳，或欲东临江左，言之者就应自怪，闻之者宁能不疑！王若晏然居北，在此虽有百万之众，终无图彼之心；王若举旗南指，纵无匹马只轮，犹欲奋空拳而争死。朕本寡德，王已立之，百姓无知，或谓实可。若为他人所图，则彰朕之恶；假令还为王所杀，幽辱齑粉，了无遗恨！本望君臣一体，若合符契，不图今日；分疏至此！古语云：“越人射我，笑而道之；吾兄射我，泣而道之。”朕即亲王，情如兄弟，所以投笔抚膺，不觉唏嘘。
文人刀笔犀利，把皇帝一番忧惧无奈、不甘示弱、晓以大义、表面贬损自己实际威胁对方的心迹披露无疑。
书面文字虽美轮美奂，高欢丝毫不为所动，只是上表极言斛斯椿等人的罪恶，兵进不止。孝武帝亲信中军将军王思政劝皇帝避高欢兵锋，前往关中依附宇文泰军队。东郡太守裴侠是个明白人，对王思政说：“宇文泰为三军信服，位处关中形胜之地，已握权柄，怎会轻易让权于人（指孝武帝一帮人）？如果去投靠他，无异于避汤而入火啊。”王思政觉得很有道理，但南去荆州又离敌国宋朝太近，就问该怎么办。裴侠说：“与高欢相战有立至之忧，西奔到宇文泰处有将来之虑，先往关右一带驻军观察一下�