当时，车骑将军，仪同三司，并州、肆州、汾州、广州、恒州、云州六州讨虏大都督尔朱荣兵势强盛，朝廷也忌惮他。高欢、段荣、尉景、蔡俊之前在杜洛周党中，想要杀死杜洛周，没有成功，逃奔葛荣，又亡归尔朱荣。刘贵在尔朱荣处，屡次推荐高欢，尔朱荣见高欢形容憔悴，并不认为他有什么出奇之处。高欢跟从尔朱荣到马厩，马厩里有一匹悍马，尔朱荣命高欢给马剪鬃毛，高欢不用缰绳捆绑，那马直接就乖乖地让他把鬃毛剪理了，既没有踢，也没有咬。高欢起身，对尔朱荣说：“驾驭恶人，也是如此而已。”尔朱荣对这句话印象深刻，让高欢坐在身旁，屏退左右，问他对时事的看法。高欢说：“听说您的马布满十二个山谷，依照毛色不同，分别成群，养这么多马，用来做什么呢？”尔朱荣说：“只管说出你的看法！”高欢说：“如今天子软弱，太后淫乱，嬖孽擅命，朝政不行。以明公之雄武，乘时奋发，讨郑俨、徐纥之罪以清帝侧，霸业可举鞭而成，这就是我的看法。”尔朱荣大悦，跟他从中午谈到半夜才放他出去。从此每次都让高欢参与军事会议。