《北齐书·神武帝纪》卷一,记载:“齐高祖神武皇帝姓高名欢,字贺六浑。”其先祖“坐法从居怀朔镇”。公元496年,北魏六镇之一怀朔镇有“赤光紫气之异”,神武帝高欢出生,怀朔镇治所即今日包头固阳县城古城。
高欢自幼在姐夫鲜卑人尉景家中长大,习俗已完全鲜卑化。高欢相貌不凡,目有精光,长头高颧,齿白如玉。高欢家境贫寒,一次在城上服役,偶然被一负责征发徒役的司徒内干之女娄氏看中。娄氏字昭君,多少人给她提亲都不如意,一见高欢就失口大呼:“这就是我的丈夫!”她不顾父母反对,偷偷让奴婢给高欢传情送意,还解囊相助。发誓“愿得一心人,白头不相离。”父母无奈只好答应这婚事。婚后高欢方才有钱买了马,成为怀朔镇队主,后转任函使。娄氏一生贤良宽厚,以恩信待人,以清俭自律。生六男三女。
高欢成了函使,往来怀朔镇与京城洛阳之间达六年之久。他能倾产结友,“十旬休暇,胜友如云”。孝昌元年(公元525年),北魏柔玄镇(内蒙兴和)杜洛周在上谷(张家口一带)起兵反魏,高欢参加了起义军。不久高欢又投奔怀朔镇将葛荣领导起义军。次年,高欢投降镇压起义军的尔朱荣部尔朱荣其父是契胡部落首领,曾被魏孝文帝封为右将军,尔朱荣袭其父爵位。高欢投奔尔朱荣,尔朱荣想试试高欢本领,从马厩拉出一烈马让高欢骑,高欢不加羁绊一跃而上,烈马竟然不跳不咬任高欢驾驭,尔朱荣为之一惊。继而尔朱荣问高欢对时政的看法,高欢说:“方今天子愚弱,太后淫乱,孽宠擅命,朝政不 行,以明公雄武乘时奋发,讨郑俨徐纥而清帝侧,霸业可举鞭而成。”(《北史·齐本纪》卷6上,)此言正合尔朱荣称霸之意,马上命高欢为亲信都督。