汉武帝托孤的另一位大臣金日磾将军是一个很有意思的人，他本身不是汉人，而是匈奴人，并且不是一般身份的匈奴人。霍去病大破匈奴时，单于想干掉打败仗的昆邪王和休屠王。这两位王求生的欲望很强烈，于是双双决定向汉投降。两人经过协商决定后，休屠王却又反悔了，想想自己是匈奴贵族，怎么可以向汉人降服呢？再说其部族损失不大，单于未必会真杀他。休屠王一反悔昆邪王就心生不安，于是先发制人，袭击休屠王，将之杀害。然后，他率领休屠王的部下，向汉投降。对汉朝来说言，投降的匈奴贵族只有昆邪王，于是将之列为侯。
昆邪王带来的部下当中，休屠王一家人被认为是反对投降的“贼”，因而成为朝廷奴隶。此时，休屠王的长子金日磾才十四岁。他被送到宫廷厩舍，担任马夫工作。匈奴人可以说是生下来就与马儿为伍的民族。他们都是天生骑手，对照料马匹极有天分。而汉武帝是马迷，没事就爱去马舍看看马匹照料得怎么样。一来二去，汉武帝发现金日磾对马的照顾特别到位，就想起了之前好像有匈奴贵族成为奴隶这回事，就召见了金日磾。当他看到金日磾是个容貌出众的高个子美男子时，武帝立刻决定升他为“马监”，赐汤沐衣冠。史书此一记载，表示取消其奴隶身份。然后，金日磾就成了汉武帝的托孤人选之一。