西汉元狩二年（前121年）春，汉武帝派遣骠骑将军霍去病，率领骑兵一万，自陇西出发北击匈奴，越过焉支山一千余里，切断匈奴右臂，执浑邪王子，缴获了休屠王宫中的祭天金人。

西汉元狩二年（前121年）夏，经居延及小月氏攻祁连山浑邪、休屠二王，使他们遭到惨重打击。同年秋，匈奴单于因浑邪王屡为汉军所破，伤亡数万，怒不可遏，欲召诛浑邪王。浑邪王杀休屠王，帅众四万余人降汉。

西汉元狩三年（前120年），金日磾因父亲被杀，无所依归，便和母亲阏氏、弟弟金伦随浑邪王降汉，被安置在黄门署饲养马匹，时年仅十四岁。

西汉宣帝时期，休屠王有子二人，金日磾与金伦，皆笃慎忠心于汉朝而受到汉武帝的重用，为西汉著名的辅臣，而后金氏又与许广汉家族、张安世家族、史恭家族联姻，成为西汉四大家族之一，满门列侯。