《史记》记载，淮南王刘安打算谋反时，问谋士伍被：“崤山之东若有兵战，朝廷必派大将军（卫青）统兵镇压，您认为大将军是怎样的人？”伍被说：“我的好友黄义，曾跟随大将军攻打匈奴，归来告诉我说：‘大将军对待士大夫有礼貌，对将士有恩德，众人都乐意为他效劳。大将军骑马上下山冈疾驶如飞，才能出众过人’。我认为他能力很高，又屡次率兵征战通晓军事，不易对抗。”
谒者曹梁出使长安归来，也说大将军号令严明，对敌作战勇敢，常身先士卒。安营扎寨，井未凿通时，士兵都喝上了水，他才肯喝。军队出征归来，士兵渡河已毕，他才过河。皇太后赏给的钱财丝帛，他都转赐手下的军官。即使古代名将也无人比得过。”
后来，淮南王做谋反的准备，派人假装获罪后逃出淮南国而西入长安，给卫青和丞相公孙弘供事，意欲一旦发兵起事，就让他们先刺杀卫青，再说服公孙弘，之后便如同揭去一块盖布那么轻而易举了。
