便將衛青交給了他的父親，然而衛青的父親也是有著家室的，因此衛青並不受待見，年僅五六歲的衛青，便只得去給父親放羊等。
同時還要受到其他兄弟的欺負。
直到衛青長大點，然後有了自己的主見以及能力之後，才選擇回到了母親的身邊，但是母親的生活也不好，還是下人。
因此衛青也只得選擇做平陽公主的奴僕，生活才有所改善，不過依舊不盡人意。
而衛青命運的改變，無異於是其姐姐衛子夫被漢武帝看中進宮。
當時漢武帝的皇后陳阿嬌一直沒能夠生育子嗣，因此很多人多漢武帝頗有微詞。
而平陽公主作為漢武帝的姐姐，自然也是非常著急。
因此趁著漢武帝做客平陽府，便向他推舉了很多的美女。
在眾多女子之中不乏大家閨秀，但是漢武帝最終也就是選擇了衛子夫。
雖然此時的衛子夫不過是一個平陽府之中的侍女，但是皇帝看中的，自然也就送進了皇宮。
然而進入之後便長達一年多沒有了音信，直到漢武帝打算精簡皇宮之中的侍女、奴僕之時，才又看到了衛子夫。
這次衛子夫忠於懷有了身孕，受到了漢武帝的重視和寵幸。
然而卻引起了當時還是皇后的陳阿嬌的不滿，為了報復衛子夫，陳阿嬌竟然派人去謀害衛青。
幸虧被同僚公孫敖所就，才得以活命。
在漢武帝得知此事之後，為了保證衛子夫以及其家人的安全，便將衛子夫封為了夫人，衛青被封為侍中。
而隨著衛子夫的第一個孩子降世，衛子夫的地位也水漲船高，得到了漢武帝的寵愛，尤其是漢武帝對衛長公主極為喜愛，因此恩賞也逐漸惠及衛青。
之後衛青的崛起其實和漢武帝的內外朝制度有著很大的關係。
漢武帝為了加強中央集權，削減丞相的權力，便著手設立內外朝制度。
而衛青作為侍中，正是漢武帝極為親近之人，受到了漢武帝的重用，經常和漢武帝出入，參與政治決策。
而漢武帝為了培養自己的親信，有著衛子夫的關係，衛青的官職一再提高，成為了太中大夫。
並且此時衛青的軍事才能也逐漸的顯現，開始向軍事方面發展。
因為漢武帝認識到了培養自己黨羽的重要性，對衛氏一族都有著極大的封賞，衛青的幾位姐姐都嫁給了當朝顯貴。
為什麼衛青能夠從一個侍中文官逐漸轉變為武將呢，其實和他之間的工作有關。
在平陽府為奴的時候，乃是騎奴，也就是掌管馬匹等事務的，因此衛青的騎術非常好。
加上身為漢武帝身邊親近之人，也是經常和漢武帝出去打獵等，逐漸被漢武帝發現了衛青的軍事才能。
因此得以在公元前129年被封為車騎將軍，領兵討伐匈奴。
而這才是衛青自我展示的開始，面對匈奴的入侵，衛青屢屢獲勝，封爵也日漸尊貴。