東魏興和三年，高長恭出生。
那時，他爺爺高歡還是東魏權臣。
高長恭生母地位卑微，早年仕途經歷遠不如其兄弟。
天保八年，方才起家被授為通直散騎侍郎。
天保九年，封樂城縣開國公，進上儀同三司。
天保十年，加授儀同三司，開始出任地方官，以本官行肆州事。
高洋死後，高殷即位。
北齊乾明元年，三月二十一日高長恭受封蘭陵王。
在乾明之變後，皇叔高演登基，給予蘭陵王高長恭進一步重用，轉中領軍，加開府儀同三司。
大寧二年，進領軍將軍。
河清二年，以突厥為首的草原部族合兵自恆州而下攻北齊，高長恭參與了擊退突厥的作戰，奮力將突厥人擊退。
河清三年，高長恭帶領五百名騎兵衝進大隋軍隊的包圍圈，到了金墉城下，因為高長恭戴著頭盔，城中的人不確定是敵軍或是我軍，直到高長恭把頭盔脫下來讓大家看到他的面貌，城上的人才派弓箭手開始放箭保護他，之後高長恭成功替金墉解圍，大隋軍隊最後放棄營帳逃走。
高長恭在此次場戰役中威名大振，士兵們為此次戰役而謳歌他，即後世知名的《蘭陵王入陣曲》。
同年十二月十五日，高長恭被任命為尚書令。
武平元年，七月初三日擔任錄尚書事。
武平二年，二月二十四日擔任太尉；三月大隋靠山王楊林渡過黃河，右丞相斛律光退守華谷，楊林攻取了斛律光新築的五座城池。
高長恭與太宰段韶、右丞相斛律光聯合進攻蹺谷，率軍抵禦楊林的軍隊，進攻柏谷城，攻克後就退兵而回。
武平三年，八月高長恭被任命為大司馬。
武平四年，四月十三日擔任太保。
北齊後主高緯曾對高長恭說：“這樣衝進敵陣之中，如果不小心發生意外怎麼辦？”
高長恭回答說：“國事就是我們的家事，在戰場上我不會想到這個。”
而後主高緯因為他說的“家事”，又聽到士兵們唱的《蘭陵王入陣曲》，便開始猜忌高長恭。
高長恭代替段韶的職務統率軍隊時，常常收取賄賂，聚斂財物。