但自西漢以來，與匈奴反覆纏鬥，皮衣漸漸染上了一層「胡風」。因為胡人就穿這個，慢慢形成了刻板印象，大大減少了中原皮衣的數量。
南北朝的時候，皮裘風有所回暖，並一直持續到了安史之亂。在這個時間節點以前，中原皮衣還是不少的，至少比兩漢時多。
安史之亂後，老百姓沒怎麼抵制皮衣，但儒家士人開始大量抵制，
他們掌握話語權，貶低了皮衣的地位。
但由於是武夫當國時期，這種抵制並不徹底。以唐、夏軍人為例，戎服邊緣經常有皮毛點綴。比如唐長樂公主墓壁畫中，軍士裙甲下緣就加了一圈皮毛，日「獸皮戰裙」。
再加上蕃人軍士極多，他們可不管什麼，穿獸皮褲的都有。最絕的是，後世出土的墓葬中，還有穿性感豹皮褲的。
但到了宋代，皮衣的地位就直線下降，到了穿出去要被人罵的地步了。
「一日，（徐鉉）見其婿亦被毛裘，責曰：「吳郎上流，安得效此？」淑曰：「晨興苦寒，朝中服者甚眾。＇鉉曰：＇士君子有操者亦未嘗服。」」
這是徐鉉罵他女婿的。
「中朝自五胡猾亂，其風未政，荷氈被毳，實煩有徒。」這是徐鉉罵同僚。
從這裡可以看出，邵樹德最初的擔心是有道理的，即中原人對皮衣有點刻板印象了，認為這就是胡人的衣服。
但也可以從中看出，至少在北宋初，因為天氣寒冷，上朝的官員穿皮裘的還是很多。只不過隨著時間推移，北宋士人越來越敏感，與徐鉉持同樣想法的人越來越多，漸漸使得皮衣沒落，最後徹底與胡人劃上等號，從上流社會銷聲匿跡。
其實大可不必，就是件衣服而已，況且先秦之時中原人穿的皮衣老多了。
「自賣魚之後，聖人又要賣皮衣。還是內務府做的衣服，真是絕了。」趙匡明笑道：「那就—」「多買幾件？」姚洎笑問道。
「買！」趙匡明哈哈大笑，道：「胡餅天天吃，胡衣就穿不得麼？」說完，讓隨從拿來錢帛，把那幾件白鼬皮衣全買下了。
「這裘還不錯，暖和，也挺漂亮。」趙匡明當場穿了一件，奇道：「怎正適合我大小？」
「這是成衣。」姚洎說道：「長夏商行做了幾等衣物，魁梧大漢可買甲等，衙內穿乙等正合適。」「原來如此。」趙匡明說道：「皮子也買點吧，冬日天寒，回去可給家人做上幾身。」
姚洎笑道：「若中原之人都如衙內這般，契丹何必打生打死？光賣賣皮貨，頭人們就賺得盆滿缽滿，牧人也能分點湯湯水水，那還南狩個什麼勁？」
趙匡明若有所悟。
「近幾年，河套蜂蜜風行關西、河南，甚至有遠售至襄陽、江陵者。」只聽他說道：「參州、柔州產糖，洛陽亦不少見。如果再算上毛布、皮裘陰山、代北蕃部可賺了不少錢啊，難怪他們這麼老實。」
姚洎點了點頭，道：「蕃人從軍征戰，可立功受賞，可封爵當官，還有毛布、蜂蜜、紅糖、皮貨、牲畜等物售賣至中原。中原之日用品又行銷草原，全不受限，沒有時關時閉的榷場，草原牧人買貨時不用被人狠狠宰一刀，日子確實好過了太多。再這麼下去，怕是都要被養廢了。」
「這便是聖人對付草原的兵法麼？」趙匡明問道。「無上兵法。」姚洎肯定地點頭。