《江渚風林圖》曾著錄於吳湖帆《醜簃日記》1938年3月3日的日記中：
又蔣穀孫取來雲林小幅，即董香光賞識之“江渚暮潮初落，風林霜葉渾稀。
倚杖柴門闃寂，懷人山色依微。
至正癸卯九月望日戲為勝伯徵君寫此，並賦小詩。
倪瓚一圖也。
此畫為項子京舊藏，後歸高江村，載入《銷夏錄》中者。
下角有“宋學士景濂”一印，精品也。
“宋學士景濂”印應是“金華宋氏景濂”印。
但在當天的日記中並未明確記載：《江渚風林圖》是還給了蔣穀孫，還是留在了梅景書屋。
而在三個月後的6月26日日記中又有記載曰：
曹友卿攜穀孫易物來，帶去倪雲林《江渚風林圖》、毛影宋鈔《梅屋詩餘》、《石屏長短句》、《槃齋樂章》三書、《花草粹編》一部、金孝章校明鈔《金國南遷錄》一本、宋刻《後村詞》一卷，倪畫原非易中物，毛鈔《梅》、《石》二種餘舊藏。
帶來餘舊藏《漢侯獲碑》二軸、元拓《史晨前後碑》二本、明拓《景君》、《韓敕》、《鄭固》三碑及張伯雨書軸。
以上三物去年易去，餘為託穀孫經售梁楷畫，故易之。
後梁畫未成交，餘欲易還，而穀孫不肯，索之再三，終不理會。
近觀雲林《江渚風林圖》被餘扣住將一月，乃得將原物易歸，蓋五漢碑皆外祖沈公物也。
上述之事的大致經過是：
吳湖帆曾委託蔣穀孫賣掉一幅梁楷畫，而將《漢侯獲碑》等五種漢碑拓本轉賣給了蔣氏。
但因梁楷畫後來未能成交，所以吳湖帆就想將五種漢碑拓本贖回。
但他再三追索，蔣氏始終不肯。
而恰好蔣氏的藏品《江渚風林圖》一個月前已在吳湖帆手中，所以扣下倪畫不還。
蔣氏無奈之餘，只得託曹友卿將五種漢碑拓本歸還。