五峰园在阊门西街下塘，今五峰园弄，占地约2.5亩。
园始建于明代嘉靖年间，为长州尚书杨成所筑，俗称“杨家园”、一说园为文征明之侄画家文伯仁所筑，文伯仁号五峰老人。
园中耸立五座太湖石峰，高二丈，颇极皱瘦玲珑之致，并峙高阜间，形似老丈，又名五老峰，分别为“丈人峰”、“观音峰”、“三老峰”、“庆云峰”及“擎云峰。
全园以五峰胜，辅以水池，有峭壁、峡谷、山洞、石桥、古树、旱船、园亭、岩洞等景。园西南角有土墩，俗传为唐柳毅墓。
该园屡易其主，抗日战争前后，园散为民居。园因年久失修，水池填塞，二座石峰倾倒。1982年，五峰园被列为市级文物保护单位，曾稍加保护整修，于1998年10月1日修复完毕，正式对外开放。