残粒园建于光绪十年（1884）左右，原为扬州姚姓盐商所有，称为东园，后归姚大赉。

民国16年（1927）后归画家吴待秋（1878-1949）所有，吴待秋取杜甫《秋兴》“红豆啄残鹦鹉粒”之意，改名为残粒园。吴殁后为其子吴?木继承。

1980年被列为苏州古典园林修复规划项目和保护对象。目前残粒园属于私人管理，暂不对外开放。

原宅园占地共约3350平方米，分中、东、西三路。中路依次为门厅、轿厅、大厅、楼厅、堂楼五进。

大厅面阔三间，上面有“春谷堂”。西路花厅“来鹭草堂”，为卷棚式旱船建筑。东路建筑南部为西式平房，是吴待秋的画室、卧室和会客室。东路的中部花园就是残粒园了。住宅北部原辟有较大之后园，以栽竹植果树为主，已废。

整个园子占地400平方米，花园仅140多平方米。园在花厅东侧。由住宅经从园北侧锦窠砖额洞门入园，前置湖石峰屏障，水池居中，池岸湖石叠砌，花木树丛随园而植。池西北墙角处叠湖石假山，中有山洞，循石阶盘旋而上，有半亭名栝苍亭，名取浙江栝苍山。亭内有壁龛书橱，侧门西通花厅，从内宅楼层可通花园，属苏州园林中独见。

园中种有榆树、桂花、天竺、蜡梅、薜荔、广玉兰、爬山虎等。花厅庭院中有湖石叠成的小天池泉眼，高出地面0.6米而终年不涸。壁间嵌有书条石5方。

残粒园兼有苏州园林和扬州园林的风味，在苏州私家花园中别具一格。