博物馆的初始部分，也就是后来人们所熟知的国家美术馆西馆是由艺术品收藏家安德鲁•梅隆资助的。20世纪30年代后期，建筑师约翰•拉塞尔• 波普受雇设计这座博物馆，他在设计之初就为建筑未来的扩建预留了空间。
数年之后，梅隆的儿子保罗负责为博物馆的扩建挑选建筑师。他转而找到了在20世纪具有前瞻性的建筑师——贝聿铭。

对于贝聿铭来说，有两个突出的因素导致设计变得非常棘手，那就是建筑的外形和功能。为建筑预留的狭小的梯形场地使人不知从何入手。北侧呈一定角度的宾夕法尼亚大道限制了场地的范围，使场地的外形十分奇怪。南侧的国家广场也给设计师造成了同样的困扰。
此外，相邻的场地包含在总统的就职活动路线中，这也限制了建筑的场地。但是设计的重中之重就是建筑要与国家广场的宏伟规模相匹配，同时又要与既有的西馆新古典主义的风格相协调。

在研究了场地的形状后，贝聿铭采用了与梯形场地结构相呼应的建筑形式。在首次与贝聿铭就场地问题进行讨论的时候，他说自己“首先用一条对角线将梯形分为两个三角形。这就是设计的开始。”第一个三角形是等腰三角形，它将容纳展览空间。第二个三角形是直角三角形，它将容纳行政办公室、一座图书馆和艺术研究学习中心。
等腰三角形成为了贯穿建筑始终的母题，从大理石地板、钢框架到玻璃天窗，都能找寻到它的踪迹。建筑的六边形电梯和梯形办公桌也重复应用了锐角三角形和钝角三角形图案。

西馆的特点是平衡和对衬，为了在视觉上与这种新古典风格保持统一，容纳当代艺术品的东馆的外立面采用了同样应用在其他建筑中的淡粉色Tenesse大理石。室内墙体由同种石材的粉末与混凝土的混合物装饰，颜色优美大方。

第二个统一的要素就是强有力的轴线连接。东馆的主入口通道与西馆的东西轴线相交，在两座建筑间构建了一座小广场。小广场借助大理石铺地材料和玻璃金字塔等元素与其他区域区分开来。玻璃金字塔与东馆的框架天花板相呼应。这些玻璃金字塔就此成为了贝聿铭博物馆设计的标志。

室内有一个大型的中庭，十分开阔，引得游客举目仰望。他们可以审视整个建筑，毫无局促之感。贝聿铭想要对室外和三角形设计棱角分明的线条进行改造，但是他懂得要用温暖和热情的氛围来软化这些线条才是上策。他设计了大型的圆形花池，以此来中和这些棱角。每个花池中都种植着热带树木，有助于游客在大型中庭内感知空间的开阔。