Старинный особняк был построен XVIII веке в пригороде Вашингтона. В 1920 году дом был выкуплен Милдред и Робертом Вудсом Блисс. Супруги провели достаточно много работ, чтобы довести здание до его современного состояния. Они создали большую резиденцию в стиле колониального возрождения и значительно увеличили территорию особняка.
Блиссы были страстными коллекционерами. Поэтому в 1933 году, сразу после выхода на пенсию, они начали активно трудиться над увеличением своих коллекций. Они собирали предметы искусства, относящиеся к Византийской империи и коренным американским цивилизациям, а также научные книги, тем самым создав предпосылки для основания Научной библиотеки. Их сборник литературы включал в себя 8000 трудов о Византии, что сделало Думбартон-Окс крупнейшим центром мировой византинистики. В 1940 году особняк был передан в собственность Гарвардского университета.
Благодаря расширению и модернизации усадьбы получилось превратить ее в настоящее хранилище знаний о средневековье и доколумбовой Америке. Именно здесь можно увидеть самые редкие экспонаты ушедших эпох. В 2008 году в здании была проведена масштабная реконструкция, в том числе исторических комнат.