Музей Нэдзу появился в 1940 году в виде частной коллекции местного бизнесмена, политика и филантропа Нэндзу Кайчиро на территории его дома и сада. Ввиду нахождения вдали от центра Токио в мае 1945 года здание избежало разрушения. Спустя год музей был снова открыт для посетителей.
В 2006–2009 годах в нем проводилась реконструкция, по завершению которой публике предстало новое здание музея по проекту японского архитектора Кенго Кума. Сегодня это лаконичное 2-этажное здание, на территории которого можно отдохнуть от шума большого города, наслаждаясь журчанием воды и пением птиц.
На территории музея разбит сад, оформленный в японском стиле. Сквозь буйную зелень видны каменные статуи. Также в саду действует кафе, с окон которого открывается красивый вид на окружающие деревья и растительность, на пруды и водопады. Есть специальные домики, где организуются чайные церемонии.
Каждый сезон организуется выставка японского и чайного искусства. В сезон устриц тоже проводится соответствующая выставка.