В 1584 году в возрасте 101 года лорд Жан де Понтак (сеньор О-Брион) решил хорошо подготовиться ко дню, когда он отправится на небеса. Он жертвует свои водяную мельницу и окружающие её виноградники Ордену Карамелитов Богоматери.
Священнослужители владели поместьем на протяжении двухсот лет, сохранив в названии поместья фамилию О-Брион, к которой со временем прибавилось обозначение Les Carmes. Не считая этого периода, владельцы Chateau Les Carmes Haut-Brion не менялись вплоть до времен революции. Именно в результате Французской революции владение конфисковали у церкви, а с 1791 оно стало считаться общественным достоянием. В начале XIX века поместье купил Леон Колин, виноторговец из Бордо, прямой предок нынешних владельцев Шато Ле Карм О-Брион — семьи Chantecaille-Furt. В настоящее время хозяйством занимается Дидье Фюр, его жена Каролин и их дочь Пенелопа, примкнувшая к родителям в 2005 году.
Замок XIX века с пятью гектарами виноградников и тремя гектарами парка, разбитого ландшафтным архитектором Фишером, был бы желанным приобретением многих. В 2010 году Chateau Les Carmes Haut-Brion был продан группе компаний Пише (The Group Pichet). Они сразу же выделили большой бюджет на инновации в производстве вин, реконструкцию погребов, но в первую очередь такой подход был рассчитан на сохранение огромной исторической ценности поместья. В настоящее время виноградники занимают 4,7 га. Почва состоит из крупного гравия, песка и глины. На винограднике выращиваются Мерло (50%), Каберне Фран (45%) и Каберне Совиньон (5%). Средний возраст лоз — 35 лет.
