Caol Ila с гэльского языка переводится как «пролив Айлей». Завод был основан в 1846 году Гектором Хендерсоном в одном из красивейших и диких мест западной Шотландии — на северной части острове Айлей, на самом берегу моря, возвышаясь над проливом между островами Айлеем и Юрой.
Место было выбрано неслучайно — рядом с богатым известью кристально чистым озером Loch Nam Ban, которое обеспечивает главную поставку воды. Несмотря на частую смену владельцев, завод работал почти постоянно, за исключением периода с 1930 по 1937 год и во время Второй мировой войны.
В 1927 Distillers Company Limited приобрела контрольный пакет акций Caol Ila и в 1930 Scottish Malt Distillers Ltd получила собственность всех акций. Компания в конечном счете стала частью Diageo. Чтобы удовлетворить возросшую потребность в купажированном виски, завод был полностью реконструирован между 1972 и 1974 годами. Все здания были разрушены и построены заново (кроме складов), в том же архитектурном стиле, что и оригинал, но большими по размеру и оснащены самым лучшим оборудованием. Вместо двух, было установлено шесть новых медных перегонных аппаратов в форме луковиц, в точности повторяющих старые, что гарантирует отличительное качество виски Caol Ila.