На месте  дворца когда-то было Холирудское аббатство, основанное еще в XII веке. С XIV века аббатство активно использовалось для свадеб королевских фамилий и для коронации. Со временем, гостиница при аббатстве стала неофициальной резиденцией шотландских королей, а затем Яков IV, построив на месте гостиницы дворец, сделал ее резиденцией официальной.

Сейчас этот дворец используется как резиденция королевы Великобритании во время ее официальных визитов в Шотландию - устоялся такой обычай, что как минимум неделю за год королева должна провести здесь. Однако если вам повезло, и вы попали в остальные 51 неделю года, то вы спокойно можете дворец посетить - королевы нет, хата гуляет.