Ovaj zamak je prvi put izgrađen u 14. veku, a tamo je odrastala i kraljica majka – pokojna majka kraljice Elizabete II.
Veruje se da je naseljen gomilom duhova, uključujući Sivu damu ili Gospođu od Glamisa, inače poznatu kao Lejdi Dženet Daglas.
Ona je optužena da je ubila svog supruga trovanjem i da je koristila veštice za svrgavanje kralja Džejmsa V iz Škotske. Nakon toga spaljena je na lomači, u Edinburgu, 1537. godine.
Priča se da njen duh i dalje lebdi u kuli sa satom, ostavljajući trag pepela. Žena bez jezika viđena je kako luta parkom oko dvorca, a duh dečaka sluge iz 18. veka, koji je bio strašno maltretiran, navodno obitava oko vrata kraljičine spavaće sobe.
842 Pregleda