Памятник репрессированным советской властью находится в вильяндиском Парке музыкальных инструментов, между церковью Святого Иоанна и главным зданием мызы Вильянди.
Первые упоминания о церкви в Пайсту относятся к 1329 году в описании набегов литовцев. Построенная, по-видимому, в конце 13-го века каменная церковь первоначально была без башни.
Музей находится в старом здании аптеки, на двух его этажах размещается экспозиция, которая отображает историю Вильяндимаа вплоть до середины 20-го столетия.