Своеобразие церкви – в её кривой башне, которая из-за плохой почвы наклонилась на один метр на запад. В средние века церковная жизнь Каркси была связана с городищем.
Памятник репрессированным советской властью находится в вильяндиском Парке музыкальных инструментов, между церковью Святого Иоанна и главным зданием мызы Вильянди.
Первые упоминания о церкви в Пайсту относятся к 1329 году в описании набегов литовцев. Построенная, по-видимому, в конце 13-го века каменная церковь первоначально была без башни.