Кудзиро Кояма начал выращивать здесь чай в эпоху Гэнроку (1688-1704). Через четыре поколения семья расширилась до продаж, а через восемь поколений они расширили свой рынок, чтобы охватить всю Японию.
Это древнее святилище - одно из мест, где была возведена Аматэрасу, синтоистская богиня солнца, перед тем, как переехать в великое святилище Исэ-дзингу в префектуре Мие.
Храм Анаодзи занимает 21-е место среди храмов паломничества Сайгоку Каннон (паломничество в 33 храма по всему региону Кансай, все из которых хранят главный образ бодхисаттвы Каннон).