Замок постійно переходив від одного власника до іншого. У кінці XIX століття Олеський замок був схожий на руїну.
Дехто розповідає, що тіло молодої дружини було замуроване у камяні стіни замку.