Um das Jahr 1330 errichtete Friedrich der Ramsperger zu Altenramsperg die Burg Neurandsberg, zwei Kilometer vom Stammsitz entfernt. Im Schwedenkrieg 1633 wurde die Burgveste eingenommen und zerstört, seither ist sie nur mehr eine Ruine. Inzwischen nimmt sich ein Burgverein des Erhalts des historischen Bauwerks an.