Grosshandlare G.R Prytz byggde upp Wilhelmsberg på 1820-talet på en tomt vid Danska Vägen som han arrenderat av fru Svantesson i Underås. Han lät uppföra ett badhus vid det gamla fallet i bäcken vid kyrkan. Fördämningarna orsakade översvämningar och badhuset flyttades till Särö.
När biskop Wingård förvärvade Wilhelmsberg blev biskop Esaias Tegnér en ofta sedd gäst. En annan besökare var drottning Desirée som trivdes här och gjorde små spatserturer till Storatorpsbergen. Viktor Rydberg kallade huset “ett af de täckaste landthusen i Göteborgs grannskap”. Den gamla trävillan, även kallad “biskopsvillan”, flyttades till Södra vägen när “stenslottet” byggdes på dess plats år 1870. En bildhuggare och stuckatör Richter köpte villan ihop med en kollega och flyttade in med sin familj. Flickorna Leoni och Else Richter bodde här i 85 år.
När Världskulturmuséet planerades revs villan 1999 för att återuppföras på Alelundsgatan. Den är Göteborgs äldsta trävilla och ägs av Higab.