Byn Torp är mycket gammal. Den låg vid Korpbergets fot. Det som finns kvar idag är stenhuset på Stora Torp och på sluttningen av berget kan man se rester av hägnader.
Fyra familjer kan ha bott i byn. Man levde mest av boskapsskötsel och alla måste hjälpas åt med hägnaderna, så att de små tegarna inte blev skövlade av boskapen. Att vara herde var ansvarsfullt. Det fanns kvar björn in på 1600-talet.
När Stora och Lilla Torp bröt sig ut och byggde ”eget”, försvann byn. Stora och Lilla Torp var frälsehemman under Kärralunds gård. På 1700-talet blev det möjligt för ofrälse att köpa adelns jord. Då köpte arkitekten Wilhelm Carlberg Lilla Torp.
Han ägde redan Kärralund. Han byggde nya boningshus, ett stort tvåvånings på Kärralund och ett hus med sju rum och kök samt två vindskamrar på Lilla Torp.
Isaac Claesson blev nästa ägare. 1909 köpte staden Lilla Torp. Det revs för att bygga vårdlokaler åt ungdomar med problem.