Torpa stenhus byggdes på 1400-talet. Förste ägaren var riksrådet Arvid Knutsson.
Om - och tillbyggt på 1500-talet. Har ägts och gått i arv i ätten Stenbock sedan det uppfördes.
År 1600 drogs Torpa stenhus in av kronan. Återlämnades år 1603.
Slottskapellet byggdes i slutet av 1600-talet; invigdes 1699.
En skyddande ringmur och vallgrav fanns tidigare runt byggnaden. Rester av vallgraven finns kvar.
C:a 1660 byggdes ett corps-de-logis i trä invid Torpa stenhus; en rödfärgad tvåvåningsbyggnad med två flyglar, kallat Torpa trähus.
Torpa trähus brann ner på 1700-talet.
En ny herrgårdsbyggnad byggdes år 1805 på samma plats där Torpa trähus tidigare låg.