Nejstarší historii obce připomíná kostelík sv. Kateřiny s raně gotickým kněžištěm na východě obce. Vedle něj stával řádový dvorec, přestavěný na tvrz a později na renesanční zámeček. K němu byl postupně připojen rozlehlý hospodářský dvůr a ve druhé polovině 18. století také barokní zámek. Opravený zámek a kostel dnes tvoří výraznou a nezaměnitelnou dominantu obce.  Před zámeckým areálem je nevelká náves s rybníkem. V jejím středu, na břehu rybníka, najdete vyhlášenou restauraci a penzion U Hastrmana, který je v kraji vyhlášen svými rybími specialitami. Na všech stranách návsi se dochovaly usedlosti s domy, špýchárky a branami v klasicistním stylu. Ve 30. až 50. letech 19. století tento sloh zcela ovládl venkovskou architekturu severní části Písecka.  Příkladem doznívajícího klasicismu ve Varvažově je usedlost čp. 7 s domem a shodně řešeným výminkem. Rovněž řada dalších domů a zejména hospodářských staveb z druhé poloviny 19. století v obci dokonale napodobuje své starší klasicistní předchůdce.   K Varvažovu patří ještě samostatná část na západě, zvaná  U Mostu, která se rozprostírá v malebném údolí říčky Skalice. V těchto místech Skalici překračuje barokní most s kapličkou,v jehož útrobách se také nalézá komora pro uložení výbušnin v případě vzniku válečného konfliktu.

V okolí najdeme také soubor velmi hodnotných roubených objektů, které představují nejstarší dochovanou lidovou architekturu na Písecku. Západně odtud stojí velký pozdně klasicistní mlýn s neobvyklým řešením průčelí.                                                                                                                               Působivé prostředí obou částí obce doplňuje několik kapliček a křížků. Unikátní atmosféra Varvažova vynikla především jako kulisa českého filmu Je třeba zabít Sekala.