I årene 1246-1249 grundlagde Augustinermunke Tvilum Kloster. Det var ikke et perfekt sted til at lave et kloster, men man mener, at det i høj grad skyldtes donationer fra Biskop Gunner af Ribe, som også ejede jorden. Augustinerklostre lå sjældent så øde, som klostret i Tvilum.
Ud over den tilbageværende Tvilum kirke, bestod klostret af yderligere tre længer, som omkransede en fratergård (Klostergård). Arkæologiske undersøgelser har underbygget teorien om klostrets konstruktion.

På billeder kan man ane hvor de tre længer tidligere har været.
I området syd og vest for klostret, lavede munkene en række opstemninger og kanaler. Formålet er uklart, men anlægget kan være brugt til en mølle.
Det var ikke et ubetydeligt kloster. Klostrets leder var Provst. Munkene i klosteret fungerede ofte som præster i områdets kirker. Derudover mener man, at Klostret fungerede som præsteskole for novicer og gav uddannelse til unge adelssønner.
Klostret havde et særligt forhold til kongehuset. Kom kongen forbi, kunne han frit overnatte. Munkene havde også forpligtet sig til, at stille heste og hunde til rådighed for kongen til jagt. Havde Kongen travlt, kunne han bytte sine trætte heste til friskudhvilede heste. Der er fundet tegn på at Valdemar Atterdag har opholdt sig på klostret. På nordvæggen er der fundet et kalkmaleri med våbenskjold fra omkring år 1350.
Til klosteret hørte ladegården, der var placeret hvor Tvilumgaard i dag ligger. Den lå ca. 1,5 km fra klostret. En ladegård var primært avlsgård, hvorfra klostrets landbrugsbedrift blev udført.

Altertavlen er imponerende. Siderne kan lukkes sammen. |
I begyndelse af 1400-tallet forsøgte Lena, ridder Laurids Offesens enke at stifte et nonnekloster af augustinerordenen på herregården Søbygård. Klostret kom aldrig rigtig i gang og i 1428 var der kun en nonne. Tvilum Kloster forsøgte herefter at sikre sig klosteret i Søbygård, men umiddelbart uden held. Bygningerne er i dag i privat eje og kan ses fra vejen.
Omkring år 1500 blev der opstillet en meget stor skabsaltertavle, som stadig findes i Tvilum kirke. Tvilum Kloster blev opløst i 1537, og lagt ind under Silkeborg Len. Man vurderer, at klostrets bygninger blev fjernet umiddelbart derefter. Klosterkirken er det eneste, der står tilbage i dag.
I forbindelse med reformationen i 1536, overgik Tvilumgaard til kronen. Under kronen skiftede avlsgården navn til Tvilum ladegaard og blev underlagt krongodset Silkeborg. I 1586 byggede Frederik II (1534-1588) et jagthus i bindingsværk til Tvilumgaard. Kongen døde allerede to år efter. Jagthuset led under, at der ikke var interesse i at holde det vedlige. Jagthuset blev stående indtil midten af 1600-tallet.
Gennem 1600-tallet led Gjern området af gentagne plyndringer fra svenske hærstyrker.
Frem for at sætte Tvilumgaard i stand, valgte Frederik III (1609-1670) at udlægge gården for statens gæld til private adelsmænd og borgere. Den nye ejer blev borgmesteren i Randers, Mads Poulsen, der havde penge til gode hos kongen. Siden købte Mads Poulsen flere tidligere krongodser og samlede en del fæstegårde omkring Tvilumgaard. Dette arvede sønnen Peder Madsen, der i 1679 fik slægtsnavnet Rosenørn. Sammen med sine efterkommere regnede han sig nu for adelig, skønt forholdet omkring slægtsnavnet først gik i orden i 1884. Frem til 1720 ejede slægten Rosenørn Tvilumgaard, hvor Peder Madsen Rosenørns søn, Poul Rosenørn, måtte afstå godset til Kronen.
I 1767 købte Ditlev Trappaud godset, men han døde allerede året efter. Hans enke, Anne Dorthea Vieth, fik herefter skødet på Tvilumgaard, som hun med det samme solgte til Andreas Fischer. Han havde ifølge godsets fæstebønder købt Tvilumgaard på vegne af dem. Dette medførte en lang proces mellem bønderne og Andreas Fischers arvinger. Sagen endte først, da Andreas Fischers enke, Charlotte Amalie Hansen, i 1774 solgte gården til bønderne. Da fæstebønderne på Tvilumgaard købte godset i fællesskab, blev de en form for selvejere. Kort efter blev herregården delt i tre gårde, men omkring år 1861 samlede Christian Rieffesthal igen gårdene.
De nuværende bygninger blev opført i 1870.
Tekst og foto: Kuno Nørskov (undtaget billede af altertavle)