Hanstedgaard har oprindelig været bygget ikke så meget for at kunne drive landbrug, men snarere for at kunne holde opsyn og kontrol med færdslen på en af Jyllands vigtigste veje, og måske opkræve vejskat. Helt tilbage til omkring Kristi fødsel har trafikken fra Kolding og Vejle til Skanderborg og Århus naturligt valgt den korteste, men også vanskeligste vej, over de brede,  sumpede Hansted enge.

Ved opgravning er fundet rækker af store, flade sten til befæstning af den primitive vej, der har ført fra Hanstedgaard tværs over den nuværende omfartsvej ud i engene i retning mod Lund.  Uden denne befæstning havde det været særdeles vanskeligt, næsten umuligt, at krydse det våde og sumpede område. Den brede Hansted ådal har i stenalderen været åbent vand helt ind i dalens inderste del. I Årtusindernes løb er området gradvis blevet opfyldt og omdannet til vådenge.
Under de slesvigske krige i midten af 1800 tallet har danske tropper i kortere perioder haft midlertidigt hovedkvarter på Hanstedgaard, bl.a. i maj 1849, hvor general Rye med sin stab tilbragte nogle få dage her.

Hanstedgaard nævnes i Kong Valdemars jordebog fra Valdemar Sejrs tid fra 1231. Her kan man se, at gården på den tid var sat til en større skatteværdi end hele Horsens by. Det må have været en særdeles vigtig kongsgård, og man kan antage, at den har været krongods i hvert fald et par hundrede år tidligere.

Man ved meget lidt om gårdens ejerforhold før langt hen i middelalderen. Men det oplyses i 1523,  at kong Hans tidligere havde pantsat nogle af kronens gårde og gods i Hansted ”kaldet Rannis gods”. Det vides ikke med sikkerhed, men Rane Jonsen (en af kong Erik Klippings mordere fra Finderup lade 22. nov. 1286) skulle have besiddet Hanstedgaard. Han blev dømt for at have deltaget i kongemordet, og hans gods tilfaldt derefter kongen.

Brockenhuus slægten er kendt for at have bygget Egeskov på Fyn, og kort tid efter at kongen har solgt Hanstedgaard til Kels Brockenhuus, bliver der opført en renæssancegård. Det vides ikke, hvordan denne bygning i virkeligheden har set ud. Der er kun få rester levnet af den middelalderlige Hanstedgaard. Svenskerkrigene havde forarmet gården, og for at hjælpe med at bekæmpe svenskerne havde kongen tilkaldt polske og tyske hjælpetropper, og disse havde efter krigens skik plyndretuhæmmet i Øst- og Sydjylland, så gården var særdeles medtaget. Derfor så Henning Pogwisch 
sig nødsaget til at sælge gården. Efter denne sidste adelige ejer blev gården købt af den velhavende Horsens købmand, Anders Jensen Thonboe. Han havde drevet forretning på Torvet i Horsens. I 1694 rejste han en ny hovedbygning med sidefløje. Efter tabet af Anders Jensen Thonboe og alle deres børn, lod hans hustru, Dorothea Hansdatter Lottrup ( kaldet Døve Dorthe) oprette et hospital ( i dag Hansted Kloster) dvs. et alderdomshjem, for 24 fattige lemmer, der her kunne bo i deres sidste år  og få kost og logi og i nogen grad også pasning, hvis de blev syge. Fundatsen stammer fra 1705.

Den siddende forstander var samtidig forpagter af Hanstedgaard, og gårdens drift skulle ske ved hjælp af fæstebøndernes gratis arbejdskraft. Hospitalet skulle vedligeholde bygningerne, og forstanderen var fri for kongelige skatter og afgifter.

Efter Berrentsen, en slægtning til Dorthea Hansdatter, kom justitsråd J.P. Hygum, en søn af Århusbispen Peder Hygom (man skulle også dengang have forbindelser). I 1781 ansatte man major af kavaleriet Poul von Gersdorff, der stammede fra Kærgaard ved Ribe. Efter afgang fra regimentet blev han antaget som forstander for Hansted Hospital. Han var en dygtig mand der tjente penge, såmange,
at han bl.a. i 1821 kunne købe Rådved Kærsgaard. Da Gersdorff kom til Hanstedgaard, var han ugift,  men blev senere i 1799 gift med den adelige Karen Lilienskjold.  I 1789 fuldførtes byggeriet af den nuværende hovedbygning. Det er usikkert, men Horsens-bygmesterne Anders Kruuse har måske stået for opførelsen. Årstallet kan ses på en sandstensplade over døren, hvor også det latinske valgsprog: ”Virtus in actione consistit” og årstallet MDCCLXXXIX kan læses.  Oversat betyder det ”Styrke består i handling”.

Hovedbygningen blev restaureret i 1875, og ved samme lejlighed blev de gamle sidefløje nybyggede. Til Hanstedgaard hørte ikke så meget jord, der var velegnet til kornavl. Enten var jorden for tør, eller også var den for våd. Til gengæld var der store engarealer, og derfor havde man et stort kreaturhold. 
I kostalden var plads til 60 malkekøer. I begyndelsen af 1900 tallet havde mange af egnens gårde eget mejeri og leverede smør og mælk til Horsens, således også Hanstedgaard.

I 1984 købte Mogens Rossau Holm Jensen gården, som havde gården indtil 2021. De senere år blev han gift med sin ægtefælde Pia, som flyttede ind på gården. De boede selv i stuehuset og havde udlejet de 2 sidefløje. Mogens var planteavler og dyrkede forskellige kornsorter som raps, hvede, rug, byg, frøgræs m.v. samt kartofler, som blev solgt i gårdens gårdbutik, som han havde i knap 40 år. Han forpagtede forskellige marken i Horsens og omegn, da Hanstedgaards egen agerjord var af lille omfang. Han solgte gården d. 1/5-2021.

D. 3. maj 2021 flyttede Brigitta og Emil ind på gården. I dag er der gårdbutik med salg af æg, kartofler og kød samt juletræer og jordbær i sæson. Emil har sit snedkeri 10 minutter fra gården, hvor han producerer vinduer, køkkener og plankeborde, walk-in og andre møbler.