Archeologické nálezy z obvodu Pachouně hovoří o vy užití místa již ve 12. a 13. století. První zmínka o Pachouní je z r. 1400 a potom z r. 1436. Jan A. Herold uvádí bez bližších podrobností vladycké sídlo se vsí v místech dnešního dvora. Zdejší poplužní dvůr patřil patrně do r. 1547 k majetku Adama z Vartemberka. V r. 1556 koupil část zdejšího zboží s tímto dvorem od královské komory Jiří z Labouně. Nejpozději v této době se v Pachouni nacházelo šlechtické sídlo. Pozdější majitelky, Mandaléna a Kunka, prodaly v r. 1612 pachounský dvůr Václavovi Budovcovi z Budova, pánu na Hradišti, Klášterci a Zásadce.