Mandado edificar em meados do século XVIII pela família Quevedo, o Solar dos Saraivas, também conhecido como Casa do Fidalgo, apresenta uma estrutura muito diferenciada dos solares barrocos construídos na mesma época. De planta retangular, desenvolvida horizontalmente, destaca-se a sobriedade decorativa do conjunto. A fachada principal, marcada pela repetição de janelas a espaços regulares, possui como elementos de maior sumptuosidade os dois portais, um no extremo esquerdo, que permite entrada para armazéns e adega, e o portal principal, ao centro da fachada.
O edifício encontra-se dividido em dois registos, o primeiro com doze compartimentos destinados a armazéns, o segundo, o andar nobre, com dez divisórias. A fachada possui, no primeiro registo, cinco janelos. O portal lateral, em arco abatido, é ladeado por pilastras que se prolongam ao registo superior rematadas por urnas. O portal principal, também em arco abatido com impostas salientes e pedra de fecho em forma de voluta, é ladeado por pilastras caneladas, com capitéis simples, que se prolongam ao registo superior. Sobre o portal foi colocada pedra de armas do Barão de Vilar Torpim, Francisco José Pereira. O segundo registo da fachada possui oito janelas de sacada, cinco com guarda de ferro e as restantes três, duas que ladeiam o portal principal e uma que encima o portal lateral, com varandim de ferro e cornija. A fachada é rematada por empena reta com cornija.
O alçado lateral esquerdo possui no segundo registo uma loggia , com quatro arcos de volta perfeita assentes em pilastras, precedida por balcão corrido.
No primeiro registo do alçado posterior foram construídas escadas, ladeadas por janelas retangulares. O segundo registo possui três janelas de moldura reta e porta antecedida por balcão coberto. No extremo direito foi adossado anexo que, através de arco abatido, dá acesso a lanço de escadas que conduz ao andar nobre.
Em 1844, durante o pronunciamento militar de Torres Novas, na época em que a praça de Almeida foi ocupada pelas tropas revoltosas comandadas pelo General Conde de Bonfim, o Exército da Coroa estabeleceu quartel-general em Vilar Torpim, utilizando a Casa do Fidalgo para instalar o seu hospital, no segundo piso, e a prisão, nos armazéns do primeiro piso.
