Ainda assim, no século XVI, Várzea da Serra e algumas das outras vilas com os mesmos privilégios (Amarante, Mesão Frio, Britiande, Vila Marim, Cidadelha, Canaveses, Paços de Gaiolo, Louredo, Galegos, Santo Isidro e Campo Benfeito) sustentaram um célebre pleito que correu perante o juízo da Coroa. Este pleito não chegou a ter despacho final, porque D. João III ordenou antes o sequestro de Várzea da Serra e a incorporou na Coroa. Assim terminava ingloriamente o bravo gesto desta vila, lutando, contra o próprio soberano, em defesa do seu privilégio medieval.
Anos volvidos, no século XVIII, teve esta povoação de sustentar nova luta e outra vez contra senhores poderosos: a questão era agora com os limítrofes — Tarouca, Mezio (concelho de Castro Daire), Lalim e Lazarim (Lamego) e o couto da Ermida.
Extinta a sua beetria, sem senhor a defender esta vila, levantaram-se em volta ambições a cobiçar-lhe os montados, que são ainda hoje factor importante da sua riqueza. Várzea da Serra apareceu na arena, mas agora só, contra inimigos poderosos, e venceu.

 

A 10 de Maio de 1678 veio à freguesia o corregedor de Lamego com a sua numerosa alçada, estudou a questão e, por fim, resolveu-a com honra para esta vila, empossando-a nos seus montados, e assinalou-lhes limites como providência a evitar futuras extorsões.
Várzea da Serra foi concelho, extinto no ano de 1834. Desde 1898 que faz parte do concelho de Tarouca.
Do património monumental da actual freguesia constam o pelourinho e a casa da cadeia, lembrando a existência do antigo concelho; as ruínas da antiga igreja matriz; a nova igreja paroquial; antigas minas de estanho, onde actualmente se extrai scheelite; as interessantes casas de granito com beirais em granitos e, algumas, cobertas de colmo.