Atualmente damos-lhe o nome de Casa da Cultura, mas a construção do antigo Paço Episcopal remonta aos finais do século XVIII. Foi começada durante o bispado de D. José António Pinto de Mendonça Arrais (1782/1797).
Então, com a extinção da Diocese de Pinhel, em 1882, o edifício foi adquirido pela Câmara Municipal que o destinou a funções diferentes das originais. Em 1888 é aqui instalado o Regimento de Infantaria 24 que ocuparia todo o edifício e respetiva cerca até à extinção do quartel militar em Pinhel, nos anos 30 do século XX.
Depois disso, o edifício foi parcialmente ocupado por diferentes serviços públicos, como a Biblioteca, o quartel da GNR e o posto da PSP.
Neste período, primeira metade do século XX, terão sido destruídas as salas de estudo, os quartos dos seminaristas, a capela privada, o jardim e o chafariz que era abastecido por captações de água proveniente das minas com origem no atual Parque Municipal da Trincheira.
No início da segunda metade do século XX, o edifício é também ocupado com o Colégio da Beira e, anos mais tarde, com o Liceu, escola técnica e escola preparatória que ali funcionaram até meados da década de 80 do século passado.
Depois da transferência das escolas para a parte nova da cidade, a Câmara Municipal de Pinhel cede o imóvel ao Instituto de Apoio Sócio-Educativo, do Ministério da Educação, que o sujeita a grandes obras de engenharia e de arquitetura com vista à instalação de uma Residência de Estudantes.
Com a extinção desta função “residencial” o imóvel volta a ser propriedade do Município de Pinhel que o utiliza, temporariamente, como sede da Empresa Municipal Falcão – Cultura, Turismo e Tempos Livres.
