A estrada para a Póvoa de Góis sobe para um pequeno monte, antes de começar a descer para a aldeia pitoresca. A pequena capela, dedicada ao São Sebastião, situa-se no centro da povoação, com a sua larga torre que incorpora relógios em duas faces: uma indicação que os habitantes se encontravam empregados e não deixados aos seus próprios horários. Existe uma história local que conta que uma aldeia vizinha cobiçava São Sebastião e tentava captura-lo (quando e como o Santo encarnou, não é claro!). No entanto este fugiu e escondeu-se numas silvas. Isto é o lugar onde a capela foi construída.

As casas à volta da aldeia que não foram transformadas ou pintadas mostram tijolos vermelhos (tijolo Burro) utilizados para a construção em conjunto com as locais pedras redondas. Isto é único na região de Góis. No final do século XIX houve um ambicioso plano de construir uma linha de comboio de Coimbra para Arganil. O trabalho começou ao longo da linha projectada, que incluía um túnel no Bordeiro, por baixo do monte da Póvoa de Góis. A construção do túnel começou e os aldeões da Póvoa de Góis trabalhavam numa fábrica que se encontrava no cimo da povoação, produzindo tijolos para o revestimento deste. Por causa de problemas técnicos e financeiros a linha férrea terminou em Serpins. Os habitantes, agora sem emprego por causa do fecho da fábrica de tijolos, aproveitaram o material extra de construção e isto é a razão porque muitos edifícios demonstram tijolo burro nas suas paredes.
Uma das residentes mais velhas da Póvoa de Góis recorda-se que a sua avó lhe contava dum moinho que havia na aldeia. Pensa-se que este foi abandonado há 150 anos atrás. As azeitonas da aldeia eram angariadas pelo proprietário do lagar da Regateira e transportadas em carros de boi. Os habitantes viviam da agricultura e alguns chegaram a trabalhar nas minas do Liboreiro durante a exploração destas. Hoje encontram-se uma pequena taberna e um serralheiro na povoação.