A aldeia de Albergaria situa-se num vale protegido, a 500 m da aldeia de Ponte do Sótão. No vale largo e fértil corre a ribeira do Moiro. A estrada Romana passa por perto e foi utilizada na Idade Media como rota de comércio e peregrinação. A Quinta da Albergaria foi construída perto da estrada e oferecia alojamentos e abrigo aos cavalos para a noite. O nome da aldeia deriva desta função da quinta.

Existe uma historia antiga que conta de um assalto planeado por um grupo de ladrões contra o proprietário da quinta. O cabecilha dos ladrões chegou de cavalo e pediu um quarto para pernoitar, no mesmo tempo que os outros do grupo ficaram escondidos perto da quinta. O ladrão foi para o seu quarto e uma criada que espreitou pelo buraco de fechadura viu que este tinha muitas facas. Ela avisou o patrão e este foi-se deitar fingindo que estava a dormir. O ladrão entrou no quarto do patrão, mas como o este estava alertado, pegou na arma e matou o ladrão. Os outros ladrões, quando ouviram o tiro, pensavam que tinha chegada a hora para começar a pilhar a casa e aproximaram-se. Mas qual o espanto quando viram o patrão. E este disse: “Um de vocês já matei! Quem quer ser o próximo?” Os ladrões fugiram o mais depressa que puderam e nunca mais foram vistos. A história acaba com a afirmação que o corpo do ladrão foi enterrado na terra em frente da casa. Uma outra versão da história conta que alguns homens traziam um falso 'Santo' como presente para dentro da capela privada da quinta. Uma criada viu que os olhos do tal ‘Santo’ brilhavam e se mexiam e ela avisou o patrão deste acontecimento. Diz-se que o patrão se meteu a espreita atrás de uma porta com uma janelinha que dava acesso à capela e observou o ‘Santo’ a meter o capucho para trás. O patrão pegou na sua arma e matou o Santo disfarçado. Mais uma vez os ladrões que tinham vindo com este, fugiram e deixaram o seu associado ser enterrado no jardim da quinta.

A quinta era um importante empregador, não só para a aldeia de Albergaria em si, mas também para as pessoas da vizinhança. Muitos vinham a procura de trabalho e alguns aí ficaram para o resto da sua vida. Embora, que em vez de pagamento monetário, a quinta dava alojamento, comida e roupa aos trabalhadores, e uma vez por ano um par de botas. Diz-se que este costume continuou até ao inicio do século XX. Perto da quinta situa-se o lagar, agora em ruínas. Quando este trabalhava, a água que punha a roda em movimento era canalizada por tubos de ferro que passavam por cima da estrada que hoje ainda aí estão. Um pouco mais acima situa-se a aldeia em si. Estreitas ruas calcetadas passam entre as casas. A disposição destas é um pouco diferente do habitual, que se nota no facto de na maior parte não terem quintais ou pequenas terras de cultivo ao contrário de outras aldeias. Isto porque os grandes terrenos pertenciam à quinta e os aldeões trabalhavam para os proprietários desta.