De quando a data da sua fundação, não se sabe ao certo, no entanto, já no séc. XIV existia uma judiaria em Castelo de Vide, que era constituída por um conjunto de casas construídas junto à porta principal do castelo.

A Sinagoga está situada na Rua da Judiaria / Rua da Fonte, o edifício orienta-se no sentido Este / Oeste.

Todo o conjunto é constituído por um só volume, com dois pisos.

Vulgarmente chamada "Sinagoga", mas com o nome apropriado de "BEIT-HA - MIDRASCH-SEFARDIN". No compartimento destinado ao culto, no seu interior, tem instalado o tabernáculo, com as respectivas cavidades destinadas às lamparinas dos "Santos Óleos" e ao lado direito desta peça, uma apoiaria as sagradas escrituras, em que na base estão implantadas sete bolas indicadoras dos seis dias em que Deus criou o mundo e do último dia, o sétimo, descanso da obra. No séc. XVIII sofreu obras de adaptação para residência. Foi reconstruída respeitando a traça primitiva em 1972.

Uma porta de acesso ao primeiro piso apresenta uma pequena concavidade que se chama a marca da MEZUZAH, palavra hebraica que significa "ombreira da porta". Esta concavidade destinava-se a guardar um estojo que continha um pequeno pergaminho em que se escreviam algumas das palavras do SHEMA, oração fundamental do culto judaico.

Todos as portas são em ogiva que arranca de impostas com arestas vivas, toros e caneluras.