Im 16. Jahrhundert werden zwischen 1508 und 1565 mehrfach jüdische Einwohner genannt (1508 wird namentlich Jud Jarow erwähnt). 1555 wurden die Schutzbriefe der in der Grafschaft Henneberg lebenden Juden nicht mehr verlängert, was zu ihrer Ausweisung bis 1566 führte. 
Vermutlich an die jüdische Ansiedlung des 16. Jahrhunderts erinnerte noch lange das "Judentor", von dem aus die noch im 19. Jahrhundert sogenannte "Jüdengasse" (seit 1860 "Bergstraße", später "Weimarer Straße") zum Markt führte.

1933 wurde das Bankhaus Strupp verstaatlicht und die an das Bankgebäude angrenzende Alte Synagoge zwangsweise abgebrochen.  

Bis Anfang des 19. Jahrhunderts war jeweils ein Betsaal oder eine Synagoge vorhanden (z.B. 1737 im Zusammenhang mit der Formel zum Judeneid genannt). Am 30. August 1811 konnte eine Synagoge an der westlichen Stadtmauer eingeweiht werden. Der herzogliche Hoffaktor Levi Simon hatte dafür das Geld gegeben und zunächst zwei Gründstücke im Bereich der Unteren Marktstraße mit der damaligen Zählung Nr. 22 und 23 käuflich erworben. Die Einweihung erfolgte mit Erlaubnis Herzog Friedrichs. Die Einweihungsrede hielt Josef Michael Hirsch.

Ein jüdischer Friedhof wurde in Heiligenstadt in der ersten Hälfte des 19. Jahrhunderts angelegt. Das älteste Grab ist von 1829. Die in der NS-Zeit letzte Beisetzung war 1940. Möglicherweise gab es auch noch 1947 eine Beisetzung  (Pauline Löwenstein in einem Grab ohne erhaltene Inschrift).  
Der Friedhof ist umgeben von einem schlichten Holzzaun.    

Im 19. Jahrhundert wurden die Gottesdienste der Gemeinde zunächst in Mieträumen abgehalten. 1870 erwarb die Gemeinde ein Haus in der Stubenstraße und baute es zur einer Synagoge um. Baumeister Fütterer plante zunächst ein repräsentatives Aussehen der Vorderfront. Da jedoch von Seiten der Regierung keine Zuschüsse kamen, konnte der Plan nicht ausgeführt werden. Die Synagoge wurde 1872/73 erbaut und am 10. September 1873 eingeweiht.

Jacob Schwalbe war 1932 dritter Vorsitzender der Repräsentanz der Jüdischen Gemeinde. Nach dem Novemberpogrom 1938 wurde er in das Konzentrationslager Buchenwald verschleppt.

Armin Grunsfeld war 1932 zweiter Vorsitzender der Repräsentanz der Jüdischen Gemeinde. Nach dem Novemberpogrom 1938 wurde er in das Konzentrationslager Buchenwald verschleppt.

Max Oppenheimer war 1932 Vorsteher der Repräsentanz der Jüdischen Gemeinde. Nach dem Novemberpogrom 1938 wurde er in das Konzentrationslager Buchenwald verschleppt.

Alfred Weil war 1932 Schriftführer sowie Schatzmeister der Jüdischen Gemeinde. Nach dem Novemberpogrom 1938 wurde er in das Konzentrationslager Buchenwald verschleppt.

Alexander Löwenthal war 1932 Gemeindevorsteher. Nach dem Novemberpogrom 1938 wurde er in das Konzentrationslager Buchenwald verschleppt.