Jakob Herz (1748-1819) aus Dietelsheim war der erste jüdische Besitzer. Er war Viehhändler und Metzger sowie der Beschneider (Mohel) der jüdischen Gemeinde. Er gründete die Herzsche Familienstiftung mit 2200 Gulden Kapital. Er starb 1819 kinderlos und seine Nichte Fromet Herz übernahm das Haus mit ihrem Mann Herz Judas Grabenheimer (1792-1833). Nach dessen Tod fiel das Haus 1833 an den Pferdehändler Jakob Herz, der 1873 nach Mannheim verzog. Von 1873 bis 1875 war Salomon Herz Besitzer.

1760 kam der Viehhändler Abraham Gideon (1727-1796) aus Nordstetten als erster Schutzjude nach Hochberg. 1772 wurde die jüdische Gemeinde Hochberg gegründet und Abraham wurde erster Judenvorsteher. 1777 kaufte er vom Küfer Wartinger das ehemalige Amtshaus in der Hauptstr. 13, das Wartinger wiederum 1759 erworben hatte. Damit begann der zielstrebige Immobilienerwerb durch jüdische Familien in der ehemaligen Vorderen Gasse (heute Hauptstraße). Sein Sohn Seligmann Gideon (1771-1834) erbte das Haus 1796. Er führte das Geschäft seines Vaters sehr erfolgreich weiter.