Это здание XVIII века — образец типичного караимского дома. Его хозяином был Симха (Сима) Бобович (1790–1855) — известный караимский общественный деятель, филантроп и меценат. Благодаря ему было признано Караимское духовное правление, а сам он в 1837 году стал первым караимским гахамом (древнеевр. «хахам» — мудрец, духовный глава). До этого он трижды избирался городским головой Евпатории. В караимской общине в знак особого уважения и признания заслуг его называли Хаджи-ага. В завещании он оставил своему народу 1000 гектаров земли, а вклад 2000 рублей золотом — для раздачи беднякам всех национальностей ежегодных процентов с него.

Бобович был близок к правительственным кругам и общался с представителями многих дворянских фамилий. В этом доме в 1818 и 1824 годах бывал российский император Александр I, гостил граф Воронцов с супругой, а в 1825 году Хаджи-ага принимал у себя польского поэта Адама Мицкевича.