Купец первой гильдии Яков Пегов совместно с кулинаром Люсьеном Оливье, которые познакомились, согласно московской легенде, из-за общей любви к нюхательному табаку, открыли на месте кабака трактир-ресторан "Эрмитаж" на Трубной площади.
Пегов и Оливье сами занимались оформлением интерьеров и устройством кухни. “Эрмитаж” был известен как парижский ресторан высшего разряда с богатыми интерьерами, от парадного большого колонного зала «под мрамор», до помещений в восточном вкусе, которые давали понять «как бесцеремонна и явна» была распущенность нравов. Гостей с 11 утра до 4 часов ночи обслуживали официанты, одетые в традиционную для простых москвичей одежду с белой рубашкой навыпуск. А коллектив из 60-ти поваров готовил заграничные деликатесы и подавал различные горячительные напитки.
"Эрмитаж" был излюбленным местом московской интеллигенции. В 1870-1880-е годы в здании проходили "академические обеды", на которых сподвижники юриста и социолога Владимира Танеева и приглашаемая им московская профессура обсуждали злободневные политические вопросы. Здесь на изысканные банкеты собиралась вся московская знать. П. Д. Боборыкин в шутку заявил, что в Москве есть лишь три культурных центра: Московский университет, Малый театр и Эрмитаж.
Современникам особенно запоминались потешные детали, контрастирующие на фоне всего вышеперечисленного: роскошное заведение нарочито называлось трактиром, официантов звали подобно персоналу трактира “половые”, что подчеркивалось их формой, а в зале располагался механический орган в подражание трактирам той эпохи. Известный московский повар Люсьен Оливье, создатель знаменитого одноименного салата, по некоторым сведениям, именно в этом здании придумал свое изобретение.
Окончательно "Эрмитаж" был закрыт в начале 1920-х годов. Моссовет переименовал его в "Дом крестьянина", залы с лепниной и фресками Врубеля стали использовать как хранилище. И только в 1989 году в здании на Неглинной улице был открыт московский театр "Школа современной пьесы". А 3 ноября 2013 года в театре произошел пожар. Под языками пламени и противопожарными реагентами исчезли или существенно пострадали: угловой корпус строения 1, вестибюль со стороны Неглинной улицы, парадная лестница главного входа со стороны Петровского бульвара, зал бывшего ресторана, «Зимний сад» на 3-м этаже. Сгорели деревянные балки перекрытий и дверные полотна, обрушился лепной декор. Последствия пожара в объекте культурного наследия России реставрировали шесть лет и закончили работы в январе 2019.