В 1860 году младший из четырех братьев-кулинаров Люсьен Оливье из французского Прованса (майонез провансаль придумали тоже Оливье) отправился покорять «дикую Московию». Тогда ему было всего 22 года. Несколько лет он просто работал «кулинаром по вызову» и, если верить Гиляровскому, прославился тем, что «только он единственный в столице может устроить настоящий обед». Его приглашали в самые аристократические дома готовить парадные обеды. А потом захотелось чего-то своего. Вскоре такой случай подвернулся. Разговорившись у табачной будки с купцом Яковом Пеговым (и Пегов и Оливье были страстными нюхателями табака), они договорились купить буквально ту самую землю, на которой стояли, вместе с будкой и соседним питейным заведением «Афонькин кабак». Так и появился в 1864 году ресторан «Трактир «Эрмитаж» Оливье.