В том же 1764 году, когда Екатерина II приобрела у берлинского купца Гоцковского коллекцию картин западноевропейских мастеров, произошло еще одно событие, давшее основание и имя будущему великому музею в Петербурге.

По указу императрицы рядом с Зимним дворцом на набережной Невы началось возведение павильона, в котором через несколько лет разместятся ее художественные коллекции. Этот небольшой корпус, пристроенный к парадной императорской резиденции архитектором Жаном-Батистом Валлен-Деламотом, был задуман как место уединения, где Екатерина могла бы проводить время в кругу приближенных и избранных гостей, отдыхая от государственных забот. Именно это дворцовое здание императрица первоначально и назвала Эрмитажем (от французского слова ermitage – уединенный уголок, пустынька, жилище отшельника). Обращенный к Неве Северный павильон состоял из парадного зала, оранжереи, нескольких небольших кабинетов и комнаты с подъемными обеденными столами, где трапезы проходили без слуг, которая также именовалось «эрмитажем». Это название закрепилось и за проходившими в павильоне приемами и вечерами, которые в зависимости от числа приглашенных особ сама Екатерина II именовала «Малые эрмитажи» и «Большие эрмитажи». В Эрмитаже звучала музыка, ставились спектакли, императрица и ее гости проводили время в беседах или играли в карты, здесь литераторы читали свои новые сочинения. Все залы павильона были украшены картинами. Это здание царской резиденции со временем получит название Малый Эрмитаж (после того, как для стремительно разраставшихся художественных коллекций будет построен Старый (Большой) Эрмитаж). К 1775 году Северный павильон был соединен двумя галереями, протянувшимися вдоль Висячего сада, с жилым Южным павильоном, построенным Ю.М.Фельтеном (архитектор руководил также работами по устройству Висячего сада и сооружению галерей). Обрамлявшие Висячий сад продольные галереи возводились специально для размещения картин, собрание которых постоянно пополнялось благодаря приобретениям, совершаемым агентами Екатерины в Европе. Своему парижскому комиссионеру Ф.-М.Гримму Екатерина II писала, что ее сокровищами любуются только она сама да мыши. В действительности, доступ в дворцовую картинную галерею был открыт небольшому кругу любителей художеств, а также иностранцам, которые отмечали, что коллекция живописи, собранная русской монархиней - одна из богатейших и лучших в Европе.

Первый «Эрмитаж» - парковый павильон для уединения - появился в России при Петре I в его летней загородной резиденции Петергофе. Комнаты-«эрмитажи», украшенные художественными произведениями, имелись во дворцах Елизаветы Петровны. Екатерина II придала новое измерение пришедшей в Россию из Франции идее обустраивать дворцовые резиденции «уединенными уголками» для отдыха в окружении произведений искусства. Эрмитаж Екатерины II к концу ее царствования включал здания Малого и Старого Эрмитажа, Эрмитажный театр и Лоджии Рафаэля. Вместе с Зимним дворцом эрмитажные постройки екатерининского времени составили единый архитектурный ансамбль, который был завершен в правление внука Екатерины императора Николая I возведением музейного здания Новый Эрмитаж.

Масштаб собирательской деятельности Екатерины Великой был оценен уже при жизни государыни в России и Европе: «Она соорудила и постепенно увеличивала свой любимый приют... Она собирала в него мало по малу сокровища искусств, картины, камеи и медали… Она составила в нем великолепную библиотеку. Этот дворец стал музеем, славным далеко».