Знаменитая фраза Екатерины II из письма Гримму 1778 года «всем этим любуются только мыши да я» относится к «императорскому музеуму», как называли комнаты на антресолях над покоями императрицы в Зимнем дворце. Только близкие друзья хозяйки дворца, приглашенные на вечерние обеды, могли попасть, поднявшись по потайной лестнице, в покои, где царила экзотическая роскошь. Первоначально здесь находилась большая часть коллекции прикладного искусства Запада и Востока, глиптики, монет, медалей, миниатюр и картин. По мере строительства эрмитажных зданий и размещения там приобретаемых собраний, одни редкости, в основном восточные, сменяли на антресолях другие, и антресоли стали называться «Китайскими».

Одна из комнат носила имя «Картинной», однако там находилась малая толика собрания. В первые годы правления Екатерины II картины как приобретенные императрицей, так и оставшиеся от предыдущих царствований, украшали залы Зимнего дворца и других императорских резиденций. В феврале 1769 года гости, приглашенные на первый ужин и театральное представление в «новопостроенный Эрмитаж» могли любоваться картинами, развешенными «шпалерами» в кабинетах и большом зале его Северного павильона. Позже полотна разместились и в построенных для них к 1775 году галереях по сторонам Висячего сада.

Первый печатный каталог галереи, изданный в 1774 году, насчитывал 2080 картин. Он был издан на французском языке тиражом в 60 экземпляров и давался посетителям во временное пользование. Доступ в галереи был открыт по разрешениям, которые выдавались любителям искусства и иностранцам, а также профессорам и студентам Академии художеств.

В 1771-1784 гг. для дворцовых коллекций и библиотеки было возведено здание «в линию с эрмитажем». Его облик можно представить благодаря описанию, которое составил в конце XVIII века врач и ученый И.Г.Георги: "Ряд комнат на берегу Невы украшены с наизящнейшим вкусом, полы штучные, потолки с живописью, большие закругленные окошки с зеркальными стеклами, хрустальные паникадилы, шелковые занавесы с кистями, богатые камельки или печи, двери с зеркалами, угловые столы, богатые часы, софы, и тому подобное».

Георги пишет, что во всех комнатах находятся картины и вазы, статуи, бюсты знаменитостей, произведения прикладного искусства. Шкафы и кабинеты, в которых хранятся геммы, драгоценности и часы, исполнены знаменитыми мебельщиками - Рентгеном, Майером и другими. В специальном кабинете Екатерина II резала печати, занималась химией, создавая сплавы для камей. «Книгохранилище» включало книги на многих языках, посвященные разным областям знаний, а также библиотеки Вольтера, Дидро, князя Щербатова и другие знаменитые книжные собрания, приобретенные императрицей.

Интерьеры дворцов, театра (1789 г.) и корпуса Лоджий Рафаэля (1792 г.), где также разместились коллекции, стали великолепным обрамлением светской жизни: здесь устраивались приемы - «Малые и Большие Эрмитажи». Во время «Малых Эрмитажей», на которые несколько раз в месяц собиралось от 60 до 80 персон, приглашенные смотрели спектакли, ужинали и танцевали, играли в бильярд. Множество картин позволяло гостям обмениваться суждениями о живописи – теме, столь популярной в те времена в Европе. «Большими Эрмитажами» назывались вечера, не очень частые в течение года, на которых бывало до 200 приглашенных, в них принимали участие великий князь Павел Петрович с супругой и все особы их двора.