В юго-западной части кусковского регулярного парка находится павильон Эрмитаж (от французского ermitage – хижина отшельника). Как и другие парковые павильоны, в XVIII веке Эрмитаж использовался для приема гостей, а название его подчеркивало назначение павильона, предназначенного для увеселения и развлечений в тесном кругу избранного общества. К тому же, его оригинальное устройство позволяло уединиться на втором этаже без прислуги. Подобные «эрмитажи» были тогда чрезвычайно модными.
На сегодняшний день в России сохранилось всего три парковые постройки данного типа: петергофский (1721-1724), царскосельский (1743 – 1753) и кусковский Эрмитажи.
Эрмитаж был построен в 1765-67 годах, под «смотрением» Карла Ивановича Бланка, известного московского архитектора. Особенностью данной постройки, является тесное сплетение нескольких стилей. На плавные, округлые формы фасадов наложена строгая, выверенная ордерная система классицизма, в которой, однако, присутствуют и барочные черты, например, расположенные в специальных нишах под карнизом алебастровые бюсты римских цезарей.
В начале 1980-х годов при реконструкции исторического облика была восстановлена оградка фриз по периметру крыши и статуя на куполе. В 2013 году павильон Эрмитаж был открыт для посетителей. Внутри проводятся выставки Государственного музея керамики.