В связи с крещением Литвы великий князь литовский Ягайло учредил Виленский епископат

Первый виленский епископ Андрей Васила возвел здесь дворец, который позднее другие хозяева украшали, перестраивали, расширяли. Сохранившиеся письменные источники о Епископском дворце сообщают, что когда в 1536–1555 гг. епископом был один из богатейших епископов Павел Гольшанский, это было самое величественное здание после Королевского замка. В XVI веке вокруг дворца был разбит огромный сад, который по своей флоре и устройству превосходил даже замечательные сады Радзивилла.

Последним проживавшим во дворце епископом был И. Масальский. Согласно его заказу, некоторые работы по реконструкции дворцового ансамбля выполнил архитектор Л. Стуока-Гуцявичюс.

В XVII–XVIII вв. дворец горел, он подвергался разграблениям в годы войны или разрух. Здание, пострадавшее от виленского пожара 1737 г., снова горело 14 июня 1748 г. Во время пожара сгорел хранившийся во дворце епископский архив, все документы, касавшиеся епископских владений, юрисдики в Вильнюсе.

Когда Литва оказалась в составе России, ансамбль Епископского дворца стал местом временного пребывания императора, князей и прочих вельмож. В самом роскошном и солидном по тем временам дворце в 1796 г. жил царь Павел I; в1797 г. здесь останавливался Станислав Август Понятовский; в 1804 г. гостил будущий король Франции Людовик XVIII.

В XIX веке дворец становится официальной резиденцией российского генерал-губернатора. Здесь жили М. Муравьев, прозванный в Литве Вешателем, дважды бывший генерал-губернатором Литвы генерал Кутузов. В конце 1812 г., при праздновании победы русской армии над Наполеоном, генерал Кутузов побывал в Вильнюсе /Вильно/ в третий раз. Во дворце ему была вручена высшая российская военная награда – орден Св. Георгия первой степени.

В 1812 г. здесь жили русский царь Александр и французский император Наполеон. Сохранилась гравюра начала XIX века – царь Александр I в этом виленском дворце празднует победное завершение русско-французской войны 1812 г.