Stary Pałac Opacki, ustawiony prostopadle do głównego gmachu, może pochodzić nawet z XV wieku. O jego XV-wiecznym rodowodzie świadczą wymiary i układ cegły (na zewnątrz pozostawiono nie otynkowane fragmenty muru) oraz zachowane w jego piwnicach gotyckie sklepienia krzyżowe. Stary Pałac ustawiony jest frontem do dziedzińca pałacowego, a wschodnią fasadą i północną ścianą szczytową do angielskiej części ogrodu. Po 1577 roku budowla ta została rozbudowana do dzisiejszych rozmiarów i służyła opatom w XVII wieku. W rezydencji gościł ponoć król Zygmunt III Waza w czasie wizyt w Oliwie. W 1945 roku pałac spłonął, po odbudowie w latach 60. skrzydło przekazano Instytutowi Budownictwa Wodnego PAN, który mieścił się tu do lat 90. XX wieku.

Obecnie w budynku znajduje się Oddział Sztuki Współczesnej Muzeum Narodowego w Gdańsku oraz restauracja.