Cystersi  w miarę rozwoju opactwa pobudowali zabudowania klasztorne na południe od Potoku Oliwskiego – poruszane wodą młyny zbożowe, kaszarnie, olejarnie, tartaki. Pod cysterskim panowaniem Oliwa stała się wsią zamożną i dobrze zorganizowaną. Książęta pomorscy szybko zrekompensowali zakonnikom skromne z początku wyposażenie klasztorne - w połowie XIII wieku konwent był właścicielem 40 majątków ziemskich, jeziora, dwóch jazów i czterech wysp.

Niestety, oprócz murów obiegających klasztor, cystersi nie posiadali żadnych umocnień i fortyfikacji, więc ich posiadłość była wielokrotnie grabiona i palona. W początkowej historii oliwskich zakonników napadali pogańscy Prusowie i Krzyżacy, ale mimo tego opactwo było jednym z największych latyfundiów na obszarze Pomorza Gdańskiego. W następnych latach klasztor plądrowali husyci, gdańszczanie podczas wojny z Batorym, Szwedzi, Rosjanie. Mimo to osada wciąż się odradzała i rozrastała. Największy rozkwit opactwa nastąpił za panowania królów polskich. Kres nastąpił dopiero po pierwszym rozbiorze Polski w 1772 roku, gdy wszystkie posiadłości cysterskie skonfiskowało państwo pruskie. Opatowi oliwskiemu przyznano pensję, a konwentowi raz w roku wypłacano odszkodowanie.

Pod władzą pruską Oliwa została sołectwem, które zamieszkiwało około 500 mieszkańców w 70 zabudowaniach. W tym czasie konwent zakonny dostał od władz pruskich w płatną dzierżawę własny folwark. Życie klasztorne zamierało nie tylko z powodu biedy, ale i braku chętnych do nowicjatu. Na domiar nieszczęść, zubożali zakonnicy musieli zmierzyć się z wojnami napoleońskimi, gdy w zabudowaniach klasztornych zorganizowano wówczas lazaret. Z powodu biedy cystersi zaczęli wyprzedawać wyposażenie kościoła. Był to krótki etap w historii oliwskiej (1807-1813) pozostawania pod panowaniem francuskim (w ramach pierwszego Wolnego Miasta Gdańska). W 1815 roku Oliwa wraz z Gdańskiem weszła w skład Królestwa Prus. Podupadły konwent ostatecznie rozwiązało zarządzenie króla pruskiego z 1829 roku, które weszło w życie dwa lata później.

W 1874 roku Oliwa otrzymała prawa miejskie. Liczyła wówczas około 3000 mieszkańców, z czego większość była Kaszubami. Rozwój miasteczka przyspieszyło oddanie do użytku w 1870 roku linii kolejowej Gdańsk-Koszalin i konnego połączenia tramwajowego z Gdańskiem w 1873 roku (zelektryfikowane w 1901 roku). W tym okresie Kaszubów zdominowali liczebnie licznie napływający w te tereny Niemcy. Na początku XX wieku Oliwa, zamieszkiwana przez ponad 6 000 osób, zaczęła się przeradzać w nadmorski kurort z domem zdrojowym, kabinami kąpielowymi i molo. Jej południowa część nabrała charakteru podmiejskiego osiedla willowego.

Po I wojnie światowej na mocy traktatu wersalskiego z 1919 roku utworzono Wolne Miasto Gdańsk, którego granice objęły m.in. Oliwę. Podczas działań wojennych II wojny światowej w marcu 1945 roku Oliwa nie doznała większego uszczerbku (Niemcy nie zrealizowali m.in. zamiaru wysadzenia w powietrze klasztoru i katedry) i wciąż jako samodzielna jednostka administracyjna miała prawa miejskie, lecz wkrótce ponownie włączono ją do Gdańska. Po wojnie ludność niemiecka masowo opuszczała Oliwę, opustoszałe po nich osiedla zajęli Polacy napływający z wszystkich części kraju.

Rozrost dzielnicy nastąpił w latach 60. i 70. XX wieku. Dziś, oprócz domów mieszkalnych, znajdują się tu niektóre z wydziałów  Uniwersytetu Gdańskiego oraz kampus Akademii Wychowania Fizycznego. Od 1992 roku Oliwa jest siedzibą archidiecezji.