O granicach dzielnicy można mówić dopiero od XIX wieku, po kasacie zakonu przez władze pruskie. Wcześniej, przez wiele stuleci nazwę Oliwa odnoszono raczej do klasztoru niż otaczającej go wioski. Utworzona przez władze pruskie administracja stopniowo obejmowała coraz większy obszar.

Południowa i wschodnia granica Oliwy ostatecznie ukształtowała się na początku kolejnego stulecia. Oparła się o Jelitkowo i Kuźnicę Konradich, przecinając teren dzisiejszego Przymorza. Bliżej torów kolejowych oliwskie osiedle Młyniec sąsiadowało z późniejszym lotniskiem. Po zachodniej stronie torów granicę wytyczała linia kolejowa z Wrzeszcza do Kościerzyny. Wielokrotnie regulowano granicę północną, pomiędzy Oliwą a Sopotem.

Dziś obszar Oliwy najprościej wyznaczyć pomiędzy Sopotem a Wrzeszczem, od zachodniej strony torów i ul. Grunwaldzkiej. Naturalnym pasem granicznym od zachodu  jest las. Wschodnia strona torów aż do Zatoki Gdańskiej podzielona jest na trzy jednostki administracyjne, z których Żabianka i tzw. Małe Przymorze uważane są za część Oliwy.