Parafia istniała od XII wieku, stąd przypuszczenia, że w miejscu obecnej, murowanej świątyni mogła istnieć wcześniejsza - drewniana. Znaczna część pierwotnych murów dotrwała do dziś, choć kształt budowli zmieniał się kilkakrotnie po wojennych zniszczeniach. Pierwszą odbudowę przeprowadzono pod koniec XVI wieku, po trzykrotnych napadach gdańszczan na dobra klasztorne. Prace musiały być pospieszne i niestaranne, bo już kilkadziesiąt lat później zagrożone zawaleniem ściany trzeba było ratować. Remonty świątyni upamiętnia chorągiewka na wieży z inicjałami i herbami opatów Dawida Konarskiego (1589-1616) i Kazimierza Dąbrowskiego (1703-1722), wskazując działania obu na rzecz odbudowy lub przebudowy kościoła. Znaczny remont przeprowadził też opat Jacek Rybiński - z tego okresu pochodzi rokokowy kartusz na wschodnim szczycie.

Po kasacie klasztoru w 1831 roku, kościół parafialny przejęła miejscowa Gmina Ewangelicka. Obejmowała ona swym zasięgiem znaczne terytorium: Oliwę, dzisiejsze Klukowo, Owczarnię, częściowo Zaspę. Pierwszym ewangelickim proboszczem św. Jakuba był Adam Sadowski. Początkowo zamieszkiwał na Polankach w Dworze III, ale w 1835 przeniósł się do wybudowanej naprzeciw kościoła plebanii.

W początkach XX wieku rozrastająca się Gmina liczyła ponad 3000 wiernych, a niewielka świątynia stała się zbyt mała na jej potrzeby. Decyzja o budowie nowego kościoła dla ewangelików zapadła w 1906 roku. Ostatnie nabożeństwo w kościele św. Jakuba, przed przeprowadzką do nowej świątyni przy ul. Leśnej, odbyło się w październiku 1920 roku. W 1945 roku nowy kościół przy Leśnej zajęli cystersi, którzy przybyli do Oliwy ze Szczerzyca, a ewangelicy ponownie zaczęli użytkować swoją dawną świątynię. Katolicy przejęli ją w 1946 roku, po tym jak większość oliwskich ewangelików opuściła Gdańsk (dobrowolnie lub w ramach przymusowego przesiedlenia). Od tego czasu jest to filia obecnej parafii archikatedralnej. Przez kilka lat kościół służył także greko-katolikom w czasie niedzielnych nabożeństw.

Kościół jest obecnie budowlą dwunawową, od wschodu zamkniętą prostą ścianą. W przeszłości istniała jeszcze jedna nawa boczna. W bryle można wyróżnić elementy gotyckie (zachowane w większości mury), barokowe (hełm wieńczący wieżę) i rokokowe (kartusz na wschodnim szczycie). 

W malutkim wnętrzu (28 m dł., 10 m szer.) przeważa wyposażenie rokokowe: ambona, konfesjonał i ołtarz główny. Jest bardzo prawdopodobne, że wszystkie wykonane zostały w snycerskim warsztacie cystersów. Współczesna kompozycja w nastawie ołtarzowej zastąpiła wcześniejszy obraz z Chrystusem, namalowany przez gdańskiego artystę Louisa Sy. W górze ołtarza znajduje się przedstawienie Zmartwychwstania. Pod nim, w rokokowym drewnianym kartuszu, widnieją postacie Adama i Ewy. Zdobione, płaskie stropy nad nawami oraz kruchta są efektem późniejszych przekształceń świątyni wykonanych przez Gminę Ewangelicką. Na południowej ścianie kruchty wisi współczesna rzeźba ukrzyżowanego Chrystusa z sugestywnie wyrażonym na jego twarzy i ciele cierpieniem. Ostatnim zabytkiem, na który warto zwrócić uwagę, jest sześć płyt nagrobnych umieszczonych w posadzce, część z nich niegdyś ozdobiona była herbami, dziś już wytartymi.

Na zewnątrz kościoła w przeszłości znajdował się cmentarz, na którym zmarłych chowano jeszcze pod koniec XIX wieku. Ostatnie nagrobki, datowane na XVII wiek, zlikwidowane zostały przy okazji renowacji świątyni w latach 60. XX wieku. Tutaj pogrzebani zostali w listopadzie 1308 roku rycerze pomorscy wymordowani przez Krzyżaków w czasie „rzezi gdańskiej”. Ciała ofiar okrutnej zbrodni kazał przewieźć do Oliwy opat Rüdiger, który był obecny przy ich śmierci. To wtedy w kronikach po raz pierwszy pojawiła się wzmianka o kościele św. Jakuba.