Kuna 1980. aasta Moskva Olümpiamängude regatt pidi toimuma Tallinnas, nähti muuhulgas ette kogu Suure Rannavärava kompleksi restaureerimine, mis võimaldas saavutada lõpuks normaalse mahuga ekspositsiooni tingimused.
1977. aasta lõpul muuseum suleti ning järgmisel aastal algasid ehitustööd.
Töö aga venis ning Olümpiamängude ajaks saadi välja panna vaid ajutine näitus.
Muuseum avati Paksus Margareetas 27. aprillil 1981.