Począwszy od IV wieku n.e. Palazzo Imperiale wielokrotnie przebudowywano. Najbardziej znaczącą zmianą było całkowite wyburzenie amfiteatru, z którego pozostawiono jedynie fundamenty, pokryte wyrównującą warstwą piasku i gruzu budowlanego. Nowa frontalna część Pałacu objęła kilka pomieszczeń, w tym małą latrynę z marmurowymi płytami na ścianach i podłodze. W północno-wschodnim narożniku obiektu, wokół istniejącego wcześniej perystylu na pierwszym piętrze, zaprojektowano luksusowe komnaty wraz z przestronną latryną. W drugiej połowie V wieku n.e. przeprowadzono kolejne zmiany, włączając Palazzo Imperiale do pasa murów Porto, przylegających na tym odcinku do północnej fasady budynku, ciągnących się wzdłuż basenu portu Klaudiusza i obejmujących zbiornik Castellum Aquae, prawdopodobnie przekształcony w wieżę, a następnie biegnących w kierunku północno-południowym aż do północnej fasady obiektu stoczniowego - Navalia.