A partire dal IV secolo d.C. il Palazzo Imperiale subì una profonda trasformazione. In questa fase l’intervento più significativo è rappresentato dalla completa demolizione dell’anfiteatro, di cui vennero risparmiate le sole fondazioni, ricoperte da un livellamento di sabbie e detriti edilizi. Il Palazzo venne dotato di una nuova fronte articolata in diversi ambienti, uno dei quali era una piccola latrina arricchita da rivestimenti marmorei parietali e pavimentali. Presso l’angolo nord-est del complesso, intorno a un peristilio preesistente situato al primo piano, furono inoltre allestiti dei lussuosi ambienti residenziali, dotati di un’ampia latrina. Nella seconda metà del V secolo d.C. il Palazzo Imperiale subì ulteriori modifiche: fu infatti inglobato nella cinta muraria di Porto, che in questo tratto si addossava alla facciata settentrionale dell’edificio, costeggiava il bacino del porto di Claudio e inglobava il Castellum Aquae, trasformato verosimilmente in torre, per poi proseguire in direzione nord-sud verso la facciata settentrionale dei Navalia.