A partir do século IV d.C., o Palácio Imperial passou por uma profunda transformação. Nesta fase, a intervenção mais significativa foi a demolição completa do anfiteatro, do qual apenas as fundações foram poupadas, cobertas por um nivelamento de areia e entulhos de construção. O Palácio foi dotado de uma nova parte frontal dividida em vários ambientes, um das quais era uma pequena latrina, enriquecida com revestimentos de mármore nas paredes e no piso. No canto nordeste do complexo, em torno de um peristilo preexistente localizado no primeiro andar, também foram criados ambientes residenciais luxuosos dotados de uma ampla latrina. Na segunda metade do século V d.C., o Palácio Imperial sofreu novas modificações: foi incorporado à muralha do Porto, que neste trecho estava encostada à fachada norte do edifício, contornava a bacia do porto de Cláudio e incorporava o Castellum Aquae, provavelmente transformado em uma torre, e depois continuava na direção norte-sul em direção à fachada norte da Navalia.