Ab dem 4. Jahrhundert n. Chr. erfuhr der Kaiserpalast eine tiefgreifende Umgestaltung. Der wichtigste Eingriff in dieser Phase war der vollständige Abriss des Amphitheaters, von dem nur die Fundamente erhalten blieben, die mit Sand und Bauschutt bedeckt wurden. Der Palast erhielt eine neue Fassade, die in mehrere Räume unterteilt war, darunter eine kleine Latrine, die mit Wand- und Bodenverkleidungen aus Marmor versehen war. An der nordöstlichen Ecke des Komplexes, rund um ein bereits bestehendes Peristyl im ersten Geschoss, wurden ebenfalls luxuriöse Wohnräume eingerichtet, die mit einer großen Latrine versehen waren. In der zweiten Hälfte des 5. Jahrhunderts n. Chr. erfuhr der Kaiserpalast weitere Veränderungen: Er wurde in die Stadtmauer von Portus eingegliedert, die in diesem Abschnitt an die Nordfassade des Gebäudes stieß, das Becken des Claudius-Hafens umgab und das Castellum aquae einbezog, das wahrscheinlich in einen Turm umgewandelt wurde, und sich dann in Nord-Süd-Richtung zur Nordfassade der Navalia fortsetzte.