Vanaf de 4e eeuw n.Chr. onderging het Keizerlijk Paleis een ingrijpende transformatie. De belangrijkste ingreep in deze fase was de volledige afbraak van het amfitheater, waarvan alleen de fundering onder een egaliserende laag van zand en bouwpuin overbleef. Het paleis kreeg een nieuwe voorzijde verdeeld over meerdere kamers, waaronder een kleine latrine, verrijkt met een marmeren wand- en vloerbedekking. In de noordoostelijke hoek van het complex, rondom een bestaande zuilengalerij op de eerste verdieping, werden ook luxueuze woonvertrekken met een grote latrine aangelegd. In de tweede helft van de 5e eeuw n.Chr. werd het Keizerlijk Paleis verder aangepast: het werd namelijk opgenomen in de ommuring van Portus, die in dit gedeelte tegen de noordelijke gevel van het gebouw leunde en langs het bassin van de haven van Claudius liep en ook het Castellum Aquae omvatte dat waarschijnlijk omgebouwd was tot toren, om vervolgens in noord-zuid richting door te lopen naar de noordzijde van de Navalia.