À partir du IVe siècle ap. J.-C., le Palazzo Imperiale subit une profonde transformation. Au cours de cette phase, l'intervention la plus importante fut la démolition complète de l'amphithéâtre, dont seules les fondations furent épargnées, recouvertes d’un nivellement de sable et de débris de construction. Le palais fut doté d'une nouvelle façade divisée en plusieurs pièces, dont de petites latrines, enrichies de revêtements muraux et de sol en marbre. À l'angle nord-est du complexe, autour d'un péristyle préexistant situé au premier étage, des chambres résidentielles luxueuses furent également aménagées et équipées de grandes latrines. Dans la seconde moitié du Ve siècle ap. J.-C., le Palazzo Imperiale subit de nouvelles modifications : il fut en effet incorporé au mur d’enceinte de Portus qui, dans cette portion, s’adossait à la façade nord du bâtiment, longeait le bassin du port de Claude et incorporait le Castellum Aquae, probablement transformé en tour, pour se poursuivre en direction nord-sud vers la façade nord des Navalia.