Chr. 4 fik mange børn med mange kvinder: 6 med dronningen, 10 med sin hustru til venstre hånd ”Kirsten Munk, 1 med dronningens kammerpige Kirsten Madsdatter, 2 el. 3 med skriverdatteren Karen Andersdatter, 1 med en norsk adelsdame og to børn med Kirsten Munks kammerpige, Vibeke Kruse. Sidstnævnte var den der tilbragte flest år med kongen, fra 1629 til kongens død i 1648.
Herregården Skinnerup blev oprettet af Odense-borgmester Mikkel Pedersen Akeleye i 1525. I 1616 købte Chr. IV gården. I 1636 begyndte han en omfattende ombygning af slottet. I 1645 da ombygningen var tæt på færdig, overdrog han slottet til sin 15-årige søn med Vibeke Kruse, Ulrik Christian Gyldenløve, og det blev omdøbt til Ulriksholm. Gyldenløve døde under svenskekrigene kun 29 år gammel. Han efterlod sig gæld, og Ulriksholm blev delt mellem hans kreditorer. Godset blev samlet af Abel Cathrine von der Wisch, der ved sin død efterlod det til sin plejedatter Hedvig, gift med Nicolaus von Brügmann. Deres søn, Godske Hans von Brügmann, overtog godset efter sin far. Han var meget interesseret i haveanlæg. I 1863 blev godset købt af landstingsmedlem Frederik Vilhelm Steen Danneskjold-Samsøe, der udvidede jordtilliggendet. I 1925 købte Hans Ahlefeldt-Laurvig godset. Han solgte godset til Helge du Plessis de Richelieu, der under besættelsen satte slottet til rådighed for Det Civile Beredskab (Krigsministeriet). I 1947 solgtes Ulriksholm til Niels Johannes Haustrup (stifter af Haustrups Fabrikker), der drev det som storlandbrug. Fra 1952 har slottet været ejet af først et, så et andet aktieselskab. I 2019 fik slottet nye ejere: Helle og Mikael Lundgaard.