Maleriet skildrer det familieliv, Thorvaldsen aldrig selv fik. Thorvaldsen blev ikke gift, men indledte ganske kort efter at være kommet til Italien et forhold til den gifte Anna Maria Magnani. Efter at have forladt sin mand fødte hun i 1806 Thorvaldsens søn, Alberto, der dog døde 5 år gammel, og i 1813 datteren, Elisa. Thorvaldsen flyttede imidlertid aldrig sammen med børnenes moder og hans forhold til hende var meget svingende.
I 1832 var datteren Elisa blevet gift med den noget ældre oberst Fritz Paulsen, der havde ansættelse hos prinsesse Charlotte Frederikke i Rom. Da Thorvaldsen stod for at skulle vende hjem til Danmark, bestilte han hos Küchler et portræt af datteren, svigersønnen og de to børnebørn, der på det tidspunkt var kommet. Sammen med busten af faderen på skabet i baggrunden, udgør Elisa familiebilledets naturlige midtpunkt.
