Charlottenlund er opført i 1731-33 og udvidet i 1880-81. Den oprindelige barokbygning var mere enkel i sin udformning. Den bestod af de mellemste ni fag, altså tre fag på hver side af midtrisalitten med kvist og trekantsgavl over og mansardtag. Joniske pilastre. Den var tegnet af J.C. Krieger for Prinsesse Charlotte Amalie (Christian VIs søster), deraf navnet Charlottenlund.
Ferdinand Meldahl stod for udvidelsen i 1880-81. Han tilføjede de to sidefløje i den oprindelige stil og kuppeltårnet med lanterne, der gjorde det chateau-agtigt.