Два года Колтон путешествовал по Соединённым Штатам Америки. В дальнейшем он выбрал местом проживания Париж, где открыл собственную художественную галерею, собрав в ней обширную коллекцию полотен. Увлекался коллекционированием редких вин и стрельбой по куропаткам. Азартные увлечения Чарльза Колтона привели к тому, что в последние годы жизни он существовал на средства своих ближайших родственников. Застрелился, не решившись на необходимую ему хирургическую операцию.