Licei musicali, una vita difficile