はい、変更可能です。ただし、既に購入した分は売却しない限り変更できません。新規積立分から別の銘柄に切り替えることができます。
市場状況や自身の投資方針によりますが、大きな市場変動時や投資信託の運用方針変更時などが変更を検討するタイミングとして適しています。
必ずしも売却が必要ではありません。新NISAの枠を活用しながら、既存のつみたてNISA銘柄を継続保有する選択肢もあります。税制優遇期間を考慮して判断しましょう。