はい。削除して構いません。
なぜなら、インストールが完了すれば、基本的にはインストールに使ったファイルは使わないからです。
アンインストールに必要なファイルは、すでに必要な場所(例えば「C:¥Windows¥Installer以下」や「C:¥Program Files¥プログラム名以下」に保存されています(一般的に、MSIインストーラでは前者の場所です)。
従って、インストーラ(setup.exeや周辺ファイルなど)は削除しても問題ありません。
ただし、CD-ROMなどの外部メディアからインストールしているのでなければ、後で再インストールするために、インストーラを外部メディアにバックアップしておくことを推奨します。