/でgit initしてサーバー全体をgitで管理します。
.gitignoreは以下のように設定します。設定ファイルとアプリケーションだけ管理すればいいのでログやバイナリやシステムがらみのものは抜いておきます。
.readahead
#/bin
#/usr/bin
/boot
/dev
#/etc
/home
#/lib
#/usr/lib
#/lib64
#/usr/lib64
#/media
#/mnt
#/opt
/proc
/root
/run
#/sbin
/usr/sbin
/srv
/sys
/tmp
#/usr
/var