Há coisas que poderiam ser simples em todos os lugares, e não só no linux.
Mas instalar o git no windows não é um bicho de sete cabeças (tem no máximo umas três)
Para windows você tem basicamente duas opções (outras para outros sistemas operacionais você pode pegar aqui):
Eu aqui vou utilizar o msysGit, que eu uso e gosto muito. Não que o Cygwin não seja bom. É meramente uma opção pessoal.

O primeiro passo
Como não podia deixar de ser, é fazer o download do git. Ele pode ser encontrado na página de downloads.
Eu recomendo a instalação do Git-1.7.0.2-preview20100309.exe por ser (até o presente momento) a versão estável mais atualizada.
Cuidado com as versões fullinstall que são para desenvolvimento e que para o uso do dia-a-dia trazem algumas complicações extras que talvez você não queira ter.
Uma delas é a necessidade do Perl estar instalado na máquina. Nada de mais, se você está interessado em ir além do arroz-com-feijão, vá fundo.
Após baixá-lo, vamos partir para a instalação.








Meus fontes