Kärrgröe växer på våt till måttligt fuktig, ofta kväverik jord. Gräset är konkurrenssvagt och gynnas av markblottor och störning. Det är allra vanligast i odlingslandskapet, där det påträffas vid gårdar, kring vattningsställen, i otillräckligt dränerade åkrar, i rabatter på ej alltför torr jord och på skräpmark. I mera naturlig omgivning växer det vid stränder samt i översilade fuktängar och lövkärr, där det särskilt återfinns i kanterna eller på gyttjetäckta bottnar. Arten har varit ett viktigt vallgräs, speciellt använt på mossjordar och sanka, tidvis översvämmade marker (Lyhagen 1991). En del av dagens förekomster har säkerligen sitt ursprung i denna odling.