Kärrviol hör hemma i lågbevuxen, näringsfattig och blöt mark. Som mest framträdande är den kanske på magra skogsodlingar i sura trakter. Där är den regelbunden i dikeskanter och sumpiga svackor på ängar och vallar, och man ser den i mängd på gamla myrodlingar, gärna bland björnmossa. Arten har också varit typisk på välhävdad fuktig hackslått; även idag kan man se de rundade bladen i fuktstråk på gräsklippta ytor.
Kärrviolen växer naturligt på myrar, där den särskilt finns på tuvor i fattigkärr, men också i blöta intermediära kärr. I rikare myrar västerut ersätts den gärna av mossviol V. epipsila. I vattenrika tuviga skogskärr kan man se kärrviol växa uppe på tuvor av styltstarr Carex nigra subsp. juncella. Den är också vanlig i småkärr som i försumpade sluttningar på kustnära berg, där den har följeväxter som stjärnstarr Carex echinata och hundstarr C. nigra subsp. nigra. Den förekommer även i vitmossafläckar i blöt gransumpskog och i tidvis torrlagda kärrhål i skog, gärna under viden och i björksumpskog. Arten är vanlig längs skogsbäckar och -åar och växer där intill vattnet på nakna sediment eller på tvära erosionskanter. På deltan har den setts bilda stora mattor. Vid skogssjöarna finns den på morän- och grusstränder, där den med förkärlek koloniserar stenar, gamla stubbar och virke i strandkanten.