Liten kärrmaskros växer på frisk–fuktig, ofta kalkpåverkad och näringsfattig mark. I Sverige förekommer den främst utmed kusterna, från Bohuslän runt sydkusten, vidare norrut till Uppland samt på Öland och Gotland. Inlandslokaler finns främst i kalktrakterna i Väster- och Östergötland.

Liten kärrmaskros är konkurrenssvag och växer främst i välhävdade kalkfuktängar, i kanten av skogs- eller alvarkärr samt fuktiga svackor mellan gamla strandvallar. Den behöver tramp från betesdjuren som skapar luckor i vegetationen där fröna kan gro och där betet håller borta förnaansamlingen. Ibland ses den i kanten av större vätar, längs bäckar och i gamla stenbrott. När igenväxande betesmarker röjs kan den dyka upp, kanske har den fortlevt en tid men inte orkat att blomma.

Liten kärrmaskros är spridd främst på Stora Alvaret och östra sjömarkerna. Inom Mittlandet är fynden färre. Jämfört med kartan i Saarsoo & Haglund (1962) ligger prickarna idag något glesare. Liten kärrmaskros bedöms ha minskat med tanke på att kvalitén på dess favoritmiljö, välbetade kalkfuktängar, har försämrats.

Liten kärrmaskros är småvuxen och känns igen på bladen som har få sidoflikar och en stor hjälmlik ändflik. Holkfjällen är löst tilltryckta, blomkorgen liten och pollen saknas. Bladskaften är röda och även mittnerven är tydligt röd, åtminstone i den nedre halvan.