Liten kardborre växer på torr–frisk, kväverik mark och är vanlig i vägrenar, åkerkanter men förekommer även i ruderatmiljöer som jordtippar, stenhögar och gödselupplag. Däremot är den inte lika hårt knuten till gårdsmiljöer som ullkardborre A. tomentosum och stor kardborre A. lappa. En annan skillnad är att liten kardborre ganska ofta är noterad i ädellövskog, hässlen, betade torrängar och på sandiga eller steniga stränder. Rikard Sterner noterade växten 1929 i Vickleby storkarst men där har den inte återfunnits.

Liten kardborre är den vanligaste arten i släktet och spridd i hela landskapet förutom på Stora Alvaret och barrskogarna i norr, Böda sn. Den klarar sig bra på dagens Öland och kan även växa på lokaler som inte är utpräglat kulturpåverkade.

Gammal främst kulturföljeslagare, bofast.