Kvastfibbla växer på torr–frisk, gärna sandig–grusig mark som är betad, ohävdad eller sällsynt slåttad. Lokalerna kan vara kalkfattiga (ljunghed) men även extremt kalkrika (grusalvar). Kvastfibbla växer på torrängar, i vägrenar och glesare skogar. Klapperstensvallar, högar med skrotsten och rödfyr är andra ställen där den är noterad. Påfallande ofta är den funnen i åkerkanter och på trädor. Kvastfibbla ses sällan i uttalade ruderatmiljöer men är funnen på kanten av bevattningsdammar, i gamla sandtag och stenbrott. Flera fynd är gjorda utmed sandiga banvallar. Sällsynt är den funnen i grusalvar och sprickrik kalksten.

Kvastfibbla är vanlig i Mittlandet, utmed västra landborgen och västra stenkusten. Den är ovanlig på Stora Alvaret och i östra sjömarken. På sydöstra Öland är den sparsam, ett mönster som återkommer hos andra arter som mest växer på sandig–grusig mark. Eftersom taxonomin har skiftat över tid går det inte att dra några slutsatser om eventuella ändringar i utbredningsmönster eller beståndens täthet.

Kvastfibbla har blommor med gula märken som är samlade flocklikt i toppen av stjälken; stjälkbladen är 1–5 till antalet. Utlöpare saknas eller är mycket korta, rosettbladen är gröna och undertill mer eller mindre stjärnhåriga. Den kan delas in i varieteterna styvhårig kvastfibbla var. cymosa och mjukhårig kvastfibbla var. pubescens. Styvhårig kvastfibbla har holkfjäll med många långa, ljusa borsthår, få glandelhår (gula eller svarta) och mer eller mindre rikligt med stjärnhår. Bladovansidan har styva hår, 2–5 mm långa. Mjukhårig kvastfibbla har holkfjäll med få, mörka borsthår som endast är kort vitspetsade, täta och mörka glandelhår, stjärnhår saknas i princip. Bladen har mjuka och kortare hår (0,8–1,3 mm). Mellanformer är vanliga (Tyler 2001 & 2017 a). Av fynden är ca 80 % bestämda till varietet och 2/3 är då bedömda som styvhårig kvastfibbla och 1/3 som mjukhårig kvastfibbla. Styvhårig kvastfibbla anges som vanligare i sydöstra Sverige medan mjukhårig kvastfibbla är mer jämnt fördelad över landet och endast sällsynt i sydvästra Götaland och fjälltrakterna.

Gammal, bofast.