Grusviva har en vidsträckt världsutbredning som omfattar de tempererade delarna av hela norra hemisfären. I Sverige är den vanlig på Öland och Gotland, på fastlandet sällsynt och där bunden till kalkområden.

Grusviva växer i soliga lägen på torr och kalkrik mark. På alvaret föredrar den att växa på mosskuddar eller i tunn alvarmo som täcker kalkhällen. Den ses även i betade, sandiga torrängar med glesare växttäcke eller i den extrema miljön grusalvar. Grusviva ses även i grustäkter, sandtag, stenbrott och på mossklädda cementfundament. Sällsynt är den idag funnen som åkerogräs och på trädor. Rikard Sterner såg grusviva på flera ställen utmed dåvarande järnvägen; på några ställen håller den sig kvar än idag på den gamla och sandiga banvallen. När skogsvägar i den annars kalkfattiga Bödaskogen påförs kalkrikt grus kan växten dyka upp även där.

Grusviva är vanlig på Öland och växer på Stora Alvaret och småalvaren. Längs östra landsvägen förekommer den i många av de täkter med kalkrik sand som tagits upp i Ancylusvallen och den växer även i de små fragment med sandstäpp som ses längs östra Öland. Däremot är den ovanlig i östra sjömarken. I Mittlandet är fynden inskränkta till alvarlika partier och sandtag. Utmed västra stenkusten, från Högby sn och söderut till Köping, växer den i kustnära gamla stenbrott. Upphörd hävd av sandiga torrängar kan på sikt utgöra ett hot mot arten.

Sällsynt förekommer grusvivor som har blommor utan blomstängel. Själva blomflocken utgår då direkt från bladrosetten, ett fenomen som man även kan se hos släktingen majviva Primula farinosa.

Gammal, bofast.