Grusstarr är förmodligen ursprunglig på havsstränder men framför allt förekommer den på kulturmark. Arten, som är ljusälskande och konkurrenssvag, bildar rika bestånd på både torra och fuktiga ståndorter. Vanliga växtplatser är sandiga/grusiga gräsmarker vid havet, bäck- och åstränder, naturbetesmarker, diken, väg- och åkerrenar, åkervägar, stationsområden, grustag och diverse andra ruderatmarker.

Grusstarr, som med lätthet tycks etablera sig på vissa typer av störd mark, har ökat i utbredning och frekvens under 1900-talet. Lämpliga lokaler skapas ständigt genom täktverksamhet, schaktningar, dikningar, vägbyggen etc.