Grusstarr växer på fuktig till frisk mark i naturbeten och hagmark, i löv- och blandskogar, då ofta i sluttningar, gläntor och utefter stigar. Den förekommer också ofta på grusiga, torrare och mer exponerade ståndorter som vägkanter, banvallar, stationsområden, industriplaner, grustag och andra ruderatmarker. Arten tycks vara gynnad av störning och kvävenedfall, vilket förmodligen förklarar att den blivit vanligare sedan förra inventeringen.