Gråstarr finns i de flesta fuktiga och blöta miljöer i skogs- och kulturlandskapet. Det är en synnerligen anspråkslös växt som trivs i de suraste kärr och skogspölar såväl som i rikkärr och på näringsrika stränder. I sluten skog blir fruktsättningen ofta dålig och den gynnas starkt av hyggesbruk och annan kulturpåverkan. Få är de skogsdiken och vattenfyllda traktorspår som saknar gråstarr. Den växer ofta mycket blött och trivs bland annat på gungfly runt tjärnar. Annars förekommer den talrikast i kantzonerna mot de öppna våtmarkerna. På fuktig mager mark som hålls öppen t.ex. genom bete kan den bli dominerande. Vid havet förekommer gråstarren ofta vid hällkar och isolerade våtmarker men sällan på exponerade stränder.

Florainventeringen antyder att utbredningen är mycket jämn men i verkligheten kanske arten är talrikast i de norra och västra delarna av landskapet.
Mycket vanlig (99% och 939 noterade lokaler).

hybrider
Hybriden med norskstarr, C canescens × mackenziei, är troligen inte ovanlig där arterna möts. Den har rapporterats från Gåshällan och Iggöhällan (LEr enl Lindberg 1979). Den är också funnen av Sten Ahlner på Hålö klubb (belägg i S). Hybriden med nålstarr, C canescens × dioica, finns belagd från Säljemar i Hille (SAh i S) och från Sävasjön i Valbo (Smith i S! ThK).