Gråstarr är en av våra vanligaste starrarter, särskilt karaktäristisk för näringsfattiga och sura våtmarker. Den är mest frekvent på morän och hällmarker, mindre vanlig på jordar av finsediment. Arten vill ha öppen, vegetationsfattig mark och är karaktäristisk för ytor där vattenståndet växlar. På myrarna kan man hitta den i blöta partier, gärna på gungfly vid tjärnar, myrbäckar och utlopp, ibland också i fastare högstarrkärr. Vid sjöstränder – särskilt i skogsområdet – dyker den upp i fuktgropar, avsnörningar och på vitmosskanter. Den följer bäckar och åar i sumpiga, kärrartade partier och ses även i tidvis vattenfyllda små sänkor i barrskog, i viderik sumpskog och i suråar som vid Mjällån. Dessutom är den typisk för mer eller mindre vattenfyllda hällkar, både på kustklipporna och i bergig skogsmark i inlandet. Gråstarr gynnas starkt av mänskliga ingrepp och är en snabb kolonisatör i nya väg- och skogsdiken, blöta körvägar och skogsmaskinspår på hyggen. Den gynnas tillfälligt av vattenregleringar på stränder. Mer sällan ser man den i odlingsmark men i magra områden finns den i bäckkanter och nygrävda diken.
Den är en mångformig art, och inte sällan ses i sumpskog och vid bäckar former med små fåblommiga ax, som kan vara förvillande lika både repestarr C. loliacea och nickstarr C. brunnescens.