Gråstarr är vanlig i alla slags fattiga kärr, exempelvis i laggkärr och myrdråg, på mader och gungflyn, men den kan även påträffas i rikare kärr. Vidare är den allmän i sumpskog och på stränder. I skärgården förekommer den regelbundet i hällkar, ibland även i klippspringor. På kulturmark växer den i diken och dammar, på fuktiga stigar och gamla myrodlingar samt på hyggen.