En typisk miljö för gråbo är en dammig och bortglömd vägkant bakom en bushållplats i en tätort. Arten förekommer mest i låglandets kulturområden och är särskilt vanlig längs de större vägarna och i tätorterna. I skogsbygderna är den däremot bara spridd–sällsynt och finns mer enstaka vid gårdarna. Den växer solöppet, gärna på torr, glest bevuxen ren mineraljord, både i grus och på lera. Gråbo är en av tätorternas karaktärsväxter och finns regelbundet på ödetomter, kring parkeringseller busshållplatser, invid väggar och stängsel, på bangårdar, industri- och affärsplaner etc. Den trivs i vägdammet och följer vägarna, särskilt i jordbrukstrakter. Däremot saknas den vanligen vid skogsbilvägar.
I byarna ser man den på gårdsplaner och kring uthus och ladugårdar, helst i ovårdade ”hörn”, t.ex. avställningsytor, husgrunder och skrotupplag. Vid kusten och i dalgångarna växer den även på grushögar, jordutfyllnader och tippar. Gråbo etablerar sig lätt, utvecklar ett vidlyftigt rotsystem och kan bli dominerande. Den har sannolikt ökat i sen tid. K.B. Nordström samlade den 1910 i Ljustorp Edsta med kommentaren: ”troligen socknens enda lokal”. Till Liden Järkvissle inkom den först under 1950-talet längs landsvägen (RL).
Vanlig gråbo är mycket ovanlig i naturliga miljöer. I bergroten på Hattberget i Liden är den sekundär.