Troligen från Europa. I Sverige hela landet. I Sörmland mycket allmän i anslutning till bebyggelse – (94%). Gråbon är på landsbygden en av de vanligaste växterna på kväverik gårdsmark kring ladugårdar, på avfallsplatser och liknande där den ofta ingår i en högörtsvegetation med kardborrar, svinmålla, hundloka och andra näringsfordrande arter. Den växer lika gärna på ruderatmark i städerna, på bakgårdar, industritomter, längs järnvägar, i vägkanter och på soptippar. Innan djupplöjningen av åkrar infördes under 1800-talet var gråbon också ett svårt åkerogräs. Idag förekommer den knappast alls i denna miljö. Ogräsformen är förmodligen för länge sedan invandrad med människan. Gråbo är också vanlig på havsstränder, särskilt kring båthus och fiskelägen, samt på tångvallar och fågelgödslade skär. På havsstränder förekommer den ofta i form av den antagligen inhemska strandgråbon – var. coarctata, med även ovanpå silverhåriga blad.