Spridd och vanlig i hela Uppland utom i ytterskärgården, där den är sällsynt. 675 kartblad, 2377 kvadranter.
Gråfibbla växer främst på sandiga marker såsom relativt hårt betade naturbetesmarker, på exponerade vägslänter och skogsbilvägar, på något rikare hällmarker samt i grustag. Gråfibblan har minskat under 1900-talet eftersom lämpliga miljöer minskat kraftigt.