Gråfibblan är en ursprunglig men starkt kulturgynnad art. Den växer torrt och soligt på mager hedartad mark. Arten är mycket torktålig och bildar med sina långa utlöpare ofta täta mattor på genomsläppliga jordar. I naturlig vegetation återfinns den främst på hällmarker av grönstenar eller andra basiska bergarter. Gråfibblan gynnas av bete och blir ofta dominerande i torra sandiga betesmarker. Den är en särskilt viktig komponent i vegetationstypen fårsvingeltorräng. Även solexponerade torrbackar utan hävd blir ofta klädda av gråfibblemattor.

Arten förekommer i en mängd andra torra och soliga miljöer i kulturlandskapet, inte minst i vägslänter, på banvallar, gårdstun och i torra gräsmattor.

Vanligaste följearten är röllika (40%) följd av smultron, rödven, bockrot, fårsvingel, gulmåra, liten blåklocka, åkervädd och lingon. Revfibbla är däremot en ovanlig följeväxt (3%). Gråfibbla och revfibbla blommar samtidigt som linnea, ängsklocka och prästkrage.