Gråfibblan är en karaktärsart för torrbacksvegetationen. Den växer solöppet, vanligen i dominerande mattor, helst på lätt jord och ofta på sura, näringsfattiga ytor. Naturligt förekommer den på torra hyllor i sydberg och hällmarker. Dessutom hittar man den på sandstränder, både vid havet och i inlandet, där den växer i stabiliserad vegetation i strandens övre del. Vanligast är gråfibblan dock på kulturmark, där den regelbundet dyker upp på tillräckligt torra backar och slänter kring gårdar, ibland på plan mark, t.ex. i gräsmattor. Den är idag också mycket vanlig i vägslänter – inte minst vid de större genomfartsvägarna – och på banvallar, där den kan breda ut sig i mycket stora fält. Man kan även påträffa gråfibblan i gamla grustag, på grusplaner, vid kraftverk m.m. Ofta då som pionjärväxt.