Gråbinka växer exponerat på torr, sandig eller grusig, gärna skalblandad jord, som är blottad eller glest bevuxen. Man finner den på torrbackar, vägkanter, grusplaner, i industriområden och hamnar, grustag och stenbrott. Gråbinka är karaktärsart i det kala, sönderhuggna berget på Malmön. Den konkurrenssvaga arten har minskat kraftigt sedan mitten av 1900-talet, allra mest i inlandet, förmodligen huvudsakligen till följd av igenväxning.