Gråvidet är mer näringskrävande men också mer skuggtåligt än bindvide. Det växer vid stränder, i mader, kärrkanter och småvatten, på fuktiga ställen i skog samt i skogsbryn. I mader och myrlaggar håller sig oftast arten nära fastmarkskanten, vid sjöstränder något högre upp än bindvide. Gråvidet är dessutom vanligt i buskage på öppen mark, i bryn samt utmed väg- och åkerdiken. Arten slår ofta upp på fuktig, övergiven åker- och betesmark liksom på nyligen avplanad mark.