Vispstarr växer på ganska torr till svagt fuktig, helst basrik mulljord i örtrik gran- och blandskog, i ek- och hassellundar samt i mullrik bokskog. Arten uppträder gärna på sluttande mark, som i branter och rasmarker, men även på grusåsar. I västra Småland anträffas den främst på grönstenspåverkad mark. Vanliga följeslagare är blåsippa Hepatica nobilis och kranshakmossa Rhytidiadelphus triquetrus.