Trolldruva växer skuggigt på frisk, närings- och basrik mulljord, framför allt i blockiga sluttningar. Den påträffas exempelvis i bäckdalar, lövskogsbranter, hassellundar, bergrötter och frodig ängsskog med gran och ädla lövträd. I magrare trakter förekommer arten nästan bara i grönstenspåverkad lövskog.

Trolldruvan är ofta fåtalig på sina växtplatser, men även små förekomster på utpostlokaler kan äga bestånd i ett sekel eller mer, om bara miljön är intakt. Fröna har dålig grobarhet och spridningen är långsam. Växten är känslig för förändringar av vatten- och ljustillgången, och hänsyn bör tas till den i skogsbruket. Lokaler med trolldruva har ofta lång kontinuitet som skogsmark.