Mjölke är ursprunglig men starkt kulturgynnad. Exempel på naturliga växtplatser är bergbranter samt sanddyner och klapperstensstränder vid havet. Den konkurrenssvaga, ljusälskande och kvävegynnade arten, som gärna betas av rådjur, växer emellertid främst i mer eller mindre täta bestånd på hyggen, banvallar, åker- och vägrenar samt olika ruderatmarker. Vid god kvävetillgång, t ex i träddungar med övernattande kråkfågelflockar (Varberg L. Träslöv), kan växten bli dominerande trots den ringa ljustillgången.