Färgkulla är en kulturföljeslagare, som kommit in relativt sent med säd och vallfrö. Den spred sig under 1800-talets senare del och är nu åter på tillbakagång, förmodligen efter att tillförseln av frö upphört till följd av renare utsäde. Många nutida förekomster är i stället förvildade från odlingar som prydnadsväxt. Man finner arten på solvarma platser på torr till frisk, naken, gärna basrik och grusig jord i torra sluttningar och skärningar, på hällmark, banvallar och vägkanter.