Ullörten saknar ursprungliga växtplatser i landskapet och har sannolikt kommit in som en följeslagare till jordbruket. Den angavs förekomma flerstädes i Gävletrakten 1848. I nästa utgåva av Gävle-traktens växter 1863 betecknas dock växten som tämligen allmän. Totalt är 27 gamla lokaler kända. Troligen var ullörten vanligare i 1800-talets nötta och välhävdade kulturlandskap.
Vanliga följeväxter är röllika, gulsporre, gråbo, bergsyra, sandnarv och kungsljus.