Luddtåtel är sannolikt ursprunglig. I naturlig eller någorlunda naturlig vegetation växer den på strandängar och klippstränder med gräsytor samt i näringsrika fuktängar och kärr vid vattendrag. Den är dock starkt kulturgynnad och har även odlats som foderväxt (Montin 1766). Det tuvade och ibland beståndsbildande gräset växer ofta på övergivna åkrar, särskilt gamla mossodlingar, och betesmarker. Arten är också vanlig i skogsbryn, på åker- och dikeskanter samt ruderatmarker.