Smalkaveldun växer på sand eller gyttja på bottnen av sjöar, som gärna får vara något näringsrika. Den kan bilda stora bestånd, ofta utan eller med få blomkolvar, gärna utanför bältet av bladvass och innanför de vita näckrosorna. Ibland förekommer den också i dammar och öppna kärr.