Smalkaveldun växer på en halv till två meters djup på lerig, sandig eller gyttjig botten, oftast i näringsrikt men ibland i ganska näringsfattigt vatten. I sjöar kan den ibland bilda mäktiga vassbälten; oftast utgör den dock endast ett inslag eller en yttre bård i vassar av andra arter. Arten trivs i motsats till bredkaveldun T. latifolia i ganska exponerade lägen. Man kan också påträffa den i åar, särskilt nära mynningarna. I brackvattensvikar och i hällkar i skärgården är den sällsynt; något oftare ser man den i stenbrott, lertag, grusgropar och vattenrika diken. Växten ses ofta i vatten som fått ett näringstillskott genom sänkning eller utsläpp.

Detaljutbredningen visar ibland överraskande drag – växten kan förekomma i stor mängd i en näringsfattig sjö men saknas eller bara växa i små vegetativa bestånd i ett rikare vatten strax intill. Smalkaveldun saknas också i många områden, även i sådana som inte hör till de mest näringsfattiga.