Liten sandlilja är endast känd från Europa där den främst har en kontinental utbredning. I Sverige har den en mer inskränkt utbredning än släktingen stor sandlilja A. liliago och är känd från Skåne, Öland och Gotland. Nyligen har en nordlig utpostlokal rapporterats i Södermanland (Artportalen 2011). På Gotland uppges den som allmän i öns kalkområden och bedöms ha ökat beroende på ett minskat betestryck (Johansson m.fl. 2016).

På Öland växer liten sandlilja solöppet på kalkrik mark i karster, grusalvar och jordfyllda sprickor i kalkstenshällen. Växten ses också på mindre kalkpåverkade lokaler som de enbuskrika torrängsryggar som genomlöper alvaret; de består mest av svallade moränavlagringar. Udda växtplatser är tuviga tokfuktängar och högar med skrotsten. De flesta lokaler är hävdade med bete men liten sandlilja missgynnas av hårdare betestryck. Ofta ser man plantor som växer i skydd av enbuskar eller på det betesfria området mellan elstängsel och stenmur.

Liten sandlilja växer på norra halvan av Stora Alvaret i socknarna Torslunda, Gårdby, Sandby, Vickleby, Stenåsa, Resmo, Mörbylånga och Hulterstad. Den är inte återfunnen på sin sydliga utpostlokal i Kastlösa. Första halvan av 1900-talet växte liten sandlilja även på kustnära sandfält i socknarna Glömminge och N. Möckleby men där är den numera försvunnen. Under inventeringen är den endast funnen på fem lokaler utanför Stora Alvaret.

Gammal, bofast.