Liten fetknopp hör framför allt hemma i jordbrukslandskapet, där den växer exponerat och oftast torrt på tunt jordklädda hällar i betesmarker, på åkerholmar och torrbackar, längs små körvägar och på gårdsplaner, men man träffar också ibland på den på hällar i gles skogsmark.