Kärleksört är ursprunglig men mycket kulturgynnad. Den växer vanligen i små grupper på torra ståndorter. I naturlig vegetation förekommer den främst i sprickor och skrevor vid klippstränder, i sanddyner och på hyllor i ljusexponerade bergbranter. De vanligaste växtplatserna finner man emellertid i anslutning till odlad mark, t ex vid hällar, på rösen, stengärdesgårdar, åkerrenar och i åkerkanter. Växten är också vanlig i grustag, stenbrott och på annan ruderatmark. I slutet av 1800-talet kunde den i södra Halland förekomma ymnigt i åkrar (Lyttkens 1885).