Rågvallmo växer på torr, öppen jord, gärna sand, på såväl näringsrikt som tämligen näringsfattigt underlag. Som åkerogräs förekommer den både i vår- och höstsäd, särskilt i rågåkrar. Oftare än i åkrar finner man den dock idag på störd mark – jordhögar, täkter, grusplaner, vägkanter, banvallar och avfallsplatser. Den är även ganska vanlig som ogräs i trädgårdstäppor, vilket delvis kan bero på att arten odlas som prydnadsväxt men också på att den kommer in med frövaror.

Som åkerogräs förekommer rågvallmon sedan gammalt främst i Kalmar läns kusttrakter samt i Vätterbygden (särskilt på Visingsö och kring Gränna) och österut mot Tranås. Arten har troligen minskat även i småländska åkrar genom ogräsbekämpning och genom att säden numera sås tätare (Svensson & Wigren 1982). Totalt sett har den dock ökat i vårt landskap under det senaste århundradet, dels genom att den spritts som förorening i vallfrö (Hård 1924), dels genom väg- och järnvägsnätets utbyggnad och en alltmer ökad transportverksamhet. I inlandet är den dock mestadels, nu som tidigare, tillfällig.