I ett tal med anledning av det pågående valet i världens folkrikaste land sade Modi att när hans politiska rivaler styrde "sade de att muslimer har företräde till landets resurser".
Och om Modis parti BJP inte får behålla makten kommer politikerna att "distribuera era tillgångar bland dem som har fler barn".
De kommer att sprida ut välståndet bland infiltratörer. Vill ni att era mödosamt intjänade pengar ska gå till infiltratörer? sade han i talet i söndags.
Kongresspartiet, som utmanar BJP i valet, protesterar och vill att Indiens valmyndighet ECI ingriper.
Modi är känd som en hård hindunationalist, vilket innebär uttalad skepsis mot Indiens minoriteter. Hinduerna utgör ungefär 80 procent av befolkningen.
Hans parti BJP har även tidigare beskrivit muslimer som infiltratörer, och hävdat att de härstammar snarare från Pakistan och Bangladesh än Indien.
Indiens parlamentsval sträcker sig över sex veckor, och avslutas först i juni.
