1893年4月，甘地應聘到南非去協助處理壹樁訴訟。5月，他踏上了南非的土地，登上了開往比勒陀利亞的火車。在火車上，發生了壹件他稱之為他“壹生中具有決定性意義的經歷”的事情：壹位白人沖進他乘坐的頭等車廂，命令他搬到行李車廂去，他拒絕了，對方將警察喊來，強行將他趕下火車。就在此時，甘地做出了他壹生中最重要的決定，從今以後，堅決抵制種族歧視。
甘地圓滿地結束了受理的案件後，在當地印僑的挽留下，決定定居南非，以律師為職業，開展反對種族歧視的鬥爭。這壹住就是21年。這21年，是甘地的非暴力思想形成並付諸實施的年代。甘地的非暴力思想，主要來源於印度教毗濕奴教派的教義。這壹教派主張仁愛，把“逢惡報以善，用德報以怨”這句話作為處世格言。在南非，甘地又研讀了《聖經》和《可蘭經》。他認為所有宗教都包含著仁愛精神。
在南非，甘地徹底改變了自己的生活方式，過上了清教徒般的禁欲生活。他立下誓言，拋棄人世間的壹切物質享受。從那時起直到他去世，甘地戒除了包括性欲在內的人類所有的生活享受，始終過著苦行僧生活。