Dos años después fue enviado a Sudáfrica como asesor legal de una firma india en Durban. En este lugar encontró un clima de rechazo hacia los inmigrantes indios, a quienes se les negaban las libertades civiles y los derechos políticos. En este momento decidió luchar por los derechos de sus compatriotas. Permaneció en Sudáfrica durante veinte años, durante los cuales estuvo preso numerosas veces. 

    Fue atacado y apaleado en 1896 por sudafricanos blancos, y entonces comenzó a predicar la política de no cooperación y de resistencia pacífica. Llamó a su movimiento Satyagraha, Abrazo a la Verdad. Fundó en Durban en 1910 una colonia coooperativa para los inmigrantes indios, la Granja Tolstoi. En 1914 el gobierno de Sudáfrica otorgó concesiones importantes a las demandas de Gandhi, como el reconocimiento de los matrimonios y la excención de impuestos municipales. Gandhi entonces regresó a la India, dando por terminados sus objetivos en África. 

    En 1915 Gandhi fundó el Congreso Nacional Indio, con el objetivo de lograr la independiencia de la India del dominio británico. En 1920, dado que Inglaterra no otorgaba las reformas solicitadas por Gandhi, él empezó un programa de resistencia pasiva, desobediencia civil y boicot a los productos británicos. Su movimiento ganó millones de adeptos en toda la India. Los indios que ocupaban cargos públicos dimitieron, los niños abandonaron las escuelas públicas y las calles de las ciudades eran bloqueadas con frecuencia por ciudadanos que se negaban a levantarse incluso a pesar de ser golpeados por la policía. Gandhi fue arrestado, pero las autoridades británicas se vieron pronto obligadas a dejarlo en libertad. 

    Gandhi llevaba una vida ascética de ayuno y meditación. Rehusaba las posesiones materiales, se vestía con un mantón y un tabarrabos, y comía frutas y leche de cabra. Llamaba a su doctrina de no violencia ahimsa, que en sánscrito quiere decir "sin daño". Sus seguidores lo llamaban Mahatma, Alma Grande, el título que se usaba para describir a los grandes sabios. Promulgaba el desarrollo de la artesanía, sobre todo la textil, para solucionar la extrema pobreza producida por la explotación de las industrias británicas. 

    En 1921 el Congreso Nacional Indio otorgó a Gandhi autoridad plena ejecutiva. Sin embargo, a pesar de sus esfuerzos por la paz, estallaron una serie de revueltas entre la población contra Inglaterra. Gandhi se sintió desalentado por el fracaso de sus esfuerzos por lograr la independencia por medios pacíficos, y dimitió. Fue encarcelado por el gobierno británico en 1922. 

    Fue liberado en 1924 gracias a muchas presiones internacionales y populares, y se retiró de la vida pública. Sin embargo se vio envuelto de nuevo en la lucha por la independencia. Proclamó una nueva campaña de desobediencia civil en 1930, con la famosa Marcha de la Sal. Según la ley británica, los indios no podía producir sal, sino que estaban obligados a comprarlas en fábricas con licencia, todas ellas pertenecientes a británicos. Gandhi organizó una marcha de 24 días desde Porbandar hasta el mar, para obtener sal con agua del océano. A esta marcha se le unieron miles de personas. 

    En 1934 abandonó formalmente la política, dejando como dirigente del Congreso Nacional Indio a Jawaharlal Nehru. Gandhi viajó por la India predicando la no violencia y defendiendo a la casta india de los intocables, la clase social más baja y marginada de su país. En 1939 regresó de nuevo a la vida política con el objetivo de unir a los principados de la India con el resto del país. 

    Al estallar la Segunda Guerra Mundial la India apoyó a Inglaterra y sus aliados contra Alemania y Japón. Sin embargo Gandhi y el Congreso exigieron una declaración de las intenciones sobre la guerra y sus efectos en la política india. Gandhi fue recluído en 1942, pero fue liberado dos años más tarde por motivos de salud. 

    Al finalizar la Segunda Guerra Mundial, el gobierno británico aceptó conceder la independencia a la India con la condición de que los grupos rivales, el Congreso Nacional Indio y la Liga Musulmana resolvieran sus diferencias. Se propuso la creación de un estado para los musulmanes, y aunque Gandhi no estaba de acuerdo en la división de la India, aceptó con la esperanza de lograr la paz y la independencia. La independencia se obtuvo entonces en 1947, con la creación de Pakistán. 

    Durante el resto de su vida Gandhi se dedicó a tratar de lograr la paz entre los hindúes y los musulmanes. Durante los disturbios que sufrió la ciudad de Calcuta, Gandhi realizó un ayuno hasta que la violencia cesó. En enero de 1948 inició otra huelga de hambre en Nueva Delhi para promover la paz. El 30 de enero de 1948, poco después de finalizar este ayuno, mientras se dirigía a su acostumbrado rezo de la tarde, Gandhi fue asesinado por un extremista hindú, Vinayak Nathura Godse, que se oponía a las reformas que defendían a la minoría musulmana. 

    La Asamblea General de las Naciones Unidas decretó un período de luto por su muerte, y la comunidad internacional expresó sus condolencias. Los esfuerzos de Gandhi y su doctrina de ahimsa, la no violencia, se han convertido en una inspiración para los movimientos pacifistas del mundo.