Keikutsertaannya dalam kongres itu menandakan awal karirnya dalam gerakan politik.
Setelah itu, Ia menjadi anggota Volksraad pada usia 37 tahun, dan untuk pertama kali, ia memperkenalkan bahasa Indonesia dalam Dewan Rakyat. Tidak lama kemudian ia keluar dari Volksraad, karena menyertai gerakan politik nonkoperasi.
Di usia 43 tahun, Haji Agus Salim menggalang kekuatan Islam bersama Tjokroaminoto di bawah bendera Sarekat Islam (SI).
Sejarah mencatat, Tjokro-Agus merupakan dua sejoli alias dwi-tunggal dalam pimpinan partai Sarekat Islam. Di SI, Tjokroaminoto adalah motor penggerak rakyat, sedangkan Agus Salim merupakan otak partai.
B.S Mardiatmaja dalam artikelnya “Haji Agus Salim dan Hubungan Internasional” yang dimuat di Harian Kompas, 8 Oktober 1984 bahkan menyebut duet Tjokoro-Agus sebagai tipe kepemimpinan yang ideal pada zamannya.
Sejak saat itu tampak dua sumber besar dalam gerakan kemerdekaan Indonesia, yaitu pertama beraliran kebangsaan dan kedua beraliran agama.
Haji Agus Salim dan Diplomasi
Karir diplomatik Agus Salim sudah dimulai sejak usianya masih muda, ketika bekerja di Konsulat Belanda di Jeddah.
Di tahun 1930, kembali memperoleh kesempatan menghadiri International Labour Conference di Geneva mewakili Sarekat Sekerja Belanda NVV (Nederlandsch Verbond van Vereenigingen) di Belanda.
Pada forum itu, ia tulis mempersiapkan pidatonya secara tertulis dalam bahasa Belanda. Tapi, ketua sidang memintanya untuk berbicara dalam bahasa Perancis.
Seketika itu, ia berpidato dalam bahasa Perancis dengan lancar tanpa melihat teks. Usai berpidato, banyak delegasi asing, termasuk delegasi dari Perancis mendatanginya untuk memberi ucapan selamat atas pidatonya.