Setelah lulus, Agus Salim bekerja sebagai penerjemah dan pembantu notaris pada sebuah kongsi pertambangan di Indragiri. Pada tahun 1906, Salim berangkat ke Jeddah, Arab Saudi untuk bekerja di Duta besar Belanda di sana. Pada periode inilah Salim berguru pada Syaikh Ahmad Khatib, yang masih merupakan pamannya.
Pada tahun 1912-1915, Salim membuka sekolah dasar berbahasa Belanda, Hollandsch-Inlandsche School (HIS). Kemudian pada tahun 1915 ia terjun ke dunia jurnalistik di Harian Neratja sebagai Wakil Redaktur. Setelah itu diangkat menjadi Ketua Redaksi. Agus Salim menikah dengan Zaenatun Nahar Almatsier dan dikaruniai 10 orang anak.
Kegiatannya dalam bidang jurnalistik terus berlangsung hingga akhirnya menjadi Pemimpin Harian Hindia Baroe di Jakarta. Kemudian mendirikan Surat kabar Fadjar Asia.
Selanjutnya sebagai Redaktur Harian Moestika di Kota Yogyakarta dan membuka kantor Advies en Informatie Bureau Penerangan Oemoem (AIPO). Bersamaan dengan itu ia juga terjun dalam dunia politik sebagai pemimpin Sarekat Islam.
Di antara tahun 1946-1950 ia laksana bintang cemerlang dalam pergolakan politik Indonesia, sehingga kerap kali digelari “Orang Tua Besar” (The Grand Old Man).
