Pasukannya lalu dijadikan bagian dari Divisi V pada 20 Oktober oleh panglima sementara Oerip Soemohardjo, dan Soedirman bertanggung jawab atas divisi tersebut. Pada tanggal 12 November 1945, dalam sebuah pemilihan untuk menentukan panglima besar TKR di Yogyakarta, Soedirman terpilih menjadi panglima besar, sedangkan Oerip, yang telah aktif di militer sebelum Soedirman lahir, menjadi kepala staff.
Sembari menunggu pengangkatan, Soedirman memerintahkan serangan terhadap pasukan Inggris dan Belanda di Ambarawa. Pertempuran ini dan penarikan diri tentara Inggris menyebabkan semakin kuatnya dukungan rakyat terhadap Soedirman, dan ia akhirnya diangkat sebagai panglima besar pada tanggal 18 Desember.
Selama tiga tahun berikutnya, Soedirman menjadi saksi kegagalan negosiasi dengan tentara kolonial Belanda yang ingin kembali menjajah Indonesia, yang pertama adalah Perjanjian Linggarjati yang turut disusun oleh Soedirman dan kemudian Perjanjian Renville yang menyebabkan Indonesia harus mengembalikan wilayah yang diambilnya dalam Agresi Militer I kepada Belanda dan penarikan 35.000 tentara Indonesia.
Ia juga menghadapi pemberontakan dari dalam, termasuk upaya kudeta pada 1948. Ia kemudian menyalahkan peristiwa-peristiwa tersebut sebagai penyebab penyakit tuberkulosis-nya; karena infeksi tersebut, paru-paru kanannya dikempeskan pada bulan November 1948.
Pada tanggal 19 Desember 1948, beberapa hari setelah Soedirman keluar dari rumah sakit, Belanda melancarkan Agresi Militer II untuk menduduki Yogyakarta. Pada saat pemimpin-pemimpin politik berlindung di kraton sultan, Soedirman, beserta sekelompok kecil tentara dan dokter pribadinya, melakukan perjalanan ke arah selatan dan memulai perlawanan gerilya selama tujuh bulan.
