Sebelum pendudukan Jepang, ia pernah bergabung di Partai Islam Indonesia (PII) pimpinan Soekiman Wirjosandjojo yang berpusat di Yogyakarta. Meski demikian, ia baru benar-benar aktif di politik setelah pengakuan kedaulatan melalui di Partai Masyumi.
Ketika DPRD Jawa Barat terbentuk pada 1950, ia menjadi salah seorang anggota. Setelah pemilu pertama 1955, ia ditinjuk menjadi Ketua DPRD Jawa Barat menggantikan Tubagus Djaja Rachmat yang terpilih menjadi anggota DPR-RI. Namun, tak lama kemudian, ia juga menyusul ke pusat karena terpilih menjadi anggota Konstituante mewakili Masyumi.
Di parlemen, Rusyad menunjukkan sikap anti-komunisnya. Sikap itu membuat ia sempat tidak dapat menghadiri sidang Konstituante lantaran menjadi tahanan Jaksa Agung. Rusyad menjalani status tahanan rumah selama sepuluh hari dan tahanan kota selama sebulan.
Selepas bebas, ia kembali ke Konstituante, tetapi tidak lama lantaran lembaga itu dibubarkan oleh Presiden Soekarno lewat Dekrit Presiden Juli 1959. Pembubaran Konstituante disusul dengan pembubaran Partai Masyumi. Sejak itu, Rusyad Nurdin memilih fokus di dunia pendidikan.
Bersama-sama Soemardja, H.A. Sadali, Zainal Muttaqien, Abdullah Dahlan, dan Aban Sobandi, ia menghidupkan kembali Perguruan Islam Tinggi di Bandung yang sempat terhenti. PIT menjadi cikal bakal lahirnya Universitas Islam Bandung (Unisba).
