Kurtuluş Savaşından sonra 1923 tarihinde 2. dönem meclisine İstanbul milletvekili olarak girdi. En yaşlı üye olduğu için 2. dönem meclisini başkan olarak açtı. 1925 tarihinde ölen Abdurrahman Şeref'in cenazesi Edirnekapı dışındaki aile mezarlığına defnedildi.
Abdurrahman Şeref, resmi görevleri yanında çeşitli ilmi faaliyetlerde de bulunmuş, çoğu ders kitabı özelliğinde birçok eser kaleme almıştır. Tarih- Osmânî Encümeni'nin başkanlığını da yapmış, bu kurumun yayın organı olan Tarih-i Osmânî Encümeni Mecmuası'nda çeşitli makaleler yazmıştır.
Bunlar dışında bazı gazetelerde çıkan yazılarını Tarih Musâhabeleri adı altında toplamıştır. Dönemin politikasına uygun olarak yazılan ve müellifin vakanüvisliği sırasında ve 1908-1918 arası olayları içeren Vekayi'nâme adlı eserini ise yayınlamamıştır. Abdurrahman Şeref, kendinden önce vakanüvis görevinde bulunan 'Lütfî Efendi'nin eserinin 8. cildini çeşitli ilavelerle yayınlamıştır. Diğer eserleri şunlardır: