James Schoolcraft Sherman lahir di Utica, New York, pada 24 Oktober 1855. Pendidikan dasarnya dilalui di beberapa sekolah swasta. Ia lulus dari Hamilton College pada tahun 1878 setelah belajar hukum selama 2 tahun. Kemudian ia bergabung dalam asosiasi pengacara pada tahun 1880. Ia juga anggota perkumpulan elit Sigma Phi. Sherman punya julukan Sunny Jim karena cara berpikir positifnya. Ia mengawali karier pengacara di firma Cockinham & Martin. Ia menikah dengan Carrie Babcock pada tahun 1881. Ia juga pernah menjadi presiden direktur perusahaan Utica Trust and Deposit serta presdir The New Hartford - sebelum akhirnya menjadi Wali kota Utica pada tahun 1884. Pada tahun 1886, Sherman terpilih sebagai anggota Kongres AS (wakil Partai Republik) sampai tahun 1890, saat ia kalah dari Henry W. Bentley. Sherman kembali ke Kongres dua tahun kemudian untuk memenangkan pemilihan pertama dari delapan kali pemilihan berturut-turut! Hal ini membantunya dalam pentas politik nasional Amerika Serikat. Pada tahun 1898, ia dicalonkan sebagai Ketua DPR AS sebelum ditawarkan jabatan General Appraiser di Pelabuhan New York oleh Presiden William McKinley. Sherman menolak tawaran ini setelah ditentang oleh konstituennya di Utica. Pada tahun 1908 saat dicalonkan oleh Partai Republik sebagai wakil presiden yang mendampingi William H. Taft, Sherman menjabat sebagai ketua Komite bidang Masalah Indian. Selama kampanye di kemudian hari, Sherman mengalami serangan dari Edward Burke (jaksa wilayah Los Angeles) yang menyatakan bahwa Sherman adalah mantan partnernya di perusahaan Lumber and Dev Company, New Mexico. Burke juga menuduh bahwa Sherman telah menggunakan pengaruhnya dalam penggusuran tanah, tetapi tuduhannya tidak pernah terbukti mengganggu kampanyenya. Pada tahun 1912, Sherman menjadi Wakil Presiden petahana pertama yang dicalonkan kembali sejak Richard M. Johnson pada tahun 1840. Sherman meninggal dunia di Utica pada 30 Oktober 1912, hanya beberapa hari sebelum pemilu. Konvensi Partai Republik memutuskan untuk mengganti posisi Sherman dengan Nicholas Butler (Rektor Columbia University) untuk berpasangan dengan William Howard Taft. Namun pasangan ini kalah telak dari pasangan Woodrow Wilson-Thomas Marshall.