Di New York, US 4 dibangun utara–selatan agar sejajar dengan bentuk negara bagian ini. Di Vermont dan New Hampshire, rute ini mengarah timur–barat, arah standar untuk jalan bebas hambatan AS bernomor genap.
U.S. Route 104 menjadi New York State Route 104 pada tahun 1972. Meski tidak pernah terhubung secara langsung dengan US 4, jalan ini dibangun sejajar dengan US 4.
