Este parque debe su nombre a una iglesia que en algún momento estuvo situada en la calle East 142nd y la avenida Alexander. En la parte norte del parque se encuentra la colina de Jane, nombrada en honor a Adrian Janes, socio de Janes, Kirtland & Company Iron Works, cuya compañía se encontraba en el noroeste del parque. Esta compañía moldeó la forja del puente Bow en Central Park, y también moldeó y erigió el domo del Capitolio de Washington, D.C. en 1863.