Nació en San Miguel de Tucumán el 7 de octubre de 1811 siendo sus padres Juan Bautista Paz Figueroa y Plácida Pereyra Mariño. Realizo sus estudios primarios en Tucumán, pero luego se trasladó con su familia a Buenos Aires estudiando en el Colegio Nacional de Buenos Aires y luego en la Universidad de Buenos Aires den donde se recibió de abogado en 1834.
Una vez recibido en 1834 y mientras su padre era ministro del gobernador de Tucumán, Alejandro Heredia , fue nombrado como secretario de Heredia y acompañó a su hermano Gregorio cuando Heredia invadió Tarija, durante la guerra contra Bolivia.
Se instaló en Buenos Aires en 1838 y se casó con una rica estanciera, Micaela Cascallares. Hizo una carrera militar modesta: era edecán del general Ángel Pacheco en los días anteriores a la batalla de Caseros. Ocupó algunos cargos secundarios con el gobernador Vicente López en 1852.
Tras participar en el sitio de Buenos Aires bajo el mando del general Hilario Lagos, fue senador nacional en Paraná. Intervino con éxito en cuestiones económicas, en la planificación del ferrocarril de Rosario a Córdoba, en las leyes sobre patronato de la Iglesia y en las leyes electorales.
El 16 de mayo de 1858 fue elegido gobernador de la provincia de Tucumán por el partido liberal. Aunque tuvo muchos problemas internos, logró fundar varias escuelas y una biblioteca, construir varios edificios públicos y organizar un censo. Renunció el 16 de marzo de 1860, siendo reemplazado por Salustiano Zavalía.
Electo diputado a la convención reformadora de la Constitución, tuvo una actuación destacada en las negociaciones con Buenos Aires que siguieron al pacto de San José de Flores, mudándose a esa Provincia. Allí se hizo amigo del gobernador Bartolomé Mitre y del general Paunero.
El ahogo financiero en que se veía sometida una Confederación sin renta y sin aduana obligaba a las provincias confederadas a transigir con Buenos Aires. Pero en 1861, las relaciones entre Buenos Aires y la Confederación quedaron rotas por el rechazo de la forma de la elección de los diputados porteños y por la revolución, derrota y muerte de Aberastain en San Juan. En ese contexto, Paz fue enviado en misión diplomática a Córdoba y Tucumán, pero terminó arrestado por orden del presidente Santiago Derqui, aunque logró escapar. Las cartas que llevaba contribuyeron a enemistar a Derqui con Urquiza, lo que a su vez causó la derrota en la batalla de Pavón.
Acompañó a Paunero en su campaña al interior del país, como enviado personal de Mitre. Al llegar a Córdoba, encontraron el gobierno provincial en total acefalía. El 3 de noviembre de 1861 se había producido el levantamiento de las guarniciones militares de los departamentos San Justo y Río Segundo. Los últimos partidarios de la Confederación habían sido derrotados a fines de noviembre y las tropas de Paunero arrestaron a todos los federales reconocidos en la ciudad.
A continuación Marcos Paz y Paunero reinstalaron a Félix de la Peña como gobernador, no sin antes obligarlo a firmar su renuncia al gobierno; de modo que una parte de la legislatura eligió gobernador a Marcos Paz, el 16 de diciembre de 1861. Prohibió toda actividad opositora e hizo elegir una nueva legislatura, que actuó como si jamás hubiera existido gobierno alguno en Córdoba.
Disuelto el gobierno de la Confederación, el 19 de diciembre de 1861 la legislatura de Córdoba declaró la reasunción de la soberanía interior por parte de la Provincia, la caducidad de hecho y de derecho de los poderes nacionales, autorizando al general Mitre -"vencedor de Pavón"- a convocar y hacer efectiva la reunión del nuevo Congreso federal de conformidad con la Constitución reformada, otorgándole la representación externa de la República sin poderes especiales. En el orden cronológico, Córdoba fue así la primera provincia en adoptar esa posición.
Las pujas de poder entre los sectores liberales desgastó al gobernador Marcos Paz, incapaz, en palabras de Régulo Martínez, de "manejar doctores en la ciudad y gauchos malos en la campaña". El pensamiento de Paz se ve reflejado en su misiva del 31 de diciembre de 1861 a Mitre:
"Hay aquí unos hambrientos que no pueden vivir sin empleos, y para conseguirlos no se paran en medios. Me da asco tener que hacer política con ellos".
Finalmente, el 28 de enero de 1862 Paz oficializó su renuncia al cargo dejando en su lugar a Paunero sin ningún título.
Paz siguió hacia el norte, y ayudó a Manuel Taboada a derrocar al gobernador Pedro Gallo en Santiago del Estero. Colocó un nuevo gobernador unitario en la provincia de Catamarca, a la que consideraba el centro de la reacción federal. Y apoyó a José Posse, que se hizo con el gobierno de Tucumán, desplazando a los federales y a los unitarios sin vínculos porteños. Por último, se aseguró la renuncia del gobernador federal de Salta, donde colocó al general Anselmo Rojo. En marzo de 1862 gestionó y logró un tratado de paz entre las provincias cuyos cambios de gobierno había forzado, cuya parte más importante era la que cedía las funciones del gobierno nacional interinamente a Mitre.
Regresó a Buenos Aires con el éxito de haber cambiado cinco gobernadores democráticamente electos y con el título de senador nacional. Fue electo presidente del senado y llamó a elecciones, en las cuales el único candidato era Mitre. Pero hubo varios candidatos a vicepresidente, entre los cuales venció Marcos Paz.
Asumió el cargo en octubre de 1862 y dedicó su mandato a organizar las actividades del Congreso y a nombrar a la primera Suprema Corte de Justicia de la Nación. Por lo demás, la primera mitad de su mandato fue bastante tranquila.
Pero en 1865 estalló la guerra del Paraguay, y Mitre se hizo nombrar general en jefe de los ejércitos de la Triple Alianza. Se trasladó a Corrientes en junio de ese año, dejando en el cargo a Paz. Ingenuamente, creyó que podrían vencer en tres meses; les tomó cinco años.
La gestión de Paz tuvo como objetivo casi exclusivo proveer a los ejércitos que llevaban adelante la guerra. Pero tuvo que enfrentar varias rebeliones federales que estallaron en el interior, de las cuales la más peligrosa fue la iniciada a fines de 1866 con la "Revolución de los Colorados" en Mendoza, que rápidamente se extendió por todo Cuyo y La Rioja. El propio Mitre tuvo que regresar del frente para dirigir la represión, que terminó siendo sorprendentemente corta: los dos mayores ejércitos federales fueron vencidos en dos batallas, casi el mismo día, y desde entonces sólo quedaron grupos aislados.
La situación económica se hizo realmente peligrosa, y Paz era criticado con dureza; terminó llamando a Mitre de regreso, casi con desesperación. Pero Mitre, que no lograba resolver la guerra en el Paraguay, se quedó en el frente. Allí causó una terrible derrota en la batalla de Curupaytí, el peor desastre de las armas argentinas en toda su historia, de modo que los aliados brasileños sugirieron a Mitre que regresara a Buenos Aires.
Para empeorar las cosas, los soldados que volvían del frente trajeron una epidemia de cólera, que causó miles de víctimas. A fines de diciembre de 1867, el presidente en ejercicio cayó enfermo de cólera, y murió el 2 de enero de 1868.
Mitre tuvo que regresar para reasumir la presidencia. Sin él, finalmente la victoria aliada sobre el Paraguay se produjo en 1870.