En su juventud se exilió en Montevideo, durante el gobierno de Juan Manuel de Rosas. Tras la caída de éste, se recibió de abogado en 1852 y ejerció como abogado en los tribunales de Buenos Aires; siendo el abogado defensor de los jefes de la Mazorca, grupo parapolicial de la época de Rosas, en particular de Ciriaco Cuitiño y Leandro Alén, padre del después destacado político Leandro N. Alem.
Fue profesor de Derecho Civil en la Facultad de Derecho de la Universidad de Buenos Aires. Colaboró con el jurisconsulto Marcelo Gamboa en la primera versión de un Código Civil de la República Argentina, proyecto que después fue retomado por Dalmacio Vélez Sársfield para la versión que sería sancionada por el Congreso de la Nación Argentina. Fue diputado al Congreso del Estado de Buenos Aires durante la década de 1850.
Durante la presidencia de Bartolomé Mitre fue diputado al Congreso Nacional, período durante el cual respaldó la política exterior del presidente, en particular la negativa a colaborar con las demás naciones hispanoamericanas durante la guerra hispano-sudamericana (1865-1866) y la alianza con el Imperio del Brasil contra el Paraguay en la Guerra de la Triple Alianza.
A mediados de 1867 ocupó el Ministerio de Relaciones Exteriores y Culto por renuncia de su titular, Rufino de Elizalde. No tuvo una actuación destacada, y le tocó rechazar todo intento de poner fin a la Guerra del Paraguay que no supusiera la rendición incondicional del presidente Francisco Solano López.
Desde el regreso de Elizalde al ministerio, en enero de 1868, Ugarte ejerció distintos cargos judiciales. En 1870 fue nombrado ministro de la Corte Suprema de Justicia de la Nación Argentina, cargo que ejerció hasta su fallecimiento, ocurrido en septiembre de 1872.