Era hijo de Braulio Costa, un empresario y financista que fue socio capitalista de las empresas mineras de Facundo Quiroga.
Estudió en el Colegio de la ciudad y se recibió de abogado en 1847 en la Universidad de Buenos Aires. Pasó a Montevideo, donde simuló ser un perseguido por el gobierno de Juan Manuel de Rosas, aunque iba sólo a acompañar a su padre, que había huido por un juicio por estafas.
Después de la batalla de Caseros regresó a Buenos Aires y se unió al partido porteño de Pastor Obligado y Bartolomé Mitre, de quien era muy amigo.
Tenía una estancia en la costa del río Paraná, y junto a su hermano Luis fundaron allí la ciudad de Campana. La estancia era un modelo de lujo rural de la época, con grandes montes de árboles exóticos.
Fue varias veces diputado provincial, y durante la gobernación de Mitre fue su ministro de educación, y luego de gobierno. Cuando, después de la batalla de Pavón, Mitre fue electo presidente de la Argentina, nombró a Costa ministro de Justicia e Instrucción Pública.
Como ministro de justicia, logró la organización de la Suprema Corte de Justicia y la instalación de juzgados federales en todas las capitales provinciales. En la práctica, ese período fundó el Poder Judicial argentino, algo en lo que el gobierno de Urquiza había fracasado por completo. También creó los primeros registros civiles del país.
En cuanto ministro de educación, se concentró en fundar los Colegios Nacionales de muchas provincias – sobre la base de los existentes – para unificar la educación secundaria del país. Según el mismo Mitre, sus intereses no eran tanto educativos como políticos, ya que se proponía unificar ideológicamente a las clases medias y altas del país. Sus modelos principales eran el Colegio Nacional de Concepción del Uruguay – modelo en su época para todo el país – y el de Colegio Nacional de Buenos Aires. Prestó relativamente poca atención a la educación primaria, que dejó generalmente en manos de los gobiernos provinciales. Apenas participó en la política interna de la Universidad de Buenos Aires y la de Córdoba, las dos únicas existentes en el país, que dejó en manos de sus respectivos consejos académicos.
En 1868 fue nombrado interventor nacional en la provincia de Santa Fe tras la revolución que derrocó al gobernador Nicasio Oroño.
Fue diputado nacional entre 1870 y 1878, y fue candidato del partido de Mitre a la gobernación.
Apoyó la revolución de 1874. Tras la derrota, sus fueron parlamentarios lo salvaron de la cárcel, aunque estuvo prudentemente exiliado en Río de Janeiro casi un año.
Apoyó la política de "conciliación" con Adolfo Alsina y la candidatura de Carlos Tejedor al gobierno provincial; éste lo nombró su ministro de gobierno, y junto a él participó en la revolución de 1880. Esta segunda derrota lo obligó a alejarse de la política por diez años.
En 1890 fue ministro de Relaciones Exteriores de Carlos Pellegrini y luego ministro de Justicia y Educación de su sucesor, Luis Sáenz Peña. Con este último, también fue interventor federal en la provincia de Santiago del Estero, y después fue ministro de Interior.
Su último cargo público fue el de procurador general de la Nación, que ocupó entre 1878 y 1890.
Falleció en Buenos Aires en julio de 1897.