Nació en Buenos Aires el 25 de Diciembre de 1849 y se educó en Buenos Aires. Fue su guía en los estudios el destacado historiador Vicente F. López, quien ejerció una influencia decisiva en la posterior orientación del joven médico. Su primera obra lo consagró: se trataba de Neurosis de los hombres célebres en la historia argentina, un estudio en que analizaba desde las patologías psíquicas a distintos gobernantes, políticos y caudillos argentinos, como el fraile Aldao, Guillermo Brown, Monteagudo o Juan Manuel de Rosas.
Cuenta José Ingenieros que "el 7 de Noviembre de 1878 publicó Sarmiento, en "El Nacional", un artículo sobre el primer volumen de la obra "Neurosis de los hombres célebres en la historia argentina". El autor era un estudiante de medicina, nacido en Buenos Aires el 25 de Diciembre de 1849; se doctoró un año después de publicarlo, versando su tesis sobre "Traumatismo cerebral" (1879). Celebraron aquel libro, con igual entusiasmo, los "intelectuales" que formaban el núcleo futuro del pellegrinismo y los jóvenes cultores de la ciencia que, con Sarmiento a la cabeza, admiraban a Darwin y Spencer, pugnando por introducir en el país la afición por las ciencias de la naturaleza."
Esta obra resultó consagratoria para José María Ramos Mejía, ya que constituía un estudio de alta originalidad, que fue alabado por las personalidades más destacadas del pensamiento argentino de la segunda mitad del siglo XIX.
A la sazón, Ramos Mejía se convertiría en el iniciador de los estudios psiquiátricos en el país y en un pensador de altísimo nivel, maestro de numerosos discípulos, como el nombrado José Ingenieros, Lucio V. López o Luis Agote, y quien estableciera un estudio de la historia y la sociedad argentina que aunaba conocimientos médicos y psicológicos con otros de carácter históricos y sociológicos.
Para entonces, aunque desconocido en los ámbitos eruditos del país, Ramos Mejía tenía en su haber una destacada trayectoria universitaria. Desde 1871, por ejemplo, había sido el principal promotor de la reforma de los estatutos académicos, lograda entre 1873 y 1880. Luego, fundó el periódico juvenil 13 de diciembre, en el que colaborarían estudiosos de la talla de Vicente López y Juan María Gutiérrez, y el Círculo Médico Argentino, que presidiría.
En el campo científico, Ramos se especializó en el estudio de la patología nerviosa y mental; y en pocos años descolló en el ambiente médico. En 1887, se hizo cargo de la Cátedra de Patología Nerviosa, creada expresamente para incorporar su valioso ingenio a la enseñanza.
De esta labor nacieron numerosas obras escritas, aunque la mayor parte de sus estudios médico-legales ha quedado dispersa en revistas técnicas, o inédita. Un buen lote, de gran mérito, está reunido en el volumen Estudios clínicos sobre las enfermedades nerviosas y mentales. Estas obras y sus "estudios médico-forenses", que versan sobre la degeneración, las neurosis y las enfermedades mentales, lo colocaron en la situación de iniciador de la psiquiatría argentina, "ya que ningún otro de sus predecesores o contemporáneos hubo enriquecido con estudios de tanto mérito la bibliografía nacional", como afirmara Ingenieros.
Sus obras más destacadas son Las Multitudes Argentinas (1899), La Locura en la Historia. Contribución al estudio psicopatológico del fanatismo religioso y sus persecuciones (1895), Los simuladores del talento en las luchas por la personalidad y la vida (1904), Rosas y su tiempo (1907). Entre sus obras póstumas se cuentan La física del genio, Historia contemporánea de la República Argentina (de 1852 a 1906), La familia delirante (estudio de patología mental), Ensayo sobre las revoluciones sudamericanas (fragmentos), etc.
A partir de 1880, consagrado como uno de los grandes hombres del pensamiento nacional, Ramos Mejía ocupó diversos cargos en la administración pública. Fue, por ejemplo, Vicepresidente de la Comisión Municipal de Buenos Aires (1882), promovió la creación de la Asistencia Pública y fue su primer director (1883); entre 1893 y 1899, fue presidente del Departamento Nacional de Higiene cargo desde el cual promovió el sanitarismo en Buenos Aires, con medidas contra la fiebre amarilla (entonces endémica en el Brasil), la creación de un hospital flotante y del Lazareto de Martín García, de la Inspección Sanitaria del Puerto, de los servicios de limpieza de las aguas y del Instituto de Bacteriología. Además, hizo una seria campaña contra la viruela y tomó medidas eficaces contra la lepra, y reglamentó el ejercicio de la medicina y el de la farmacia, al ordenar la redacción del Codex Medicamentario.
En 1908 Ramos Mejía fue llamado a ocupar la presidencia del Consejo Nacional de Educación. Dos ideas fundamentales constituyeron su programa: multiplicar las escuelas y acentuar el carácter nacional de la enseñanza.
Ramos Mejía fue un autodidacta. Aprendió en las mismas fuentes europeas que llegaron a conocer Alberdi y Sarmiento, y en las que se inspiró toda la "generación del ochenta". El único hombre que podría llamarse su maestro -por la influencia personal más bien que por la dirección de sus estudios- fue Vicente Fidel López. Tenía por Moreno, Rivadavia y Echeverría, verdadero culto. Admiraba particularmente a Sarmiento y, entre los hombres de ciencia de su tiempo, nombraba con especial respeto a Ameghino, Arata, Francisco P. Moreno, Holmberg.
Falleció en Buenos Aires el 19 de Junio de 1914.