Jorge Brown comenzó jugando en el segundo equipo del Buenos Aires English High School (EHS), hasta que egresó de la escuela. En 1896 debutó en el Club Palermo, y en 1897 jugó para Lanús AC. Cuando EHS (luego Alumni Athletic Club) volvió a participar en la Primera División de Argentina, Brown volvió a ese equipo y permanecería, excepto en 1901, hasta 1911, cuando el club dejó de participar en los torneos.
En Alumni jugó con cuatro de sus hermanos (Carlos, Ernesto, Alfredo y Eliseo) y con su primo Juan Brown, consiguiendo nueve torneos de la Primera División, una Copa de Honor Cousenier y cinco Copa Competencia Chevallier Boutell.
Tras la disolución de Alumni, terminó su carrera en Quilmes AC, consagrándose campeón en 1912. Desde 1914 hasta 1927 participó en la Liga de los sábados, y también fue capitán del Buenos Aires Cricket Club, del que además fue presidente durante diez años.