José de Paiva Legey trabalhou como vigilante da Biblioteca Municipal (1882), foi também amanuense da Secretaria da antiga Câmara Municipal (1884), chegando ao cargo de 2º oficial (1887). Iniciada a República, Legey assumiu o cargo de 1º oficial da Diretoria Geral de Interior e Estatística. Em 13/08/1902, foi nomeado chefe da 2º Seção da 1º Subdiretoria de Polícia Administrativa e Arquivo num momento onde o arquivo possuía pouca força política na posição subalterna em que se encontrava na estrutura de governo.

Durante sua gestão, Legey fez diversas reclamações sobre situação daquela instituição, que além do pouco espaço que obtinha, instalada em uma pequena sala do pavimento superior do Paço Municipal, ainda contava com equipe bastante reduzida se comparada ao volume de trabalho necessário para organizar tamanha massa documental.

Compreendendo a situação precária em que funcionava o arquivo, em 1904 o então prefeito Pereira Passos autorizou o descarte de documentos considerados de menor relevância e a reforma do Paço Municipal, onde se

encontrava o Arquivo neste momento. Realizada no mesmo ano pelo arquiteto Oscar Pareto Torres, o melhoramento se limitou a reforçar as estruturas do segundo pavimento de forma a suportar o peso da documentação ali alocada. Mesmo com todos os entraves, o Archivo manteve a coleta, conservação e classificação da documentação recolhida em outras repartições, dando continuidade ao tratamento técnico daquela já arquivada.

Em 21/10/2014, Legey foi exonerado do cargo, sendo reconduzido à função em 1916. Durante os anos em que esteve à frente do Arquivo, afastou-se diversas vezes por questão de saúde, contando com Francisco Agenor de Noronha Santos como seu interino que, mais tarde, com a sua aposentadoria em 23/11/1917, assumiu o cargo efetivamente.

Faleceu no dia 06/06/1926, no Rio de Janeiro, sendo enterrado no cemitério do Carmo. Deixou a esposa, Anna de Souza Legey e filho.