Membre du conseil du syndicat unitaire des cheminots de Paris-État, rive droite, Deberge appartenait, en 1923 à la minorité de la CGTU. Il critiquait les fonctionnaires syndicaux. Avant le congrès confédéral de Bourges, il se déclara favorable à la motion des CSR et hostile au Parti communiste et aux commissions syndicales. « Il ne faut pas que le syndicalisme soit aux mains de quelques pantins qui ne recherchent dans la politique que leur intérêt personnel. » Les majoritaires, représentés par le secrétaire du syndicat, Jacquet, l’emportèrent cependant : la majorité recueillit 50 voix, la minorité, 10.

Est-ce lui qui était intervenu comme représentant du Comité intersyndical du XVIIe arr. de Paris au congrès de l’Union des syndicats de la Seine le 9 avril 1922 ?

Deberge quitta la CGTU. Trésorier adjoint du bureau exécutif de l’UFSA (autonomes ?) jusqu’au 27 juin 1926, il fut remplacé à ce poste par Saroléa (La Voix du Travail, août 1926). Il siégea à la commission administrative de la CGTSR de 1928 à 1934 et à la commission de contrôle en 1936. Lors du 4e congrès de la CGTSR (11-13 novembre 1932) il était le délégué des cheminots de Paris et avait été élu à la nouvelle commission administrative avec entre autres Doubinsky, Demeure, Ganin, Snappe, Lentente et Boisson.

En 1936 il était le trésorier de la 4e région (Paris) de la CGTSR. Le 28 mai 1938 il présidait le congrès de la 4e Union régionale (Paris) de la CGTSR et était nommé membre de la commission juridique de l’UR.