Marié et père de 9 enfants, Jean Baptiste Cabay était membre, comme ses fils Henri et Jules, au début des années 1890 du groupe anarchiste de Reims Selon la police il était aussi soupçonné de s’occuper de contrebande. Le 21 novembre 1893, comme les autres militants de Reims, son domicile, Avenue de Paris, avait été l’objet d’une perquisition. Il figurait à l’État des anarchistes de février 1894 où il était noté « dangereux ». Comme la plupart des compagnons de Reims, il avait été l’objet ce même mois de février d’une perquisition. En juin 1894 il aurait écrit au préfet pour déclarer que lui et ses deux fils n’étaient plus membres du groupe anarchiste et demander à ne plus être à l’avenir considérés comme tels.

En 1902 sa radiation du contrôle des anarchistes fut proposée.