Comme son frère aîné Henri et leur père Jean Baptiste, Jules Cabay était membre au début des années 1890 du groupe anarchiste de Reims. En 1894 la police notait toutefois qu’il était « moins ardent que son père et son frère » mais figurait toujours à l’État des anarchistes de février. En décembre, bien qu’il fut précisé qu’il appartenait « à une organisation catholique et ne s’occupait plus d’anarchie », il fut maintenu sur les listes de surveillance. Appelé sous les drapeaux en 1895, il avait été exempté.

En 1902 il fut proposé à la radiation du contrôle des anarchistes.