Le cimetière allemand de Rumaucourt fut aménagé durant l’automne 1916, lorsque la contre attaque britannique atteignit le centre de Bapaume et de nombreux hôpitaux militaires furent installées à Rumaucourt.
Ceux qui moururent dans ces hôpitaux militaires furent les premiers à être enterrés dans le cimetière. Suivirent les victimes de « la bataille de Pâques d’Arras » en avril 1917 et de l’assaut sur Cambrai, en novembre 1917, lorsque les anglais voulurent de nouveau faire une percée en utilisant pour la première fois 400 chars d’assaut.
La contre-attaque de décembre 1917 fit elle aussi de nouvelles victimes. Plus de 600 soldats morts lors des combats du début de l’année 1918 et des campagnes de retrait qui commencèrent en août, reposent ici.
Les derniers corps à être enterrés le furent par l’armée allemande de la fin août à la mi-septembre 1918.
Les autorités militaires françaises agrandirent le cimetière en 1924 en y enterrant 1 000 autres soldats venant de 8 communes environnantes. Des travaux de remise en état et de consolidation furent exécutés entre les deux guerrres.
De nombreux arbres et arbustes furent plantés, une nouvelle entrée suivit avec un portail en fer forgé et des murs en grès rouge des Vosges. Il existe également une pierre monolitique du même matériau, qui est au centre du cimetière.
Les plaques funéraires en bois provisoires des tombes furent remplacées à partir de 1976 par des croix en métal portant le nom et les dates de naissance et de mort des personnes reposant au cimetière.
Les fondements supportant les croix, pesant chacun 35 kilos, furent installés par des jeunes bénévoles venus des centres pour la jeunesse de l’Association Populaire.
Les 2 618 soldats tombés pour leur pays reposent dans des tombes individuelles. Parmi eux reposent 2 soldats autrichiens de l’armée Austro-Hongroise.
Sur les 7 tombent des soldats de confesion juive est installé une stèle en pierre naturelle. Les inscriptions en hébreux sont les suivantes : en haut « ici repose.. » en bas « puisse son âme se mêler au cercle des vivants ».
Le Volksbund Deutsche Kriegsgräberfürsorge e. V., Service pour l’entretien des sépultures militaires allemandes (SESMA), est une association de droit allemand, à visée humanitaire, reconnue d’utilité publique, fondée le 16 décembre 1919.
Cette association veille à l’entretien des sépultures militaires allemandes de la Première Guerre mondiale et la Seconde Guerre mondiale dans 45 pays.