Le Lieutenant-général Jan Arp est né à Rotterdam, aux Pays-Bas. Après avoir immigré au Canada avec sa famille alors qu'il est un jeune adolescent, il fait ses études à Niagara Falls et à London, en Ontario. Dès qu'il obtient son diplôme de l'Université de Waterloo en 1975, il s'enrôle dans les Forces canadiennes comme officier d'artillerie.
De 1976 à 1986, le Lieutenant-général Arp sert dans trois régiments du Royal Canadian Horse Artillery, à savoir le 1er Régiment à Lahr, en Allemagne, le 2e Régiment à Petawawa et le 3e Régiment à Shilo. Pendant cette période, il occupe pratiquement tous les postes d'officier d'état-major régimentaire et de commandement, notamment celui de commandant de batterie. Par la suite, il commande le 1er Régiment, Royal Canadian Horse Artillery, à Lahr, de 1989 à 1991.
À titre de major, lieutenant-colonel et colonel, le Lieutenant-général Arp est nommé à divers postes d'état major au sein de la Direction des besoins en ressources terrestres ainsi que de celle du personnel au Quartier général de la Défense nationale de 1986 à 1989 et de 1991à 1997. Au cours de cette dernière période, il sert aussi pendant un an comme commandant du Contingent canadien ainsi que chef d'état-major adjoint - Opérations dans le cadre de la Mission des Nations Unies pour l'assistance au Rwanda de 1994 à 1995.
Après sa promotion au grade de brigadier-général en décembre 1997, il est nommé commandant du Collège de commandement et d'état-major de la Force terrestre canadienne, à Kingston. Il assume le commandement du Système de la doctrine et de l'instruction de la Force terrestre à sa création en juillet 1999. Le Lieutenant-général Arp est promu à Major-général en mai 2000. En mars 2003, il est nommé au poste de chef d'état-major (Ressources humaines - Militaires) au QGDN. Il occupe son poste actuel de commandant, État-major de liaison des Forces canadiennes (Washington) et d'Attaché de Défense du Canada à l'ambassade du Canada aux États-Unis d'Amérique depuis juillet 2005.
En janvier 2007, il est promu a son grade actuel et nommé Chief of Staff, NATO Headquarters Supreme Allied Command Transformation à Norfolk, VA.
En plus de son baccalauréat ès sciences de l'Université de Waterloo, le Lieutenant-général Arp détient une maîtrise en administration publique de l'Université Queen's. Dans son temps libre, il est un adepte de la navigation de plaisance, du ski alpin et du golf.