Mark Harmon est né le 2 septembre 1951 à Burbank. Il est le fils de Tom Harmon et d'Elyse Knox, une actrice. Il entama une brillante carrière de footballeur mais la stoppa pour revenir à son premier amour: la comédie. Il possède d'ailleurs un petite équipe de football.
Il fait sa première apparation à la télé dans "Emergency", il enchaîne une multide de téléfilms et films indépendants avant qyue sa carrière décolle réellement grâce à son rôle dans "St Elsewhere" dans laquelle il joua 6 saisons. En 1991, on lui confie l'un des rôles de la série "Reasonable Doubts" dans laquelle il joua deux saisons jusqu'à l'arrêt de la série. En 1995, Mark se voit offrir une nouvelle chance à la TV puisqu'on lui propose le rôle principal de la série "Chariie Grace" mais celle-ci est un échec et s'arrête au bout d'une seule saison. Mais Mark rebondit vite et rejoint le cast de la série "Chicago Hope" dans laquelle il joua 4 saisons, jusq'en 2000.
En 2003, il joue dans le film Freaky Friday aux côtés de Jamie Lee Curtis et Lindsay Lohan. On lui propose ensuite de rejoindre le cast de "NCIS".
Depuis, Mark n'a participé qu'à un film, en 2004, Chasing Liberty.
2008 signe son retour au cinéma, dans le film Weather Girl, une comédie légère.