Taylor grandit dans la banlieue très défavorisée d’Oldham, dans le Grand Manchester. Il est si pauvre, à en croire le Manchester Evening News, qu’il ne peut se permettre de nager dans les bains publics de Chadderton que « le jour d’eau sale », lorsque le prix d’entrée est réduit. Il vit ses premières expériences de natation dans un canal.
À l’âge de 21 ans, il a de tels résultats avec le Chadderton Swimming Club qu’il est sélectionné pour les Jeux intermédiaires de 1906, où il cause une certaine surprise en gagnant une médaille d’or, une d’argent et une de bronze. Il bat en outre avant la fin de l’année le record du monde du 880 yards, s’assurant ainsi d’une place de titulaire indiscutable dans l’équipe olympique britannique.
Les épreuves de natation de Londres 1908 sont les premières à se dérouler dans un bassin spécialement construit – situé, fait unique, à l’intérieur de la piste d’athlétisme et carrément face à l’une des tribunes. La première épreuve disputée par Taylor dans la nouvelle installation est le 400 m nage libre, une distance légèrement raccourcie par rapport aux 440 yards du programme de 1904. Taylor remporte sa série avec cinq mètres d’avance, mais est battu sur le fil en demi-finale par l’Autrichien Otto Scheff. Tous deux se retrouvent néanmoins en finale où le début de course serré laisse rapidement place à un affrontement entre Taylor et l’Australien Frank Beaurepaire. Taylor se détache néanmoins facilement dans la dernière longueur et enlève la première de ses trois médailles d’or avec une marge de 8’’2. Quant à Scheff, il termine à près de 10 secondes.
Le 1 500 m est encore plus une partie de plaisir pour Taylor, qui dès les demi-finales, selon le rapport officiel, « nage superbement et sans puiser dans ses réserves ». La finale, disputée à un « train d’enfer » revient à Taylor qui signe un record du monde de 22’48’’4. Curieusement, l’homme qu’il a battu de 2’’8, Thomas Battersby, continue à nager au-delà des 1 500 m jusqu’au mile, établissant un record officieux sur la distance.
La troisième médaille d’or de Taylor arrive dans le 4 x 200 m nage libre, épreuve qu’il nage pour la Grande-Bretagne aux côtés de John Derbyshire, William Foster et Paul Radmilovic. Il est le héros de son équipe en demi-finale puisqu’il rattrape l’Américain Leslie Rich lors de l’ultime relais, alors que Rich comptait près de trois mètres d’avance sur lui, au moment de la prise de relais. Lorsqu’il s’agit de terminer un relais, Taylor n’a pas son pareil et il le démontre à nouveau de manière spectaculaire en finale, face aux États-Unis, à la Hongrie et à l’Australasie. Au dernier virage, le Hongrois Zoltan Halmay compte encore un avantage de près de 14 mètres sur Rich, alors que Taylor est encore 4 mètres plus loin. Dans un effort surhumain, allié à un effondrement total de Halmay, Taylor maintient le cap et s’impose finalement devant le Hongrois, relégué à trois mètres, signant l’un des renversements les plus étonnants de ces Jeux.
Taylor, qui travaille en usine et s’entraîne à l’heure du déjeuner, replongera dans le bassin aux Jeux de 1912 et de 1920, contribuant à chaque fois à la médaille de bronze de la Grande-Bretagne au 4 x 200 m. Il prendra sa retraite sportive en 1926 et deviendra gardien du complexe des bains de Chadderton, où a pris naissance sa légende. Il est toujours considéré comme le plus grand nageur britannique amateur et a été indiscutablement le héros de son pays aux Jeux de 1908.