Alors qu'ils s'apprêtent à quitter Londres pour prendre des vacances en Écosse, Sherlock Holmes et le Docteur Watson sont abordés dans la rue par des inconnus. Holmes comprend qu'il s'agit d'émissaires cherchant à lui indiquer l'heure et le lieu d'un mystérieux rendez-vous. Intrigué, il s'y rend en compagnie de Watson et y rencontre le premier ministre de Rovénie, un pays fictif. L'homme d'État implore Sherlock Holmes d'escorter le Prince Nikolas, héritier du trône, qui doit partir de Londres pour rejoindre son pays. Son père, le roi Stefan, vient d'être assassiné par un puissant groupe souhaitant s'emparer du pouvoir.
Sherlock Holmes entre dans son salon et se rend compte qu'il a été cambriolé mais alors qu'il se confronte au bandit, ce dernier disparaît, à la grande surprise de Sherlock. Holmes tente d'oublier l'incident en allumant un cigare mais le voleur réapparaît et il tente alors de lui reprendre son butin en sortant un pistolet de son peignoir et en tirant sur l'intrus qui se volatilise. Une fois qu'Holmes récupère ce qui lui appartient, le sac disparaît de ses mains pour réaparaître dans les mains du voleur qui disparaît rapidement par une fenêtre. A ce moment précis, le film se termine inopinément sur l'image de Sherlock complètement déconcerté
Le film débute à Londres, où le professeur Moriarty (Ernest Torrence) vient d'être arrêté grâce à la perspicacité de Sherlock Holmes (Clive Brook). Au tribunal, Moriarty prononce un discours dans lequel il promet que les trois personnes impliquées dans sa condamnation mourront avant lui : le juge Erskin, le colonel Gore-King et Sherlock Holmes. Pendant ce temps, Holmes prévoit de commencer une nouvelle vie à la ferme avec sa fiancée Alice Faulkner.
Sherlock Holmes prend des vacances et rend visite à son vieil ami Sir Henry Baskerville. Ses vacances se termine quand il se retrouve soudain au milieu d'un mystère double assassiner. Maintenant, il est arrivé à trouver le professeur Moriarty et le cheval Silver Blaze avant la grande finale de la coupe course de chevaux.
Alors étudiant à l'Université de Cambridge, Sherlock Holmes rencontre le docteur Watson qui l'amène à sa première enquête, sur un vol dont est soupçonné le prince Alexis. En même temps que le véritable auteur, Holmes découvre que l'opération est conduite par le professeur Moriarty. Quelques années après, désormais installé à Londres, au 221B Baker Street, Holmes retrouve le prince Alexis qui lui demande d'enquêter sur un chantage dont il est victime, de la part de Moriarty, qui détient la correspondance échangée entre Alice Faulkner et sa sœur Rose. Cette dernière, ancienne fiancée du prince, s'est suicidée lorsqu'il l'a éconduite.
Un projectionniste de cinéma, amoureux d'une femme, achète une boite de confiserie. Il se rend chez elle pour lui offrir la boite et une bague. Un autre prétendant arrive, dérobe la montre du père, et effectue un prêt sur gage. Il achète une boite à son tour avec l'argent, et va lui aussi l'offir à la femme. Le père se rend compte que sa montre a été volée. Comprenant que le projectionniste va fouiller les personnes présentes, l'autre prétendant lui glisse le reçu dans la poche. Le projectionniste est alors accusé à tort, et sort de la maison.
Une étrange malédiction plane sur les propriétaires du manoir des Baskerville, situé dans des landes inhospitalières du Devonshire. Les héritiers de ce nom meurent sous les crocs d'un gigantesque chien. Le Dr Mortimer se rend au 221B Baker St. consulter S. Holmes : Sir Charles Baskerville est mort dans des circonstances étranges, peut-être de peur. Or son héritier, Sir Henry, arrive du Canada pour régler ses affaires et repartir,le Dr Mortimer a peur pour lui, mais Sir Charles ne croit guère en la malédiction et décline l'offre de Holmes. À peine arrivé à son hôtel, dans la rue, il est victime d'une tentative d'assassinat.....tout en s'étonnant qu'une seule de ses bottines ait disparu. Holmes expédie Watson à Baskerville pour veiller sur Sir Henry, il a mieux à faire. Dans le Devonshire les choses se compliquent : des cris sur la lande, un bagnard évadé, Lestrade sur sa piste, des domestiques bizarres, des voisins peu accueillants, d'autres qui le sont trop, un gitan indiscret : chaque jour Watson écrit son rapport à Holmes.
Le film commence sur les marches de Old Bailey, où Moriarty vient d'être acquitté d'une accusation de meurtre en raison d'un manque de preuves. Holmes lui fait cette remarque : « Vous avez un cerveau magnifique, Moriarty. Je l'admire. Je l'admire tellement que je tiens à le présenter, marinée dans l'alcool, à la Société Médicale de Londres ». « Cela ferait une exposition impressionnante », répond Moriarty.
Lors d'une vente aux enchères à Londres, trois boîtes à musique identiques fabriquées à la prison du Dartmoor sont vendues à Julian "Stinky" Emery, William Kilgour et Evelyn Clifford. Immédiatement après la vente, le colonel Cavanaugh offre un pot-de-vin au commissaire-priseur, pour qu'il lui donne les adresses des acheteurs.