Avril 1912. Le comte de Grantham et son épouse Cora apprennent que les deux héritiers potentiels de la demeure de Downton, le cousin germain du comte et son fils Patrick, sont morts lors du naufrage du Titanic. Les Crawley n'ont eu que trois filles, Lady Mary, Lady Edith et Lady Sybil, or seul un héritier mâle peut hériter du domaine, qui est soumis à un entail fee tail male. Le nouvel héritier est ainsi un arrière petit cousin, Matthew Crawley, avocat vivant avec sa mère Isobel. Il y découvre un style de vie rythmé par des règles très strictes régentant les relations entre les maîtres et les domestiques. La vie des domestiques à Downton est méticuleusement organisée, sous l'égide du maître d'hôtel Charles Carson et de l'intendante Mrs Elsie Hughes. Sarah O'Brien est la femme de chambre attitrée de la comtesse, tandis qu'Anna Smith et Gwen Dawson s'occupent plutôt des filles. William Mason et Thomas Barrow sont les deux valets, et Mrs Beryl Patmore la cuisinière, aidée de la jeune Daisy Robinson. Cependant, l'arrivée d'un nouveau valet de pied au domaine, John Bates, un ancien compagnon d'armes du comte pendant la guerre des Boers, va tout bouleverser. Nommé valet attitré du comte, il boite à cause d'une vieille blessure et s'attire les foudres de certains membres du personnel, dont Thomas, qui enviait cette place depuis longtemps. L'excentrique comtesse douairière de Grantham, Violet, participe également activement à la vie du domaine, observant les affaires de sa famille depuis un cottage aménagé pour elle dans la propriété.