Tower
Buckingham Street waar Pepys woonde
In mei 1679 kwam Pepys onder vuur te liggen van zijn vijanden. Hij nam ontslag en werd opgesloten in de Tower onder de (onterechte) verdenking van verraad richting Frankrijk en 'popery' (papisme). In juli kwam hij weer vrij, maar de aanklacht werd pas in juni 1680 ingetrokken.
Hij verhuisde naar een huis van de inmiddels schatrijk geworden Will Hewer, zijn vroegere klerk: Buckingham Street 12. Hewer is levenslang een vriend gebleven van Pepys. In 1688 verhuisde Pepys naar nummer 14, waar hij tot 1700 woonde. Daarna trok hij in het huis van Hewer in Clapham, waar hij verbleef tot zijn dood.