Позднее императрица Анна Иоанновна посчитала Зимний дворец слишком маленьким и в 1731 году поручила его перестройку Ф. Б. Растрелли, который предложил ей свой проект переустройства Зимнего дворца. По его проекту требовалось приобрести стоявшие в то время на месте, занимаемом нынешним дворцом, дома, принадлежавшие графу Апраксину, Морской Академии, Рагузинскому и Чернышеву. Анна Иоанновна проект одобрила, дома были скуплены, снесены и весной 1732 года началось строительство.
...
При Елизавете продолжилась пристройка ко дворцу служебных помещений, в результате к 1750 году он «представлял вид пестрый, грязный, недостойный места им занимаемого и самая странность императорского дворца, одним крылом примыкающего к Адмиралтейству, а другим в противоположной стороне, к ветхим палатам Рагузинского, не могла быть приятна государыне»[3]. 1 января 1752 года императрица приняла решение о расширении Зимнего дворца, после чего были выкуплены соседние участки Рагузинского и Ягужинского