На месте Конногвардейского бульвара с 1717 года существовал рукотворный Адмиралтейский канал. Он был прорыт от острова Новая Голландия, где с 1730-х годов хранились строительные материалы, до верфи Адмиралтейства, где из этих материалов строили корабли. До появления складов на Новой Голландии корабельный сосновый лес хранился прямо в Адмиралтейском канале.

На левом берегу Адмиралтейского канала (если стоять лицом к Адмиралтейству) в 1721-1723 годах был построен Канатный двор. До его появления канаты изготавливали в Москве, а хранили в деревянном сарае, возведённом на гласисе Адмиралтейства в 1710-1711 годах.
В 1830-х годах архитектор Карл Росси предложил засыпать канал, устроив на его месте аллею для пеших прогулок. Повод осуществить задуманное представился только при строительстве Николаевского (Благовещенского) моста через Неву. Прилегающая территория потребовала коренного преобразования и лучшего благоустройства. 10 июня 1842 года газета "Санкт-Петербургские ведомости" опубликовала заметку о планах заключения Адмиралтейского канала в трубу.
"Что было за несколько лет перед сим у Поцелуева моста и позади Конногвардейских казарм и что теперь! Этот бульвар от Исаакиевской площади до поворота на постоянный мост через Неву - прелесть, а нет никакого сомнения, что владельцы домов со стороны Галерной улицы воспользуются благоприятными обстоятельствами и выстроят здесь прекрасные дома. В прошлое воскресение мы встретили множество гуляющих и, к радости нашей, много детей, игравших будто в домашнем саду. Будь в С.-Петербурге климат не такой плакса и небо повеселее, было бы чудо!" [Цит. по: 3, с. 159, 160]
В середине XIX века чётную сторону бульвара иногда называли Манежной улицей, а весь бульвар - Малой Благовещенской улицей или Благовещенским бульваром. Это было связано с нахождением неподалёку Благовещенской церкви на одноимённой площади (ныне площадь Труда), куда упиралась магистраль. В 1846-1852 годах встречалось написание "Конно-Гвардейский бульвар". Топоним "Конногвардейский бульвар" окончательно закрепился только в 1857 году.
Нахождение на новом Конногвардейском бульваре старых Морских казарм также посчитали неуместным. На 1 декабря 1847 года были назначены торги, дабы продать эту территорию частным лицам, которые построили бы здесь дома в модном тогда стиле "возрождения". Но инвесторов не нашлось. Историк П. Н. Столпянский пишет, что в 1864 году территория снова была выставлена на продажу, но и в этот раз сделка не состоялась. Эти сведения не согласуются с тем, что к этому времени территория уже была застроена.

На месте старых Морских казарм, на новой Благовещенской площади и вдоль Конногвардейского бульвара, в 1853-1861 годах был построен дворец сына Николая I великого князя Николая Николаевича (Николаевский дворец).