По указу князя Григория Потёмкина в устье реки Ингул под руководством полковника Михаила Фалеева в 1788 году была заложена верфь, вокруг которой начал расти город.

Название города известно из ордера № 1065 Фалееву от 27 августа (7 сентября) 1789:

Фаберову дачу именовать Спасское, а Витовку — Богоявленское, нововозводимую верфь на Ингуле — город Николаев…

Город получил своё название в память об одержанной в 1788 году русскими войсками победе — взятии турецкой крепости Очаков в день святого Николая, покровителя моряков. Первый корабль, 46-пушечный фрегат, спущенный с верфи в 1790 году, был так же назван «Святым Николаем». Им было положено начало постройки в Николаеве крупных парусных военных кораблей и определена основная отрасль города — кораблестроение.

Николаев строился по плану, составленному Иваном Старовым — с прямыми улицами и кварталами правильной формы.

В 1798 году было основано первое учебное учреждение города – Черноморское штурманское училище.

Долгое время в Николаеве дислоцировался штаб Черноморского флота. Во время Крымской войны он стал главной тыловой базой. Большинство предприятий, которые создавались в городе, относились к военно-промышленному комплексу, и в связи с этим Николаев много десятилетий был закрыт для посещения иностранцами.

В 1862 году в городе был открыт коммерческий порт, что послужило толчком к преобразованию Николаева в большой торговый порт. Уже в конце XIX века Николаевский порт занимал третье место после Петербурга и Одессы по объёму торговли с заграницей, а по экспорту зерна, поставщиками которого были степные губернии — первое место в стране. Сам Николаев стал большим промышленным центром на юге Украины.

В 1918 году Николаев впервые пережил оккупацию иностранными войсками. В 1920 году здесь утвердилась Советская власть.

С началом Великой Отечественной войны Николаев был оккупирован 16 августа. Во время оккупации в Николаеве действовала подпольная диверсионная группа «Николаевский центр». 28 марта 1944 года город был освобождён, в частности, благодаря действиям 68 моряков-десантников под командованием Константина Ольшанского.

В 1949—1955 годах в Николаеве было построено здание областного комитета КПСС. На противоположной стороне площади в Сквере десантников был сооружён мемориальный комплекс героев-десантников — Героям Советского Союза.

В послевоенное время Николаев стал одним из центров судостроения СССР. Суда выпускали три судостроительных завода — Черноморский судостроительный завод, завод имени 61 коммунара и завод «Океан».