Родился 8 августа 1819 г. в семье генерала от инфантерии Александра Ивановича Нейдгардта, ближайшего соратника Николая I при подавлении "восстания декабристов". Дядя Бориса - Павел Иванович Нейдгардт.
В 1837 г. окончил Пажеский корпус. Офицер лейб-гвардии Преображенского полка (служил в полку четыре года). Полковник.
С 1869 г. на гражданской службе. В 1874 г. назначен гофмейстером Императорского двора, управляющим Императорским Московским воспитательным домом и Мариинской больницей.
С 1879 г. председатель Елисаветинского благотворительного общества.
С 1890 г. обер-егермейстер Двора Его Императорского Величества.
Скончался 30 октября 1900 г.
Супруга - Мария Александровна, ур. Талызина, правнучка А. С. Суворова.
Дети: Ольга - супруга председателя Совета министров П. А. Столыпина, Дмитрий и Алексей (офицеры лейб-гвардии Преображенского полка), Анна - супруга министра иностранных дел С. Д. Сазонова.