Музыкальный теоретик
Родился в городе Ветлуге, ныне Нижегородской области, в дворянской семье.
Некоторое время учился в Московской консерватории.
В 1875 – 1876 годах изучал теорию музыки у Ю.К. Арнольда.
Под его влиянием увлёкся идеей родства древнегреческой (и византийской) музыки с русской церковной монодией, которую рассматривал как разновидность (русского) народного творчества.
Познакомившись с Рудольфом Вестфалем, вместе с ним издал ритмо-темповую редакцию десяти фуг И.С. Баха со своим предисловием «О ритмическом исполнении фуг Баха» (1878). В 1870-е годы с целью пропаганды своих взглядов на роль ритма в классической музыке Мельгунов (в качестве пианиста) и Вестфаль осуществили концертную поездку по Германии. По России Мельгунов гастролировал в ансамбле со скрипачом Ф. Лаубом и виолончелистом К.Ю. Давыдовым.
Историческое значение имеет деятельность Мельгунова по собиранию и исследованию русской народной песни.
В сборнике «Русские народные песни непосредственно с голосов народа записанные и с объяснениями изданные» (1879-1885, с важным научным предисловием) впервые воспроизведено русское крестьянское многоголосие. C его предисловием и в его редакции издан также фольклорный сборник «Напевы Вологодской губернии, собранные М. Куклиным» (вып. 1, 1890).
Как теоретик музыки, занимался изучением гармонии и ритмики русской народной песни. Особенность нового подхода Мельгунова заключалась, в частности, в письменной фиксации не только некоего ведущего голоса («мелодии» в обыденном понимании) многоголосной песни, но и каждого из подголосков записанной собирателем оригинальной гетерофонной фактуры (визуально эти гетерофонные варианты редактор отобразил столбиком, один вариант под другим).
Жил и похоронен в Москве.