Выпускник МГПИ им. Потемкина (ныне – МПГУ). Лингвист, литературовед, доктор филологических наук, один из наиболее значительных представителей Московской филологической школы. Популяризатор науки, инициатор и автор детских лингвистических изданий и школьных учебников по русскому языку, ориентированных на современную лингвистическую теорию. Автор методических пособий и статей, посвященных преподаванию русского языка в русской и национальной школах. Поэт, автор двух поэтических сборников (второй опубликован посмертно).
После окончания института ушел добровольцем на фронт. После войны работал учителем в школе; потом был заведующим группой фонетики в Институте русского языка АН СССР. В результате конфликта с руководством института ( Панов заступался за инакомыслящих сотрудников) был исключен из партии и был вынужден уволиться с работы. Работал в НИИ национальных школ, занимаясь подготовкой учебной и методической литературы по русскому языку для национальных школ СССР. Читал лекции по русской фонетике и истории русского поэтического языка на филологическом факультете МГУ, с середины 1990-х годов преподавал в МГПУ им Шолохова (ныне – МПГУ). Скончался в 2001 году.
