Родился в дворянской казачьей семье в Булгурино области Войска Донского. Окончил 1-ю Московскую гимназию с золотой медалью, затем Московский университет (1916), ученик Ф. Ф. Фортунатова. Один из основателей и руководителей Московского лингвистического кружка.
В ноябре 1917 участвовал в захвате власти большевиками в Москве, вступил в РКП(б). Заведующий отделом печати Военно-революционного комитета в Москве, закрыл газету «Русские ведомости». В конце 1918 решил вернуться к научной деятельности, для чего ему пришлось сдать партбилет. Позже пытался вновь вступить в партию, но неудачно.
Во время Гражданской войны в России мать Яковлева Александру Константиновну крестьяне закопали живьём в землю. Брат Павел воевал на стороне белых и эвакуировался в Турцию.
С 1920 года по инициативе А. А. Шахматова ежегодно возглавлял экспедиции для изучения языков Северного Кавказа и Дагестана. В экспедициях принимал участие также Лев Иванович Жирков.
Председатель Технографической комиссии Всесоюзного центрального комитета нового алфавита (ВЦКНА), занимавшегося разработкой алфавитов для бесписьменных (или имеющих арабицу) языков СССР (принимал также участие в комиссии по латинизации русского письма). Разработал математическую формулу алфавита в соответствии с фонологической системой языка. Ему принадлежит известное определение создателей алфавитов (таких, как Вульфила, Месроп Маштоц, Кирилл и Мефодий) как «стихийных фонологов». Предложил диграфы и вспомогательные знаки для письменности кавказских языков (написания вида къ, кI). Автор работ по описанию языков Кавказа.
В 1930-е годы частично перешёл на позиции марризма.
Профессор Московского института востоковедения (1946), Военного института иностранных языков, доктор филологических наук (1947). Сотрудник Института языка и мышления (с 1936), в 1942—1950 заведующий сектором кавказских языков этого института.
После разгрома марризма Сталиным в 1950 году Яковлев был уволен со всех мест работы и заболел психически, прожив в таком состоянии больше 20 лет.
Наряду с Е. Д. Поливановым другим крупным советским ученым, активно участвовавшим в языковом строительстве, был Николай Феофанович Яковлев (1892–1974). Он принадлежал к Московской школе, со студенческих лет был хорошо знаком с Н. С. Трубецким, учившимся в Московском университете на несколько лет раньше его, и с Р. О. Якобсоном, учившимся немного позже. Как и Е. Д. Поливанов, он активно участвовал в революции и принял новый строй. С 20-х гг. он стал ведущим теоретиком и практиком языкового строительства в СССР. Органом, осуществлявшим работу по языковому строительству, был существовавший в 1925–1937 гг. Всесоюзный центральный комитет нового алфавита, все годы его существования Н. Ф. Яковлев был председателем его Технографической комиссии и фактическим научным руководителем всех работ. К деятельности по составлению алфавитов были привлечены также Е. Д. Поливанов и ряд других видных советских лингвистов тех лет: тюркологи Н. К. Дмитриев (1898–1954) и К. К. Юдахин (1890–1975), монголист H. Н. Поппе (1897–1991), финно-угровед Д. В. Бубрих (1890–1949), кавказовед и иранист Л. И. Жирков (1885–1963) и др. В основном это были молодые тогда ученые, по взглядам близкие к структурализму, безусловно интересовавшиеся системным синхронным анализом современных языков, в особенности в области фонологии, тогда самой передовой и развивающейся дисциплины. На высоком научном уровне было составлено около восьмидесяти алфавитов для языков народов СССР на латинской основе; одни из них создавались непосредственно Н. Ф. Яковлевым или при его участии, другие — при том или ином влиянии его идей и рабочих приемов. В конце 30-х гг. по решению сверху латинские алфавиты были заменены на кириллические, в составлении новых алфавитов на новой графической основе Н. Ф. Яковлев также принимал участие.
Диапазон научных интересов Н. Ф. Яковлева был несколько уже, чем у Е. Д. Поливанова, но тоже достаточно широк. Он также много публиковался по вопросам теории и практики языкового строительства. Помимо этого специальной областью его исследований были кавказские языки, а сферой теоретических интересов — фонология. В 30—40-е гг. им были написаны пять фундаментальных грамматик кавказских языков, три из которых, адыгейская (совместно с Д. Ашхамафом), кабардинская и чеченская, были изданы, а абхазская и ингушская до сих пор не опубликованы. В отличие от других видных советских лингвистов его времени, Н. Ф. Яковлев оказался подвержен влиянию марризма, с которым боролся в области создания алфавитов, но который принял в ряде вопросов, прежде всего в трактовке языковой истории. Судьба Е. Д. Поливанова и Н. Ф. Яковлева, наиболее активно из крупнейших отечественных лингвистов поддержавших советский строй, оказалась при этом строе наиболее драматичной, хотя и по-разному. Н. Ф. Яковлев не был арестован, но после осуждения марризма был в 1951 г. как «неразоружившийсямаррист» уволен с работы и вскоре заболел. После этого его творческая деятельность прервалась и последние 23 года жизни он находился из-за тяжелой болезни вне науки.
Как теоретик языкознания Н. Ф. Яковлев наиболее интересен своими работами по фонологии, написанными в начальный период его деятельности, в 20-е гг. К сожалению, главная его теоретическая работа тех лет не издана и, по-видимому, не сохранилась. Его деятельность как фонолога была тесно связана с конструированием алфавитов. Это был двусторонний процесс: фонологическая теория создавала базу для создания алфавитов (именно фонологи, а не фонетисты были лучше всего приспособлены для алфавитной деятельности), а богатый материал языков народов СССР предоставлял факты для развития теории. Как признавал впоследствии Р. Якобсон, структурно-фонологические концепции Н. Ф. Яковлева появились в печати на несколько лет раньше, чем аналогичные концепции Н. Трубецкого и самого Р. Якобсона, начиная с 1923 г. Среди опубликованных работ Н. Ф. Яковлева по теории фонологии особо выделяется статья «Математическая формула построения алфавита», впервые напечатанная в 1928 г. в первом выпуске сборника «Культура и письменность Востока», издававшегося Всесоюзным центральным комитетом нового алфавита (статья переиздана в хрестоматии А. А. Реформатского «Из истории отечественной фонологии»).
В статье ставится вопрос о том, какая наука о языке может помочь в практическом деле создания алфавитов. Здесь мало что могли дать как традиционное историческое языкознание, так и уже существовавшая фонетика, использовавшаяся, в частности, в диалектологии. Диалектологи, как указывает Н. Ф. Яковлев, «стремясь как можно точнее изучить на слух, а частью также с помощью особых фонетических аппаратов, все богатство звуковых оттенков, какое несет в себе индивидуальное живое произношение, в первую очередь интересовались вопросом о том, чтобы создать возможно более богатую и точную систему научной транскрипции». Однако такой подход обладал слишком большой различительной силой, поскольку «количество звуковых оттенков… всегда больше того числа звуков, которые различает в своей речи каждый неискушенный в фонетических исследованиях говорящий». А именно последнее различение и важно для создания практической письменности. Примером непонимания сущности проблемы оказался упоминавшийся уже алфавит Н. Я. Марра, представлявший собой крайне сложную транскрипцию, неудобную для пользователей.
В то же время создание алфавитов, как указывает Н. Ф. Яковлев, должно основываться на научной базе: «Только тогда можно говорить о научно обоснованном построении алфавита, когда теоретическая лингвистика сумеет дать необходимые элементы и даже формулы для решения этого вопроса так же, как теоретическая механика дает их для постройки инженерных сооружений». Как и Е. Д. Поливанов, Н. Ф. Яковлев признавал сферу графики и орфографии открытой для сознательного вмешательства.
Данной научной базой является структурная фонология. Н. Ф. Яковлев пишет: «Решение вопроса о научном построении практического алфавита требует прежде всего известного пересмотра положений теоретической фонетики. Всякому теоретическому исследователю фонетики известен тот факт, что в каждом данном живом диалекте ученый может вскрывать по существу неограниченное количество звуковых отличий… В сущности нет никакого предела количеству звуков в языке, если исследователь подходит к этому вопросу только с точки зрения физико-акустической, т. е. если он воспринимает звуки вне всякого отношения к социальной языковой их функции, вне отношения звуков к значимым элементам языка». Н. Ф. Яковлев отметил, что впервые на существование в языке ограниченного количества фонем указали И. А. Бодуэн де Куртенэ и его ученики. «Указанные исследователи не объяснили, однако, лингвистической сущности данного явления, его социальной основы, сводя дело к психологическому акту, к явлениям индивидуального сознания каждого отдельного говорящего». Ссылаясь на раннюю работу Л. В. Щербы 1912 г., где тот еще исходил из психологической концепции фонемы, Н. Ф. Яковлев заявляет: «Я вполне присоединяюсь к выводам проф. Л. В. Щербы, что в каждом языке существует строго ограниченное количество звуков — „фонем“, однако, в отличие от последнего, я даю этому факту чисто лингвистическое толкование. Именно — фонемы выделяются, по моему мнению, не потому, что они создаются каждым отдельным говорящим, но они потому и сознаются говорящими, что в языке как в социально выработанной грамматической системе эти звуки выполняют особую грамматическую функцию… Мы должны признать фонемами те звуковые отличия, которые выделяются в речи как ее кратчайшие звуковые моменты в отношении к различению значимых элементов языка».
Такая точка зрения весьма сходна с пражской. А писал это Н. Ф. Яковлев, и уже не в первый раз, за год до публикации «Тезисов Пражского лингвистического кружка» и почти за десятилетие до написания «Основ фонологии» Н. Трубецкого. Однако столь развернутого, как у Трубецкого, изложения фонологической теории Н. Ф. Яковлев так и не дал.