Сын небогатых помещиков Могилевской губернии Михаил Григорьевич Черняев родился в 1828 году. Свое детство он провел у родителей, от которых и получил первоначальное небогатое знаниями воспитание. В двенадцатилетнем возрасте Михаил Григорьевич поступил в Дворянский полк, за свою полувековую историю воспитавший свыше тринадцати тысяч русских офицеров. Самая простая, спартанская, солдатская обстановка, существовавшая тогда в Дворянском полку, приучила совсем еще юного Черняева к простоте и требовательности.

Михаил Черняев учился хорошо и был лучшим из воспитанников. В 1847 году из унтер-офицеров он был произведен в офицеры гвардейского Павловского полка. В подавлении Венгерского восстания 1848-1849 годов молодой офицер Черняев не участвовал, но был командирован в Москву в состав формируемых там гвардейских бессрочно отпускных нижних чинов. Служебные занятия и ближайшее знакомство с обстановкой военного быта показали ему, что полученные им знания в Дворянском полку были недостаточны. Полюбив военное дело, он решился расширить и дополнить свои военные познания и в 1849 году в чине подпоручика поступил в Николаевскую академию генерального штаба. По окончании курса в академии, Михаил Черняев был командирован в бывший штаб командира гвардейских гренадерских корпусов, а потом, в 1851 году, был причислен к образцовому кавалерийскому штабу, где уже основательно познакомился с кавалерийским строем. Еще позже он поочередно был прикомандирован к пешей и конной батареям, где на практике познакомился с деятельностью артиллерии.

Ко времени Крымской войны 1853-1856 гг. Михаил Григорьевич уже был вполне подготовленным офицером, в продолжение всей своей дальнейшей службы служил боевым офицером в Турции, в севастопольском отряде, на Кавказе и в Средней Азии. Современники писали, что он не любил штабной или гарнизонной службы и всегда отдавал предпочтение боевому делу. С 1853 года, когда Черняев был командирован в Турцию в молдаво-валахский отряд, до своего выхода в отставку в 1867 году, он все время был на боевых постах. Во всех более или менее значительных, отмеченных военной историей, войнах Черняев участвовал лично и не раз был награжден знаками отличия за храбрость. Он участвовал в движении русского отряда под командованием полковника Карамзина, когда этот отряд наскочил в 1854 году при городе Каракалы, на главные турецкие силы и был разбит. Участвовал он также в большой вылазке при Севастополе 24 октября 1854 года и принимал деятельное участие в обороне Севастополя в 1855 году, в сражениях 27 августа в рамках этой обороны. В посвященной Черняеву статье (газета «Новое время», №110, 1876 г.) В.М. Флоринский писал: 

«…он всегда был в первых рядах наших войск, постоянно отличался, как удостоверяют очевидцы, спокойным, тихим характером, хладнокровием во время разгара военных действий и, главное, никогда не терял мужества, а отличался спокойной распорядительностью под градом пуль и грохотом канонады. Впрочем, он никогда не выставлял себя особым героем севастопольской обороны; он признавал, что все от последнего солдата до первого генерала одинаково несли тогда свою жизнь на защиту отечества с таким мужеством и геройством, которые, разумеется, навсегда останутся лучшими украшениями страницу нашей народной истории».

После войны c союзниками подполковник генерального штаба Черняев состоял при отдельном оренбургском корпусе и по распоряжению начальства в 1858 году был командирован в распоряжение командующего сырь-дарьинской линией. Участвуя в экспедиции на судах Аральской флотилии под начальством капитана 1 ранга Бутакова в устье Аму-Дарьи к хивинскому городу Кунграду, ему впервые пришлось познакомиться с казахской степью и со способами ведения войны. Но в этот раз Черняеву не остался здесь надолго. В 1859 году он был назначен в главный штаб кавказской армии, где предпринимались серьезные приготовления для покорения горцев.

На Кавказе Черняев пробыл до 1862 года, где и получил чин полковника. Здесь он также участвовал в боевых отрядах левого крыла кавказской армии (Терская область). На его глазах и при его непосредственном участии происходил бой при Ведени, при Гашар-Дюке, штурм Бена. Он также участвовал при движении русских войск в Аргунском округе. Словом, в течение всей своей кавказской службы Черняев сумел поближе познакомиться с приемами ведения партизанской войны.

После окончания активных военных действий на Кавказе, Черняев около двух лет состоял при главном управлении генерального штаба, занимался разработкой вопросов по организации военной администрации. Однако как только начались военные действия в Средней Азии, он был направлен туда.

К 1862 году русские южно-оренбургские пределы вдавались в степь по реке Сыр-Дарья до форта Джулек, который граничил с кокандскими владениями. Со стороны Западной Сибири границы Российской империи были не определены и проходили линией Алатавского округа с городом Верный и Заилийским краем. Пространство между этими пунктами было открытым и служило постоянным местом столкновений русских и кокандцев. Идея о соединении Сибирской и Оренбургской линий обсуждалась особым комитетом в 1854 и 1863 годах. Комитет пришел к заключению, что хоть соединение упомянутых линий и было желательно, но, вследствие экономических соображений, это предприятие нужно отложить. Другими словами, было принято решение не занимать город Аулие-Ата и ограничиться лишь ограждением казахов, уже вступивших в русское подданство. На основании этих постановлений, весной 1863 года со стороны Оренбурга было взято только одно небольшое кокандское укрепление Яны-Курган на реке Сыр-Дарья, лежавшее на пути к Туркестану.

В начале 1864 года правительство решило занять пограничные кокандские владения между сыр-дарьинской линией и Алатавским округом. Это предполагалось совершить с двух пунктов - со стороны сыр-дарьинской линии и со стороны Алатавского округа с тем, чтобы обоим отрядам, соединиться в городе Туркестане. Оренбургским отрядом командовал полковник Веревкин, aлaтaвским полковник Черняев, которому было поручено взять Аулие-Ата и затем двинуться к Туркестану для соединения с полковником Веревкиным. Отряд Черняева, собранный в городе Верный, выступил из-под укрепления Мерке 28 мая 1864 года, а 6 июня им был взят первый укрепленный город Аулие-Ата. Отсюда 7 июля отряд Черняева двинулся по дороге к Чекменту в составе 6 неполных рот пехоты, одной сотни казаков, дивизии конно-артиллерийской батареи для соединения с частью отряда полковника Веревкина, направлявшегося из Туркестана. Черняев совершил этот переход по безводной степи, на расстоянии почти 300 верст, при 40-градусной жаре с крайней поспешностью и удачей. Соединившись с туркестанским отрядом подполковника Лерхе и капитана Мейера, 22 июля Черняев с этими силами выступил против кокандцев, загородивших дорогу к Чекменту, разбил их, сделал подробную рекогносцировку Чекмента и возвратился в Арыс. Последствием этого похода было представление Черняева о необходимости овладеть Чекментом как главным сборным пунктом коканских сил, что первоначально не входило в план военных действий. Это представление с выяснением причин, побуждающих к занятию города, и планов военного движения было отправлено в Санкт-Петербург 12 сентября 1864 года. Однако, не дождавшись разрешения на осуществление этого плана, назначенный к этому времени главным начальником туркестанских войск Новококандской линии Черняев приступил к занятию Чекмента, что и произошло 21 сентября. Поводом к этой поспешности, как писали русские исследователи, служило то, что в Чекменте были предприняты громадные работы для укрепления и вооружения города, так что взятие города через год потребовало бы больших усилий. В силу этого Черняев счел посчитал необходимым немедленно взять Чекмент, пока неприятель не успел окончательно в нем укрепиться. Силы Черняева состояли из 10,5 рот пехоты, 8 батарейных орудий, 4 легкоконных орудий, 3 ракетных станков, 5 мoртир, 250 казаков и 1 000 человек милиционеров из принявших русское подданство казахов. Гарнизон крепости состоял из нескольких тысяч коканских войск, не считая жителей города. Цитадель была построена на возвышенности и была вооружена артиллерией, с большим запасом разрывных снарядов. Падение Чекмента нанес первый жестокий удар среднеазиатским ханствам.

Впрочем, Черняев не ограничился этой победой. Желая окончательно подавить среднеазиатские ханства, 27 сентября он двинулся к Ташкенту. Однако с теми средствами (1 550 чел. при 12 оруд.), которыми он владел, взять город, 20 верст в окружности, со стотысячным населением, было невозможно. Поэтому Черняев вернулся для зимовки в Чекмент.

Весной 1865 года генерал Черняев снова двинулся к Ташкенту. 29 апреля 1865 года он занял крепость Ниязбек, на левом берегу Чирчика, снабжавшую Ташкент водой. После занятия крепости были отведены два главных рукава Чирчика. В скором времени лишение воды поставило ташкентцев в затруднительное положение. Несмотря на это, город сдаваться не собирался и ожидал помощи от бухарского эмира. С целью показать, что эта помощь ни в каком случае не будет допущена до Ташкента, Черняев двинулся к устью Чирчика на укрепление Чиназ, прикрывавшее переправу через Сыр-Дарью, по большой бухарской дороге. Вскоре крепость была занята, а переправа через Дарью была уничтожена. После того отряд снова вернулся к Ташкенту и приступил к осаде. Цитадель Ташкента была взята штурмом по лестницам в ночь с 14 на 15 июня 1865 года. Трофеями этого дела были 16 больших знамен, 63 орудия, из которых 48 медных, множество ружей, 2 000 пудов пороха и до 10 000 разных снарядов.

Заняв Ташкент и присоединив его к русским владениям, увлекаемый силой обстоятельств Черняев решил еще дальше подвинуть русскую границу посредством занятия Зачирчикского края. Это было необходимо из-за того, что Зачирчикский край снабжал Ташкент съестными припасами. Следовательно, существование одного без другого было почти невозможно. Также оставался Ходжент как ключ от Ферганской долины и опорный пункт для владения плаванием по реке Сыр-Дарья. В силу этих соображений Черняев 12 сентября отправил отряд на левую сторону Чирчика к Тюй-Тюбе и Пскенту, что было вскоре занято. Демонстрации со стороны бухарцев вызвали дальнейшее движение Черняева к Джизаку по голодной степи, которую бухарцы считали надежнейшим оплотом, считая ее совершенно непроходимой для войск. Однако, вследствие соглашений с бухарским эмиром, Джизак и Ходжент не были заняты и 12 февраля 1866 года русские войска отступили назад к Чиназу.

Таким образом, Черняев присоединил к Российской империи почти весь Туркестанский край, за исключением Джизака, Ходжента и Самарканда. Эти города остались незанятыми и, согласно мнению русских исследователей, это произошло потому, что быстрое расширение среднеазиатских границ могло оказаться обременительным для государства. Черняев, по их словам, не был против продолжения военных завоеваний в Средней Азии, если бы не изменилось его служебное положение.

В марте 1866 года на его место был назначен генерал-майор Романовский, и Черняев в скором времени оставил им созданную Туркестанскую область. Летом того же года он получил отпуск на 11 месяцев и затем 16 мая 1867 года был уволен от службы. В том же 1867 году он снова поступил на службу в генеральный штаб, а 20 июня 1875 года окончательно вышел в отставку.