Родился в деревне Зырянова Иркутской губернии (затоплена водами Усть-Илимского водохранилища) в многодетной крестьянской семье. Учился в обычной школе, но вскоре перебрался к старшему брату в Москву. Смог поступить в Авиационный институт, который закончил отлично, став инженером самолетостроения. Во время войны трудился по специальности на новосибирском авиазаводе. С отличием закончил авиационную академию и стал членом конструкторских бюро Мясищева и Микояна. Вскоре занял пост директора ЦНИИ по разработке ракет. Спустя несколько лет прошло испытание его ракеты средней дальности Р-12, в которой была масса инновационных разработок. Это дало новый толчок к развитию военных ракетных комплексов и принятию новых видов вооружения.
Основоположник нового направления в ракетной технике, основанного на использовании высококипящих компонентов топлива и автономной системы управления, что существенно повысило боеготовность ракет стратегического назначения. Участник разработки проектов ракет Р-5 и Р-7, организатор исследований в области аэродинамики, баллистики, материаловедения и других проблем ракетной отрасли. Возглавлял создание ракетных комплексов Р-12, Р-14, Р-16, Р-36, космических ракет-носителей «Космос», «Космос-2», «Циклон-2», «Циклон-3», ракетного блока лунного корабля комплекса Н1-ЛЗ, космических аппаратов «Космос», «Интеркосмос», «Метеор», «Целина». Под его руководством проектировалась ракета РТ-23 «Молодец» для боевого железнодорожного ракетного комплекса, стоявшего на вооружении СССР и России.
Именем Михаила Янгеля названы астероид, кратер на Луне, пик на Памире, океанский сухогруз («Академик Янгель»), посёлок в Иркутской области, станция московского Метрополитена, улицы в Москве, Киеве, Днепропетровске и Байконуре.