Максим Криппа: “Прорыв в области искусственного интеллекта наступит уже завтра”
На раннем этапе глубокое обучение также применялось к обучению последовательностям с повторяющимися нейронными сетями (RNN),
которые теоретически дополняют Turing и могут запускать произвольные программы для обработки произвольных последовательностей входных данных. Глубина RNN неограниченна и зависит от длины входной последовательности; таким образом, RNN является примером глубокого обучения. RNN могут обучаться с помощью градиентного спуска, но страдают от проблемы исчезновения градиента. В 1992 году было показано, что неконтролируемая предварительная подготовка стека рекуррентных нейронных сетей может ускорить последующее контролируемое обучение глубоким последовательным проблемам. Подробнее про Криппа Максим Владимирович на антикоре из источника : https://antikor.com.ua/articles/215216-maksim_krippa_proryv_v_oblasti_iskusstvennogo_intellekta_nastupit_uhe_zavtra
Многочисленные исследователи теперь используют варианты глубокого обучения, повторяющиеся NN, называемые сетью с длинной короткой памятью (LSTM), опубликованной Hochreiter & Schmidhuber в 1997 году. LSTM часто обучается временным классификаторам Connectionist (CTC). В Google, Microsoft и Baidu этот подход революционизировал распознавание речи. Например, в 2015 году распознавание речи Google привело к резкому скачку производительности на 49% благодаря LSTM, прошедшему обучение в CTC, который теперь доступен через Google Voice миллиардам пользователей смартфонов. Google также использовал LSTM для улучшения машинного перевода, языкового моделирования и многоязычной обработки текстов. LSTM в сочетании с CNN также улучшили автоматическую подпись изображений и множество других приложений.