óÈÏÄÉÍÏÓÔØ? îÅÔ ÔÁËÏÊ ÐÒÏÂÌÅÍÙ ;)

ïÔÐÒÁ×ÌÅÎÏ Victor G. Tsaregorodtsev 13:00:05 06/11/19100

× ÏÔ×ÅÔ ÎÁ: óÈÏÄÉÍÏÓÔØ ÍÅÔÏÄÁ ÏÂÒÁÔÎÏÇÏ ÒÁÓÐÒÏÓÔÒÁÎÅÎÉÑ, ÏÔÐÒÁ×ÌÅÎÏ Reshetov Alexey 17:32:11 31/10/19100:

>ðÏÄÓËÁÖÉÔÅ, ÐÏÖÁÌÕÊÓÔÁ, ÉÓÓÌÅÄÏ×ÁÌÏÓØ ÌÉ ×ÌÉÑÎÉÅ ÐÁÒÁÍÅÔÒÏ× îó ÎÁ

>ÓÈÏÄÉÍÏÓÔØ ÍÅÔÏÄÁ ÏÂÒÁÔÎÏÇÏ ÒÁÓÐÒÏÓÔÒÁÎÅÎÉÑ. åÓÌÉ ÄÁ, ÔÏ ÇÄÅ ÍÏÖÎÏ

>ÎÁÊÔÉ ÔÁËÕÀ ÉÎÆÏÒÍÁÃÉÀ? úÁÒÁÎÅÅ ÂÌÁÇÏÄÁÒÅÎ.

òÅËÏÍÅÎÄÁÃÉÑ ÁÂÓÏÌÀÔÎÏ ×ÓÅÍ — ×ÙËÉÎÕÔØ ÎÁÈÒÅÎ ÁÌÇÏÒÉÔÍ back propagation É ÚÁÂÙÔØ Ï ÎÅÍ, ËÁË Ï ÓÔÒÁÛÎÏÍ ÓÎÅ. é ×ÁÛÉ ×ÏÌÏÓÙ ÓÔÁÎÕÔ ÍÑÇËÉÍÉ É ÛÅÌËÏ×ÉÓÔÙÍÉ ;)

åÓÌÉ ÓÅÒØÅÚÎÏ — ÏÔ back-prop ÎÁÄÏ ×ÚÑÔØ ÔÏÌØËÏ ÓÐÏÓÏÂ ×ÙÞÉÓÌÅÎÉÑ ÇÒÁÄÉÅÎÔÁ ÛÔÒÁÆÎÏÊ ÆÕÎËÃÉÉ ÐÏ ÁÄÁÐÔÉ×ÎÙÍ ÐÁÒÁÍÅÔÒÁÍ ÎÅÊÒÏÓÅÔÉ ÎÁ ÏÄÎÏÍ ÐÒÉÍÅÒÅ ÏÂÕÞÁÀÝÅÊ ×ÙÂÏÒËÉ. äÁ É ÔÏ ÌÕÞÛÅ ×ÚÑÔØ É ÐÏÞÉÔÁÔØ ËÎÉÖËÉ á.î.çÏÒÂÁÎÑ — ÔÁÍ ÇÄÅ ÒÁÓÐÉÓÁÎ ÓÁÍ ÜÔÏÔ ÐÒÉÎÃÉÐ — ÔÏÇÄÁ ÎÅ ÂÕÄÅÔ ÐÒÏÂÌÅÍ Ó ÄÏÂÁ×ÌÅÎÉÅÍ ÎÏ×ÙÈ ÎÅÌÉÎÅÊÎÙÈ ÆÕÎËÃÉÊ ÎÅÊÒÏÎÏ×, ÎÏ×ÙÈ ÎÅÊÒÏÓÅÔÅ×ÙÈ ÁÒÈÉÔÅËÔÕÒ (Ô.Å. ÎÅ ÐÒÉÄÅÔÓÑ ÏÇÒÁÎÉÞÉÔØÓÑ ÎÅÊÒÏÓÅÔËÏÊ Ó ÏÄÎÉÍ ÓËÒÙÔÙÍ ÓÌÏÅÍ ÉÚ ÓÉÇÍÏÉÄÎÙÈ ÎÅÊÒÏÎÏ×).

ëÏÇÄÁ ÐÏÌÕÞÅÎ ÇÒÁÄÉÅÎÔ ÄÌÑ ÏÄÎÏÇÏ ÐÒÉÍÅÒÁ ÏÂÕÞÁÀÝÅÊ ×ÙÂÏÒËÉ — ÚÁÂÙÔØ ÐÒÏ ÎÅÍÅÄÌÅÎÎÕÀ ËÏÒÒÅËÃÉÀ ÓÉÎÁÐÓÏ× É ÒÁÚÎÙÅ ÕÂÌÀÄÏÞÎÙÅ ×ÁÒÉÁÃÉÉ ÔÉÐÁ ÏÂÕÞÅÎÉÑ Ó ÉÎÅÒÃÉÅÊ (momentum). îÁÄÏ ×ÚÑÔØ É ÐÒÏÓÕÍÍÉÒÏ×ÁÔØ ÇÒÁÄÉÅÎÔÙ ÏÔÄÅÌØÎÙÈ ÐÒÉÍÅÒÏ× ×ÙÂÏÒËÉ É ÐÏÌÕÞÉÔØ ÓÕÍÍÁÒÎÙÊ ÇÒÁÄÉÅÎÔ (ÏÎ ÂÕÄÅÔ ÒÁ×ÅÎ ÇÒÁÄÉÅÎÔÕ ÓÕÍÍÁÒÎÏÊ ÃÅÌÅ×ÏÊ ÆÕÎËÃÉÉ, ÐÏÌÕÞÅÎÎÏÊ ÓÕÍÍÉÒÏ×ÁÎÉÅÍ ÃÅÌÅ×ÙÈ ÆÕÎËÃÉÊ ÏÔÄÅÌØÎÙÈ ÐÒÉÍÅÒÏ× ×ÙÂÏÒËÉ). á ×ÏÔ ÔÅÐÅÒØ ÍÏÖÎÏ ×ÓÐÏÍÎÉÔØ ÐÒÏ ÓÕÝÅÓÔ×ÕÀÝÉÊ × ÔÅÏÒÉÉ ÏÐÔÉÍÉÚÁÃÉÉ ÓÐÏÓÏÂ ×ÙÂÏÒÁ ÏÐÔÉÍÁÌØÎÏÊ ÄÌÉÎÙ ÛÁÇÁ ×ÄÏÌØ ÎÁÐÒÁ×ÌÅÎÉÑ ÓÐÕÓËÁ (×ÄÏÌØ ÓÕÍÍÁÒÎÏÇÏ ÇÒÁÄÉÅÎÔÁ) — Ô.Å. ÐÕÓÔØ ÄÁÖÅ (ÐÒÉ ÛÁÇÅ ×ÄÏÌØ ÓÕÍÍÁÒÎÏÇÏ ÇÒÁÄÉÅÎÔÁ) ÏÛÉÂËÉ ÎÁ ÏÔÄÅÌØÎÙÈ ÐÒÉÍÅÒÁÈ ×ÙÂÏÒËÉ É ×ÏÚÒÁÓÔÕÔ ÐÏ ÓÒÁ×ÎÅÎÉÀ Ó ÜÔÉÍÉ ÏÛÉÂËÁÍÉ ÎÁ ÐÒÅÄÙÄÕÝÉÈ ÛÁÇÁÈ, ×ÓÅ ÒÁ×ÎÏ ÄÌÑ ×ÓÅÊ ×ÙÂÏÒËÉ ÂÕÄÅÔ ÏÓÕÝÅÓÔ×ÌÑÔØÓÑ ÓÒÅÄÎÅË×ÁÄÒÁÔÉÞÎÁÑ ÓÈÏÄÉÍÏÓÔØ. ÷ÙÂÏÒ ÄÌÉÎÙ ÛÁÇÁ Ô.Ï. ÐÅÒÅËÌÁÄÙ×ÁÅÔÓÑ ÎÁ Á×ÔÏÍÁÔÉÚÉÒÏ×ÁÎÎÕÀ ÐÒÏÃÅÄÕÒÕ, ÎÁ ËÁÖÄÏÊ ÉÔÅÒÁÃÉÉ ×ÙÐÏÌÎÑÀÝÕÀ ÓÐÕÓË ÄÏ ÌÏËÁÌØÎÏÇÏ ÍÉÎÉÍÕÍÁ ×ÄÏÌØ ÔÅËÕÝÅÇÏ ÓÕÍÍÁÒÎÏÇÏ ÇÒÁÄÉÅÎÔÁ.

á ÎÁÄ ÐÒÏÓÔÙÍ ÓÕÍÍÁÒÎÙÍ ÇÒÁÄÉÅÎÔÏÍ ÍÏÖÎÏ ÎÁÄÓÔÒÏÉÔØ ËÁËÏÊ-ÎÉÂÕÄØ ÂÏÌÅÅ ÂÙÓÔÒÙÊ ÍÅÔÏÄ ÏÐÔÉÍÉÚÁÃÉÉ ÔÉÐÁ ÓÏÐÒÑÖÅÎÎÙÈ ÇÒÁÄÉÅÎÔÏ× ÉÌÉ Ë×ÁÚÉÎØÀÔÏÎÏ×ÓËÏÇÏ BFGS-ÍÅÔÏÄÁ Ó ÏÇÒÁÎÉÞÅÎÎÏÊ ÐÁÍÑÔØÀ. óÐÏÓÏÂ ÎÁÈÏÖÄÅÎÉÑ ÄÌÉÎÙ ÏÐÔÉÍÁÌØÎÏÇÏ ÛÁÇÁ ÏÓÔÁÎÅÔÓÑ ÐÒÅÖÎÉÍ.

òÅÚÀÍÅ. ðÁÒÁÍÅÔÒÙ ÎÅÊÒÏÓÅÔÉ ÍÏÇÕÔ ×ÌÉÑÔØ ÎÁ ÓÈÏÄÉÍÏÓÔØ ÏÒÉÇÉÎÁÌØÎÏÇÏ ÍÅÔÏÄÁ back propagation ÉÍÅÎÎÏ ÉÚ-ÚÁ ÔÏÇÏ, ÞÔÏ ÁÌÇÏÒÉÔÍ ÜÔÏÔ ÐÏ Ó×ÏÅÊ ÐÒÉÒÏÄÅ ÄÏÓÔÁÔÏÞÎÏ ÐÌÏÈ. åÓÌÉ ÖÅ ÎÅÍÎÏÖËÏ ÐÏÄÕÍÁÔØ ÇÏÌÏ×ÏÊ — ËÁË ÜÔÏ ÓÄÅÌÁÌ á.î.çÏÒÂÁÎØ (ÒÅËÏÍÅÎÄÕÀ ÅÇÏ ÍÏÎÏÇÒÁÆÉÉ ÐÏ ÎÅÊÒÏÓÅÔÑÍ 1990 É 1996 ÇÏÄÁ — ÉÍÅÎÎÏ ÅÇÏ ÒÅËÏÍÅÎÄÁÃÉÉ Ñ É ÃÉÔÉÒÏ×ÁÌ), ÔÏ ÐÒÏÂÌÅÍ ÎÅÔ.

ïÔ×ÅÔÙ É ËÏÍÍÅÎÔÁÒÉÉ:

[AI-æÏÒÕÍ] [îÁÞÁÌÏ] [îÁÐÉÓÁÔØ ÏÔ×ÅÔ]