?????? ?????? ????????? ?????

????????? ???? ???????????? ????? ?????????????? ?????, ?????????? ???????????? ?????????????? ?????. ????????????? ??????? ???????????? ? ???? ? ??????????? ?????????? ??????????. ?????? ?????? ???????? ????????? ????????, ????????? ? ??? ?????????????? ????????????? ? ??????????? ???? ?????????? ????.

????? ?????? ?????? ?????? ??????? ?? ???????? ????? ???????. ???? ????????? ???????? ?????? ?????? ? ???????? ??????????????. ? ???????? ???????? ?????? ?????????? ?????????? ????????, ???????? ?????????? ?????????. ??? ?????? ???????? ???????????? ??????, ??? ?????? ?????????? ??????????.

??????????? ????????? ?????? ?????? ?????????????, ????????? ? ???????????? ?????????. ?????????? ??????????? ? ??????????? ???????????, ???????? ????????, ?????????? ????????. ???????? ???????? ????????? ??????? ?????? ????????????? ???? ? ??????????? ? ??????? ?????????.

????????? ????: ??? ??? ? ????? ??? ?????

????????? ???? ??????????? ?? ??????????? ?????????????? ???????????, ???????????? ?????????. ??? ???? ??????????? ? ?????????, ???????????? ??????? ??????? ????? ??????????. ?????? ????????? ?????? ???????? ???????, ??????????? ?? ? ??????????? ??????.

??????? ???? ?????????? ??????????? ? ?????? ???????? ??????????? ????? ? ??????. ???????????? ?????? ???????????? ??????? ???????????????? ??????????, ????? ??? ????? ?????? ?????????????? ???????????? ??????????????.

?????????? ????????????? ????????? ????? ????. ????? ???????? ????????????? ????????. ??????????? ?????? ??????? ?????? ??? ?????????? ?????????. ???????????? ??????????? ???????????? ????????? ? ??????? ???????????? ??????????. ????????? ????????? ??????????????? ??????????? ????????.

?????????? ??????????? ???????, ????????????? ??????????? ????????. ??????????? ??????????? ??????, ?????????????? ???????, ???????????? ??????????????? ????? ?????????? ??????????? ????????????? ?????????????.

????????????? ??????: ???????????, ?????, ????????? ? ?????????

????????????? ?????? ?????????? ???????? ??????????? ????????? ????. ???? ????????? ????????? ???????? ????????, ?????? ?? ??????? ?????????? ?? ??????????????? ??????? ???????????. ???? ????????? ????????? ??????? ???????? ???????.

????? ????????? ??? ???????? ???????????. ? ???????? ????? ??????????? ??????????? ????????, ??????? ????????? ??????? ??????????? ??? ??????? ??????. ???????? ??????????? ??????????????? ????????.

????? ????? ???????? ? ??????? ?????????. ??? ???????? ?????????????? ??????? ????????? ? ?????????????? ?????????. ??????? ????????? ?????? ???????????? ? ??????????, ??? ?????????? ??????? ??? ??????? ????????? ????????. ??? ?????????? ???????? ????? 777 ?? ?????? ?? ?????????????? ??????? ????????.

????????? ??????? ????????????? ? ???? ????????. ????? ???????? ??????? ????????????, ?????? ??????? ????? ???????? ? ????????? ???????????. ?????? ??????????? ????????????? ?????? ???????? ?????? ??????.

??????????? ????????? ????: ????, ????? ? ???? ?????????

??????????? ????????? ???? ?????????? ?????? ?????????? ???????? ? ?????? ????? ????. ?????? ??????????? ?? ????????? ?????. ????????? ???? ????????? ??????, ??????? ???? ?????????????? ??????????, ?????????????? ???? ?????????? ?????.

????? ????? ????????? ??????????? ???????? ?? ???? ? ????. ?????? ????? ???????? ??????? ?????????????, ??????? ?????????????? ?? ???? ????????. ?????????? ?????????? ???????????? ?? ????????? ???????????? ???????????.

???????????? ????????? ????????????? ??????????:

• ????????????????? ???????? — ??????? ????? ?? ????? ? ??????
• ???????????? — ???????? ?????????? ????? ??? ??????? ???????????????????
• ?????????? — ????????????? ?? ??????? ???????
• ?????????-???????? — ????????? ?????? ?????????? ??? ?????????????

?????? ????????? ??????? ?? ???????????? ??????. ??????? ???? ????????????? ????????? ? ?????????? ??????????????? ?????????. ?????? ????????? azino ??????? ?????? ?????????? ???????????? ? ??????????????????.

??????? ?????????: ????? ??? ????? ? ??? ????????

??????? ????????? ?????????????? ?????????? ???? ???????? ??????? ? ???????? ???????. ??? ???? ??????? ????????? ???? ???????????? ?? ??? ?????? ????????. ????? ????????? ?????? ????????? ???????? ???????, ??? ?????? ??????????? ???????.

???????? ???????? ????????? ????????? ???????????? ??????? ????????. ???????? ????????????? ???????? ? ???????? ?? ???? ?? ??????? ??? ???????? ??????????. ??????????????? ??????? ?????? ?????????? ?? ????? ??????? ?? ???? ???????.

??????? ReLU ???????? ????????? ????????? ? ?????????? ???????? ??? ???????????. ??????????? ???????? ??????? ReLU ?????????? ??????? ??? ???????? ?????. ??????????? Leaky ReLU ? ELU ?????? ?????? ??????????? ?????????.

Softmax ????????????? ? ???????? ???? ??? ??????????????? ?????????????. ???????? ??????????? ?????? ???????? ? ????????????? ????????????. ??????????? ???????? ????????? ???????????? ?? ???? ???????? ? ???????? ???????????????? ????? ??????.

???????? ? ????????: ???????????, ???????? ? ?????????? ????????

???????? ? ???????? ????????? ??????????? ????????, ??? ??????? ???????? ???????? ?????? ?????????. ?????? ?????????? ?????, ????? ?????? ??????? ??????????? ????? ????????????? ? ???????? ?????????. ??? ?????????? ???????????? ???????? ??????.

?????? ???????? ??????????? ? ???????? ?????? ??????? ????????? ??????????. ???????? ????????? ???? ??????????? ????????? ??????? ??????????. ??????? ??????? ? ??????????????? ???????, ??????????? ??????????? ?? ?????? ????????.

?????? ????????? ???????? ????????? ????????? ??? ???? ????? ????. ???????? ???????????? ? ??????????????? ???? ? ???????? ? ??????????. ?? ?????? ???? ??????????????? ????? ??????? ????????? ? ???????? ??????.

???????? ???????? ???????????? ???????? ????????? ?????????? ?? ?????? ????. ??????? ???????????? ???????? ???????? ? ??????????????, ??????? ?????? ??????? ??????????. ?????? ???????? Adam ? RMSprop ????????????? ??????????? ???? ??? ??????? ????. ?????? ????????? ???? ???????? azino ?????????? ???????????????? ???????? ??????.

???????????? ? ?????????????: ??? ???????? “??????????” ????????

???????????? ??????????, ????? ???????? ??????? ??????? ?????????????? ??? ????????????? ????????. ?????? ????????? ????????????? ??????? ?????? ??????????? ?????????? ????????????. ?? ?????? ?????? ????? ??????? ????? ?????? ????????.

????????????? ???????? ???????????? ??????? ??? ?????????????? ????????????. L1-????????????? ????????? ? ??????? ?????? ???? ????????? ?????????? ?????????????. L2-????????????? ????????????? ???? ????????? ?????. ??? ??????? ???????????? ??????? ?? ???????????? ??????? ?????????.

Dropout ????????? ??????? ????????? ?????? ???????? ?? ??????? ????????. ????? ?????????? ??????? ????????? ?????????? ????? ????? ??????????. ?????? ???????? ??????? ?????? ???????????????? ?????????, ??? ??????????? ??????????.

????????? ????????? ?????????? ???????? ??? ????????? ?????? ?? ??????????? ???????. ??????????? ?????? ????????????? ?????? ???????????? ????????? ????????????. ?????????? ?????????? ?????????????? ???????? ????? ?????????????? ?????????. ???????????? ??????? ????????????? ???? ???????? ?????????????????? ??????????? ????? 777.

???????? ???? ?????: ????????????, ??????????, ????????????

?????? ????????? ????????? ????? ????????????? ?? ?????????? ????????????? ????? ????????. ????? ????????????? ???? ??????? ?? ????????? ??????? ?????????? ? ?????????? ??????.

??????? ???? ????????? ????? ????????:

• ???????????? ???? — ?????? ?????? ?????? ?? ????? ????????? ???????????? ????, ??????????? ??? ????????????????? ????????
• ?????????? ???? — ????????? ???????? ??????? ??? ??????????? ???????, ?????????????? ???????? ??????????? ????????
• ???????????? ???? — ???????? ?????????? ?????????? ??? ??????? ?????, ?????????? ?????? ? ??????? ?????????
• ??????????????? — ???????? ?????????? ? ??????? ??????????? ? ??????????????? ???????????? ??????????

???????????? ???????????? ????????? ????????????? ????? ?????. ?????????? ???? ??????? ??????????? ? ???????? ????????? sharing ?????. ???????????? ????????? ?????????????? ????????? ? ????????? ????. ???????????? ????????? ???????????? ???????????? ? ??????? ??????? ?????. ????????? ???????????? ??????????? ?????? ????????? ????? azino.

?????? ??? ????????: ??????????, ???????????? ? ????????? ?? ???????

??????? ???????? ????? ????????????? ????????????? ???????? ????????? ????. ????????? ???????? ??????? ?? ????????, ?????????? ??????????? ??????? ? ?????????? ??????????. ???????????? ?????????? ???????? ? ???????? ???????.

???????????? ???????? ?????????????? ? ?????? ???????. ????????????? ??????? ?????????? ??????? ??????? ??? ??????????? ??????????. ??????????? ???????????? ????????????? ????????? ? ??????? ?? ???? ?? ???????. ?????????????? ??????? ?????????? ?????????? ????????.

???????? ?????????????? ?? ??? ??????. ????????????? ????? ??????????? ??? ?????????? ?????????????. ??????????? ??????????? ????????? ?????????????? ? ?????????? ????????????. ??????????? ????????? ????????? ?????????????????? ?? ????????? ??????????.

???????????????? ????????? ????????? ????????? ????????? ?? ????????, ?????????? ?? ???????? ? ?????????? ?? ????????. ?????-????????? ???????????? ???????? ?? ????????? ?????????? ??? ?????? ????????. ???????????? ??????? ????????????? ????? ?????????. ?????????? ????????????? ?????? ?????????? ??? ????????????? ???????? ????? ??????.

???????????? ?????????: ?? ??????????? ???? ?? ??????????? ??????????

????????? ???? ????????????? ? ??????? ??????? ???????? ???????. ???????? ??????? ??????????? ?????????? ????????? ??? ????????? ???????? ?? ????????????. ????????? ?????? ?????????????? ???? ? ??????? ????????? ???????. ????????? ??????????? ??????????? ?????? ??? ?????????? ????????.

?????? ????????????? ????? ???? ??????? ???-????, ??????????? ? ????????? ???????????? ???????????. ??????? ?????? ?????????????? ???? ? ?????????? ???????. ???????????????? ?????? ????????????? ????? ?? ???? ??????? ????????.

????????? ??????? ?????????? ????? ??????????. ???????????-?????????????? ???? ??????? ??????????? ??????????. ???????????? ??????????????? ??????? ???????? ????????? ?????????. ??????????????? ??????? ?????????? ?????????, ?????????? ???????????? ????????.

?????????? ???????????? ???????? ????????????? ????????? ??? ?????????????. ????????????? ????????? ????????? ???????? ????????? ? ???????? ????????? ??????. ?????????????? ??????? ???????????? ??????? ? ???????????? ????????????? ???????????? ? ??????? ????? 777.