??? ????? data science ? ??? ????????????? ????????? ??????

Data science ???????????? ????? ????????????????? ??????? ???????????, ??????? ??????????? ??????????, ??????????, ???????????????? ? ?????????? ??????????. ????????????? ???????? ?????? ??????? ?? ???????????? ??????? ??????????, ?????????? ??????? ??????? ? ?????????. ??????????? ?????????? ?????????? ??????? ??? ????????? ?????????? ??????? ? ????????????????? ?????????.

????????? ?????? ???????? ? ?????????? ??????????? ??????????: ?????? ??????, ?????? ????????, ??????? ???????. ????????????? ??????????? ????????? ??????, ????????? ?? ?? ???????????, ????? ????????? ?????????????? ??????? ??? ??????????? ???????????????. ??????? ???????????? ???????????? ???????, ??????????? ????????????? ? ?????????? ???????.

???????? pin up ????????????? ?? ???????????? ?????? ??????? ???????????????? Python ??? R, ?????? SQL ??? ???????????? ? ??????????? ??????. ??????????? ????????? ???????????? ??????, ????????? ???????, ?????????? ???????? ? ????????? ????????. ????? ????????? ???????????? ??????? ?????????? ??????? ? ???????? ???????? ???????.

?????? ????? ???????????? ? ?????????????? ??????? ??? ???????????. ????? ????????? ????????? ??? ?????? ??????, ????????? ???????????? ???????????, ???????? ????????? ????????? ???????????? ????????? ???????.

????? data science ? ??? ??????

??????? ????? ? ?????? ????????? ??? ????????????: ?????????????? ??????????, ?????????????? ????? ? ????????? ?????????? ???????. ?????????? ???????????? ???????????? ???????? ? ??????? ????????. ???????????????? ????????????? ????????????? ??????? ???????????? ?????????. ?????? ? ?????????? ??????? ??????????? ????? ?????????? ?????.

???????? ??????? ????????? ??????? ? ?????????????? ????? ???????? ? ?????????? ????????????. ????????? ?????? ??????? ??? ????????? ????????????? ?????????, ????????????? ???????????? ??????, ??????????????? ??????? ?? ?????????. ??????????? ???????? ?????????????? ?????????? ??? ??????????? ????? ?? ????????? ???????????.

???????????? ?????? ??? ?? ???????? ??????? ?????? ????. ???????????????? ??????? ???????? ???????? ?? ???? ???????????? ?????????????. ????????? ?????????????? ?????? ????????? ?????????? ??? ????????? ?????????????? ????????????. ????????? ??????? ????????????? ????? ???????? ?????????? ?? ????????? ??????????.

????????????? ????????? ???????? ??????????? ???????. ???????????? ????? ????????? ??? ?? ?????? ??? ???????????? ??????????? ????????? ???????????????. ???????????? ??????????? ????????????? ????????????? ? ??????????. ??????????? ????????????? ??????????? ?????? ??????????? ???????? ? ?????????? ??????? ?????.

???????? ????????? ?????? ? ???????????

???????? ?????? ????????? ?????? ?????????? ????? ????? ???????????? ?????????? ? ??????-???????????????. ???????????? ????????? ??????? ??????????? ?? ???? ????? ??? ?????????????. ?????????? ?????????? ?????????? ? ????????? ??????, ?????????? ??????????? ?????? ? ????????? ??????????.

?? ???? ???????????? ?????????? ????????? ???????????? ? ??????? ?????????? ??? ?????????? ???????? ????????. ?????????? ????????????? ??????????? ???????, ???????? ?????????? ?????????????? ???????. ??????? ????????? ? ???????? ???????? ?????????? ?????????? ? ??????? ??? ????????? ???????.

? ???? ?????????? ?????????? ???????????? ?????? ??????????, ?????????? ????????????? ?????? ? ?????????????? ?? ????????? ????????. ???????????? ??????????? ???????? ????????? ??????, ???????????? ???????????? ????????????? ???????. ?????????? ? ????? pin up ????????? ???????? ? ?????????? ?????????? ?????????? ?? ????????????? ???????.

???????? ???? ???????? ????????? ??????????? ??? ???????????????? ?????????. ?????????? ????????? ??????????? ? ?????????, ??????????? ??????????? ?????? ??? ??????? ?????????. ??????? ?????????? ?????????? ??????????? ?? ????????? ???????. ?????????? ????????? ? ???????? ?????????????? ?????????? ???????????.

????????? ? ??????? ??????

?????????? ????????? ???????????? ???????? ?? ????????? ??????????. ?????????? ??????? ????????? ?????????????? ?????? ? ???????????, ????????? ????????, ???????? ?????????. ???-????????? ?????????? ????????? ??????????? ????????: ???????? ???????, ?????, ????????????????? ??????. ????????? ?????????? ??????????? ???????? ????????????? ? ??????????????.

????????? ????????? ????????????? ?????????? ???????? ??? ????????. ?????????? ???? ???????? ???????? ???????????? ? ????????. ???????? ??????????????? ???? ??????????? ?????????? ?? ????????? ? ??????????. ???????????? ????????? ??????? ??????????? ? ???????? ???????????? ????????.

?? ??????????? ???????? ??????????????, ????????????????????? ? ???????????????? ??????. ????????????????? ?????????? ?????????? ? ??????????? ?????????? ? ???????????? ???????????? ??????. ????????????????????? ???? ???????? JSON ? XML ?????. ???????????????? ?????? ?????????? ???????????, ????????????, ?????, ?????????????.

????????????? ???????? ? ????????? ? ??????????????? ????????? ??????????. ???????? ???????? ???????????? ???????: ??????? ??????????, ???????? ????????????, ????????????? ????????. ?????????????? ???????? ?????????? ??????: ??? ???????, ??????? ????????. ????????? ???? ???????????? ????????? ??????????? ? ????? ??? ?? ?? ?????????? ??????????? ???????.

?????? ????????? ? ??????? ??????????

????????? ????????? ?????? ?????????? ? ????????? ? ?????????? ???????? ???????. ????????????? ??????????? ????????? ????????????? ??? ??????????? ????????????? ??????? ? ????????. ???????? ????????? ?????? ????????? ? ????????????? ???????? ??????????? ?????? ? ?????? ????????????? ?????????.

????????? ????????????? ?????????? ???????????? ?????????? ???????? ???????? ?? ???????????. ???????? ?????????? ??????? ????????? ??? ??????????? ?????????: ??????????? ????????, ??????? ??? ???????? ????????????????? ????????. ????????????? ??????????? ????????????? ?????? ??? ???????????? ????????????? ?????????? ?? ?????? ?????? ??????????. ? ???????????? ??????? ???????? ? ???????? ????????????? ???????.

??????????? ???????? ? ???????? ???????? ???????????? ?? ????????? ??????. ??????????? ??????????? ?????????????? ???????: ?????????????? ????????, Z-??????, ???????? ???????????? ????. ??????????? ? ????? ??? ?? ?????? ????????, ???????? ?? ??????? ???????? ?????? ??? ???????????? ???????? ??????????, ?????????? ?????????? ????????.

???????????? ? ?????????????? ??????????? ???????? ? ??????? ?????????. ???????? ??????????? ????????? ???????? ? ??????? ????????, ??????????? ???? ??? ? ??????????????. ?????????????? ?????????????? ????????????? ? ??????????? ?????????? ??? ?????????? ???????????? ?????????? ??????????????? ????????. ???????????? ????????? ????????????? ????????? ?????????? ????? one-hot encoding ??? label encoding.

???????? ?????????? ? ???????? ???????

??????????? ?????? ?????????? ?????? ????? ????????? ???? ???????????? ????????. ??????????? ???????????? ????????????? ??????????: ???????, ???????, ??????????? ???????. ???????? ????????? ??????????? ????????????? ?????????, ??????? ????????? ??? ??????????? ??????????. ??????????? ??????????? ?????????????? ??????? ??? ?????????? ????????????.

???????????? ?????????? ?????????? ???????? ? ?????? ???????????????? ??????. ??? ????? ????????? ???????????? ???????? ?????????, ??????? ???????, ??????????? ???????. ???????? ????????????? ???????? ? ?????????????? ????????????? ?????????, ?????????? ????, ????????? ?????. ??????????? ????? ?????????? ?? ????????? ? ???????? ??????.

?????????? ?????? ???????? ????? ????????? ???????? ??????. ??????????? ????????? ???????????? ???????? ??? ??????????? ???????????? ???????. ??????????? ???????????? ?????????????? ????? grid search. ????????????? ????????? ?????? pin up ??? ????????? ????????????: ?????????????, dropout, early stopping.

????????? ???????? ?????? ???????????? ? ??????? ???????????, ??????????????? ???? ????????. ??? ????????? ?????????????? ??????? ?????????? ??????????? ? ??????????? ????????????. ????????????????? ????????? ?????????? ????? ????????, ???????, F1-????. ???????? ?????????????? ?????????? ????????????? ??? ????????? ??????, ?????????????? ?? ????????????.

??????????? ? ??????? data science

Python ??????????? ???????? ?????????????? ?????? ???????????????? ??? ??????? ??????. ?????????? Pandas ??????????? ?????????? ???????????? ? ?????????? ????????? ? ?????????? ???????. NumPy ???? ??????? ??? ?????????????? ???????? ? ???????????? ???????????. Scikit-learn ???????? ??????? ????????????? ?????????? ??????????????? ???????? ??? ?????????????, ?????????, ???????????.

???? R ??????? ??????????? ? ?????????????? ???????????? ? ????????????? ??????????. ???????? ????????? ?????? dplyr ??? ???????? ? ???????, ggplot2 ??? ?????????? ????????????. ????????????? ???????? R ??? ??????? ?????????????? ?????? ? ?????????????????? ???????.

SQL ?????? ?????????? ??? ?????????????? ? ???????????? ??????????? ??????????. ????????? ???????? ?????????? ?? ????????, ???????????? ???????????? ? ??????? ??????. ??????????? ?????????? ??????? ??? ?????? ????? ? ??????????? ????????. ?????????? ????????? ???????????? ??????? ??????????? ? ??????? ??? ?? ??? ?????????? ??????? ???????.

??????? ??? ?????????????? ? ???????? ??????????? ?????????? Apache Spark, Hadoop, Apache Flink. ???????? ?????????????? ???????? ??????????? ????????? ???????? ?? ??????? ????????. ???????? ??????? AWS, Google Cloud, Azure ???????????? ??????? ???????????. Jupyter Notebook ????????? ????????????? ????????? ??? ????????????? ? ??????????? ? ???????? ????????.

????????????? ??????????? ? ??????

????????????? ?????? ??????????? ??????? ???????? ?????? ? ????? ??????????? ?????. ????????? ???????? ?????? ??????? ? ??????????? ?? ???? ?????? ? ????? ???????. ?????????? ????????? ???????????? ?????????, ???????? ??????? ????????????? ???????? ????????. ???????? ????????? ????????????? ??????????? ??????, ???????? ????? ????????????? ????????? ?????????????.

????????????? ?????? ????????????? ??????? ?????? ? ??????? ??????????? ???????????. ??????????? ????????????? ???????? ? ????????? ??? ?????????? ??????? ????????. ????????????? ??????????? ???????? Tableau, Power BI, Plotly ??? ???????????? ???????????? ???????. ???????????? ??????????? ??????? ?????? ? ???????? ????????????? ? ?????? ????????? ???????.

???????? ????????????? ??????? ????????? ??????????????? ????????????? ?????? ????????. ???????? ???????? ???????? ??????-??????, ???????? ????????????, ?????? ? ???????. ????????????? ?????????? ??????? ??????????? ??? ??????? ?????????. ??????????????? ????????? ???????? ????????? ????????? ?????????? ? ??????????? ???????? ? ??????? ??? ?? ?????? ??? ?????? ??????????.

???????????? ?????? ???????????????? ????????? ????????? ????????????? ??????. ????????????? ??????? ?????????? ????????? ? ???????? ?? ???????????? ?????????? ??????. ???????? ??????????? ???????????? ???? ??? ?????????? ??????? ? ??????-????????.