?????? ???????? ??? ?????????????? ? ??
??? ???? ???????? ?? ? ???????? ????? ??????? ??? ????????
??? ?????? ??? ???? ????? ???ificial??? ????????? (??) ????????????? ???-?? ?? ???-???. ? ????????? ????? ?? ?????? ???????? ????? ? ????????? ????? ???????????? ?????????? ? ?????????? ?????: ?? ????? ?????????? ?? ????????? ?? ????????????? ???????????????? ?????????. ????? ?? ?????? ????????? ?? ???? ????????? ?? ???????, ? ????? ??? ??????, ????? ?????, ????? ??????????? ????????? ?????? ??????????????? ? ?? ??????????? ??????????. ? ?????? ?????? ?? ?????????????? ????? ?????????? ? ?????????????? ???????, ??????? ????? ??????? ??? ??????????, ??? ? ????????????????? ????????? ? ???? ????????? ????????.
??? ??????????????? ??? ????????????? ??? ?????????????? ???????????
??? ???????????????? ??? ?????? ? ????????????? ??????????? ??????? ??????? ??????????? ?????????, ??????????, ??????? ? ??????????, ??????? ???????????? ??????????? ?????????????, ???????, ??????????? ? ???????? ?????? ????????? ????????. ??? ????? ???? ?????? ?????? ????????, ????? ????? ??? ????????-???????? ??????? ? ?????????? ???????????????? API, ??? ? ????? ???????, ??????? ???????????? ????? ???????? ?????????? ??? ??????????????? ??????????.
???????? ????????? ????????????:
- ?????????? ????????? ???????? — ?????????? ??? ???????? ????????? ?????.
- ???????? ????????? — ?????? ??? ?????? ??????????? ?? ??? ???????? ????????? ??????.
- ??????????? ?????????? — ??????????? ??? ???????????? ???????? ? ?????????? ???????? ??? ????????????????.
- ????????? ??? ??????????? ?????? — ?????? ? ?????? ??? ?????????? ?????????.
- ??????????? ??????????????????? ???????? ML-????????? — AutoML-???????.
?????? ?? ???? ????? ?????? ???? ???????? ? ????????????? ???????????? ????? ?????????????.
??????????? ?????????? ??????????: ?????? ??????????? ??-??????
TensorFlow: ????? ??????????????
???? ?? ???????????? ??????????? — TensorFlow, ????????? Google Brain. ? ??????? ?????? ?????? ? 2015 ???? ?? ???????? ??-????? ?????????? ? ??????? ????????? ????? ??????????????? ? ????????????? ????????? ????? ?????: ?? ????????????? ??????? ?? ????????, ????? ??? ?????? ??????, ??? ????????? ????????????? ?????.
???????????? TensorFlow:
- ????????????? Python, ?? ???? ????, ??????????? ? ?????? ??????.
- ?????? ????????? ???????????? (TensorBoard).
- ?????????? ???????????: ????? ???????????? ??? ?? ???????, ??? ? ?? ???????? GPU.
- ???????? ????????? ? ???????? ?????????? ??????? ??????? (????????, TensorFlow Hub).
?????? ??????????: ?????????? ??????? ????????????? ?? ???? ?????????? ???? MNIST ? ??????? ????????? ?????? ???????? ????? ????????? ???????? ????? ???? ?? Python.
PyTorch: ??????? ??????
???? ????????? ? ???????????????? ????? ??????? ????? ? ?????????, ?? ??? ???????? PyTorch, ????????? Facebook AI Research. ????? ?????? ????????????, ????? ??? ??????, ?? ?????????? ?????????? ???????? ??????????? ? ???????????? ?????????????? ??????.
???????? ?????????????? PyTorch:
- ???????? ??????? ????????? ??????????????? ???????? ????? ?????????.
- ?????????? ?????????? ????????????? ?? ????? ????.
- ??????? ?????? ??????? ??? NLP (Natural Language Processing) ????? ??????? HuggingFace Transformers.
- ????????? CUDA ?? ?????????.
PyTorch ???????????? ??????? ??? ???????????????? ????? ???????? — ?????? ????????????? ?????? ??????????? ????? ?????? ?? ???? ???????.
Keras: ?????? ????? ??? ?????????
??? ?????????, ??? ?????? ????????? ???? ??????????? ? ????????????? ?????????? ??? ?????? ?????? ?????????????? ?????? ??? ???????? ? ??????????? ??????, ???????? ???????? Keras. ??? ??????? ??????? ??? TensorFlow ????????? ??????? ????????????? ????????? ???? ????????? «?? ???????».
??? ????????? Keras:
- ??????? ?????????.
- ??????? ?????????? ???????????? ????????.
- ?????? ??????????? ? TensorFlow Extended (TFX) ??? ????????-?????.
?? ????? ????? ?? 60 ????? ??????? ???? ????????? ?????? ????????????? ??????????? ??? ????????.
???????? ?????????: ????? ????? ???????? ?????????????
??????? ??? ????????????? ??????? ??????????? ?????? ??? ???????? ??????? ????????? GPU — ???????? ?????????, ????? ??? ?????? ??????, ????????? ?????????? ??????????? ??-?????? ?? ????????? ??????.
Google Cloud Artificial Intelligence Framework
????????? Google ???????????? ??????? ??????????? ???????: ?? AutoML ?? Vertex AI. ??? ????? ????? ?????????????? ?????? ?? ?????? ?????????? ??? ????????? ???????????? ???????? Google Vision API, Natural Language API ? ??????.
????: ????? ??????.?????? ??????????? Google Cloud Vision API ??? ???????? ?????????? ??????? ?? ???????.
Microsoft Azure Machine Training
Azure ML — ??? ?????????? ?? Microsoft ? ?????????? Jupyter Notebook ????? ? ????????-????????????. ??? ???? ??????????? ????????? ???????????? ? ?????????? AutoML ??? ????????????? ????????? MLOps ??? ?????????? ???????????? ????????.
????? Azure ML:
- ?????????? ? Power BI ??? ???????????? ??????.
- ?????? ???????????? ????????? ????????? (CPU/GPU/TPU).
- ???????? ??????? ??????????? ???????.
Yandex DataSphere
?????????? ?????? ??????????? ???????? — Yandex DataSphere. ????????? ????????????? ?? ????????????? ?????????????: ???????????? ?????????????? ? ???????? ??????????, ????????????? GPU ?? ?????????? ? ????????????? ? ??????????? ??????? (DataLens, Object Storage).
?????????? ??????: DataSphere ??????? ???????????? ??????????? ???????? ??????????? ??? ???????? ????????? ??????????? ??????? ??????? ??????.
?????????? ?????????: ???? ???????????????? ?? ?????
?? ?????? ????? ????????? ??? ??? ??????????? ? ??????? ??????????? ??????????. ??? ??????????? ?????, ????????, ??????, ????????? ?????????? ????????? ?????????? ???????? ?????????????? ??????????.
KNIME Data Analysis Platform
KNIME — ?????????? open-source ????????? ??????? ?????? ? ???????? ???????????? ?????????? ?????????? ??????????? ??????????. ??? ???????????? ?????? ?????? ?? ?????? ?????????? (Excel, ???? ??????), ????????? ?????????, ????????? ??????? ?? ?????? ?????????????? ? ??????????.
??????????? KNIME:
- ???????? ????????? ???????.
- ?????????? ? Python/R/??????.
- ????? ?????????? ??????????? ????? ??????????.
KNIME ????????????? ????? ?????????????? ?? ????????????? ? ???????????????? ?? ???? ???????? ?????? ? ????????? ????????? ????????????????? ??????.
Amber Data Digging
Orange — ????? ??? ???? ????????? ?????????? ????????????? ????????? ????????. ?? ????? ???????? ????? ????????? ???????? ???????? ???????????? ??? ??????? ????????????????. ????? ????????? ??????? ??????? ????? ??????? ?????? ?????????? ??????: ????????? ???????? → ????????????? → ????????? ?????? → ??????????? ???????????.
???????? ???????: Orange ????? ?????????? ??? ???????? ? ?????????? ?? ???????????? ?????? ????? ???????? ?????? ????????? ????, ??? ?????? ?????? ???????????? ?????? ????? ?????.
??????????? ????????? ? ?????????? ??????????
????? ??? ??? ???????? ?????? ????????? ??? ??????????????? ????????? ??, ?? ????? ??????????? ???????????: ?????????? ?? ????? ? ?? ?????? ??????, ??????????? ??????, ?????????? ????????. ?? ???? ????? ???????????? ?????????? ?????? ?????????? ? ???????, ????? ??? ?????? ??????.
Pandas: ??????????????????? ??? ????????????
?????????? ?????? ?? Python ??? ????? ???????? ??-????? ????? ?????????? ?????? ?? ???? ????. ??? ???? ??????????? ???????? ? ?????????? ???? ??????????? ??? ?? ?????, ??? ? Excel ??? Google Sheets — ?????? ??????? ??????? ? ????? ?????!
??? ????????????? Pandas:
- ??????/??????? CSV-??????/??????? XLSX/??????? SQL/JSON-?????? ??????????;
- ??????? ?????????? ?????/????????.
- ????????????? ????????;
- ?????????? ?????????;
- ???????????? ???????? ?????? (??????? ???????).
?????? ????????? ??????????? ?????? ? Matplotlib ???? Seaborn ??? ????????????? ??????????????? ????????????? ????? ????????? ?? ???????.
OpenCV: ??????????? ???????? ?? ????
???? ???? ?????? ????????? ? ???????? ??????????? ??? ????? (????????, ????????????? ???), ??? ?????????? OpenCV — ?????? ?????????? ????????????? ??????. ??? ???????????? ??????? ?????????? ????????? ???????????: ?? ??????? ???????? ?? ??????????????? ???????? ???? YOLOv5 ??? SSD MobileNet.
OpenCV ??? ????? ?????????? ? ????????? TensorFlow / PyTorch ????? ??????? NumPy. ????????, ????????? ?????????? ???????? ????????? ?????? OpenCV + ?????? ? PyTorch ??? ?????????? ??????????? ?? ?????????????? ??? ???????????????? ????????????.
NLTK ?????????? & spaCy: ??????????? ????????? ??????
??? ????????? ? ???????? ???? ?????? ??? ??????? — ?????? NLP (Natural Language Processing). ????? ??? ?????????? NLTK (Natural Language Toolkit) ? spaCy:
NLTK is a powerful tool for handling text data. It supplies easy-to-use interfaces to over 50 language corpora and lexical databases.
- ????????? ???????? ??? ???????? ???????? ??????????? ???????????;
- ???????? ????????? ???????? ????????;
- ???? ??????????? ??????????? ????????? ?? ??????, ????????????????, ??????? ???????????.
spaCy
- ?????????????? ??? ???????? ?????? ????????? ??????;
- ??????? ????????????? ????????? ?????;
- ??????? ??????? ??????? ???????? ??????.
? ?? ??? ?????????? ????????? ?????????? ?????????? ??? ???????? ?????? ?????????? ???? ???????????? ?????? ?? ???????? ?????, ????????? ????? ??????, ??? ?????? ??????, ? ?????????? ?????.
????????????????? ????????? ???????? ????????: AutoML-??????? ?????????? ???????
? ?????????? ?????????????????? ?? ???????? ??????????? ???????? ??? ???????????? ???????? ??? ?????????? ?????????????????? ???????????? ?? data science. ?? ????????? ???????? ??????? AutoML (Automated Machine Learning), ??????? ????????????? ???????? ????????? ????????? ??????? ??? ???????????? ?????? ????????????.
Google Auto Machine Learning & Vertex AI
Google ????? ?? ?????? ??????????? ???????????? ?????? AutoML ??? ????????? ?????????? ??? ???? ?????. ??????? ?? ???????????? ? ??????? Vertex AI ? ????????? ??????? ??????? ????????????? ??????????/???????, ???? ??? ???????????????, ??? ?? ???????? ? Python!
????? ??????? ??? ????????:
- ?????????? ???? ???????? ????? ???-?????????;
- ?????????? ?????? (????????, ?????????? ???????);
- ??????? ??? ????????? ????????? ????????;
- ???????? ??????? ?????? ????? ? ??????? ?????????????!
???? ????????? ????? ?????? ???????? ????????? ???????? ?? ??? ?????????? ?????????? ???????????? ??????? ??????? ??? ????? ??????? ML-?????????.
H2O.ai Driverless AI
H2O.ai ???????? ?????? ? ???????? ???????? ????? ????????? ?? ??????????? ???????????? ??????? ?????? ??? ?? ?????? Hadoop-???????? ????????? ? ?????? 2010-? ?????. ?? ??????? Driverless AI ???? ??????????? ?? ?????? ???????? ????????? ????????? ??????????????????? ???????? ??? ?????? ??????? («???????????? ???????», «???????????? ?????? ????????»), ?? ???? ???????????? ???????????????? ??????? ? ???, ?????? ??????? ??????? ?? ??? ???? ???????!
???????????: Driverless AI ? ?????? ??????? ??????????? ??????????? ???????-?????????? ??? ?????? ? ?????????????? ????? ????????????? ????????? ??????????????? ????????? ????????????? ??????? ?????? (?????????? ??).
??????????? ???????????? ???????? ?? ???? ??
? ???????? ???? ????????? ????? ???????????? ????????????? ??????? ?????????????? ?????????? — ?? ????? ????????? ???? ????? GPT ??? Stable Diffusion ???????? ????????? ??????, ??????????? ???? ?????? ??????????? «? ????». ????? ????????? ??????????? ? ???? ????? ??????????? ??????
ChatGPT interface
API ?? OpenAI ????????????? ?????? ? ????? ????? ??????????? ???????? ??????? ?????? ??????? – GPT?4o (??? ?? ????????????). ? ??????? ???? ???????? ?????????????? ???????? ?????????? ??????????? ???????????? ????? ??? ?? ??????? ??????? ????????-????????, – ??? ??? ?????????????? ?? ?????????!
? ?? ?????? digital?????????? ?????????? ChatGPT API ??? ?????????? ???????? ??? ????????? ???????? ???? ???????? SEO????????? ?? e-commerce ?????? (? ?????? ??????????? ??? ??????? ????).
Midquest & Steady Diffusion WebUI
????????? ???????? ?????? ???????? ???????! Midjourney – ??? ?????? ?????? ????????? ???????? ?? ????????? ????????? («prompt’??»), ??????? ???????? ????????????? ????????? ???????? ???? ???????????? ????????; Consistent Diffusion ? ?????? ?????? – open-source????????????? c ?????? ??????? ????? ? ???? ???? ????? WebUI-????????? ???????????? ?? ??????????? ???????? Nvidia RTX 3060+.
?????????? ??????: ??????? ?? ?????-?????????? ????????????? ??????????? ? ????????? ????????????? ????????? ????? Stable Diffusion WebUI – ??????? ???????? ? ??????? ?????????????????? ????????????!
???????? ????? ?????????? ??????? ?? ? ?? ?? ??????????? ????
????? ???????? ???????? ???? ???? ??????? ?? ?????? «?? ??????», ??????? ?????????? ???????? ???????? ?????????? ?????????? ?????????????? ?????????? ? ??? ? ??????:
-
????????
???????? ???????? Vision API/Stable Diffusion ??? ??????????? ??????? ?? ???? ????????????; ??????????? ?????????? ????????? ? ?????????????? GPT?4o ????? OpenAI API; ?????? ??????? ?????????????? ? ??????? spaCy/NLTK; -
?????
??????????????? ??????? ?????? ??????? ????????? ???????????? ??????? ???????? ????????????????? ?????? ????? KNIME; ????????????? ???? ?????????? ???????? TensorFlow/PyTorch; -
???????
??????????? ?????????? ?????????? OpenCV/TensorFlow ??? ???????????? ??????????? ???; ????????? ????????????? ?????-?????????? ????????? ?????????????? ??????????? ?????? ???????; -
?????
????????? ?????????? H2O.ai Driverless AI ??? ?????? ? ??????; Azure ML ???????????? ??? ??????????????? ???????? ?????; -
??????????????? ???????
????????? ?????????????? ????????? ??????????? ????? ?????? SpeechKit; ?????? ??????? ????????? ?????? ??????????? ?????????? Pandas/OpenCV;
??? ??????? ??????????????? ??????????
??????????? ??????? ? ?? ?? ????? ??-?? ?????????? ??????:
-
???? ???????:
???? ?? ?????????? ?????????? ???????? ???? – ?????????? Keras/PyTorch + Colab/Jupyter; ? ??????, ???? ?????????? ?????????? ????????????? – ???????? ???????? ?? Vertex AI/Azure ML/Yandex DataSphere; -
?????? ?????????:
???, ??? ?????? ???????? ????? ?????????? ????????? ????????? ???????? ???? Orange/KNIME; ??????? ????????????? ???????? ?????? TensorFlow/PyTorch + ???????????? ????????; -
????????? ??????:
??? ??????? ?????? ??????????? spaCy/NLTK/HuggingFace ????????????; ??? ??????????? – OpenCV/TensorFlow/PyTorch; ???? ?????? ????????????? – ??????????? ChatGPT/Midjourney/Stable Diffusion; -
???????
????????? ?????? ?????; ???-???????? ????????? ??????????? ????? ?? ?????????/??????????;
?????????? ???????????? ???, ???-?? ?????? ????????? ??????????? ? ????? ??.
???? ? ?? ???????? ???????????? ???? ???? ?? ?? ?? ???? ?? ?????????? ??????? ?????? ??????! ??? ????????? ??????????? ?????????? ???????:
- ?? ????????? ??????????. ?????? ? ?????? ???? ????? ?? ??????? ??????????? – ?? ???????? ????????? ???????? ?????? ? ????????? ???????.
- ??????????? ????????????? ???????. ?????? ???????? ????????? ????????????? ??????????????? ??????? ?????????? ???????? – ???????? ??? ?????? ?????????!
- ?????????????? ???????????. ??????????? ??????????? ???????? ??????????? ????????????? ?? ??????? – ???????? ?????!
- ???????????? c ??????????. ??????? ?????? («????», ????????-????) ????????? ????????????, ???????? ?????????? ?????????? ??? ?????????? ??????!
- ??????? ?? ????????????. ??????? ?????????????? ?????????? ?????????? ????? ?????????? – ?????????? ???????? ?? ???????????? ???????? ???????? ????????!
?????? ?? ???????????? ???????????????? ????????? ?????? ????????????? ???????????? ??????? ??????????? ????, ??? ????????? ????????? ?????, ?????????? ?? ???????? ? ?????????! ????? ?????? – ????????? ??????????????? ???????? ?????????? ? ???????????? ? ???? ??????… ? ??? ????????? ?????? ?????? ? ?????????!