@tom_doerr：包含 Kaggle 竞赛的开放机器学习课程 https://github.com/Yorko/mlcourse.ai…

带有 Kaggle 竞赛的开放机器学习课程 https://t.co/Bha4XpiOHq https://t.co/0ON2xvr4sU — # Yorko/mlcourse.ai 来源：https://github.com/Yorko/mlcourse.ai ODS 贴纸 mlcourse.ai (https://mlcourse.ai) – 开放机器学习课程 许可证：CC BY-NC-SA 4.0 (https://creativecommons.org/licenses/by-nc-sa/4.0/) 捐赠 (https://www.patreon.com/ods_mlcourse) 捐赠 (https://ko-fi.com/mlcourse_ai) mlcourse.ai (https://mlcourse.ai) 是由 OpenDataScience (ods.ai) (https://ods.ai/) 提供的开放机器学习课程，由 Yury Kashnitsky (yorko) (https://yorko.github.io/) 领导，他目前是 Google Cloud 的高级生成式 AI 专家。Yury 拥有应用数学博士学位和 Kaggle 竞赛大师级头衔，他的目标是设计一门理论与实践完美平衡的机器学习课程。因此，课程在讲座中包含数学公式，并通过作业和 Kaggle Inclass 竞赛提供大量实践机会。目前，课程处于 自主节奏模式。在这里，我们将引导您完成自主节奏的 mlcourse.ai (https://mlcourse.ai)。 ### 额外作业 此外，您可以购买 额外作业包，其中包含 mlcourse.ai (https://mlcourse.ai/) 作业的最佳非演示版本。在 Patreon 上选择“额外作业”层级 (https://www.patreon.com/ods_mlcourse)，或在 Boosty (俄语) 上选择类似的层级 (https://boosty.to/ods_mlcourse/purchase/1142055?ssource=DIRECT&share=subscription_link)。交易详情 mlcourse.ai 目前仍处于自主节奏模式，但我们提供带有解答的额外作业，贡献金额为 $17/月。其理念是，您可以在学习课程材料期间支付约 1-5 个月的费用，但单次贡献也是可以接受的，并将为您开通额外作业包的访问权限。注意：加入 Patreon 层级时收取首笔费用，下月 1 日收取下一笔费用，因此最好在月上半月购买额外作业包。mlcourse.ai 永远不会完全商业化（它是在精彩的开放社区 ODS.ai 中创建的，并将保持开放和免费），但它有助于覆盖一些运营成本，而且 Yury 也投入了大量精力将所有最佳作业汇编成一个包。请注意，与课程的其余内容不同，额外作业受版权保护。非正式地说，如果您与 2-3 位朋友分享此包，Yury 并不介意，但禁止公开分享额外作业包。额外作业包包含 10 个作业，在某些作业中，您需要在详细指导下击败 Kaggle 竞赛的基线（“Alice” (https://mlcourse.ai/book/topic04/bonus_assignment04_alice_baselines.html) 和 “Medium” (https://mlcourse.ai/book/topic06/bonus_assignment06.html)），或从头实现算法——高效的随机梯度下降分类器 (https://mlcourse.ai/book/topic08/bonus_assignment08.html) 和梯度提升 (https://mlcourse.ai/book/topic10/bonus_assignment10.html)。 ### 自主节奏通关 我们将引导您完成为期 10 周的 mlcourse.ai (https://mlcourse.ai) 课程。对于每一周，从 Pandas 到梯度提升，都会提供关于阅读哪些文章、观看哪些讲座以及完成哪些作业的说明。 ### 文章 这是在 medium.com :uk: (https://medium.com/open-machine-learning-course) 和 habr.com :ru: (https://habr.com/company/ods/blog/344044/) 上发布的文章列表。还提到了中文笔记本 :cn:，并提供了链接到 Kaggle 笔记本（英语）。图标可点击。 1. 使用 Pandas 进行探索性数据分析 :uk: (https://mlcourse.ai/book/topic01/topic01_pandas_data_analysis.html) :ru: (https://habrahabr.ru/company/ods/blog/322626/) :cn: (https://nbviewer.jupyter.org/github/Yorko/mlcourse.ai/blob/main/jupyter_chinese/topic01-%E4%BD%BF%E7%94%A8-Pandas-%E8%BF%9B%E8%A1%8C%E6%95%B0%E6%8D%AE%E6%8E%A2%E7%B4%A2.ipynb), Kaggle Notebook (https://www.kaggle.com/kashnitsky/topic-1-exploratory-data-analysis-with-pandas) 2. 使用 Python 进行可视化数据分析 :uk: (https://mlcourse.ai/book/topic02/topic02_visual_data_analysis.html) :ru: (https://habrahabr.ru/company/ods/blog/323210/) :cn: (http://nbviewer.ipython.org/urls/raw.github.com/Yorko/mlcourse.ai/main/jupyter_chinese/topic02-Python-%E6%95%B0%E6%8D%AE%E5%8F%AF%E8%A7%86%E5%8C%96%E5%88%86%E6%9E%90.ipynb), Kaggle Notebooks: 第 1 部分 (https://www.kaggle.com/kashnitsky/topic-2-visual-data-analysis-in-python)，第 2 部分 (https://www.kaggle.com/kashnitsky/topic-2-part-2-seaborn-and-plotly) 3. 分类、决策树和 k 近邻 :uk: (https://mlcourse.ai/book/topic03/topic03_decision_trees_kNN.html) :ru: (https://habrahabr.ru/company/ods/blog/322534/) :cn: (https://nbviewer.jupyter.org/github/Yorko/mlcourse.ai/blob/main/jupyter_chinese/topic03-%E5%86%B3%E7%AD%96%E6%A0%91%E5%92%8C-K-%E8%BF%91%E9%82%BB%E5%88%86%E7%B1%BB.ipynb), Kaggle Notebook (https://www.kaggle.com/kashnitsky/topic-3-decision-trees-and-knn) 4. 线性分类和回归 :uk: (https://mlcourse.ai/book/topic04/topic4_linear_models_part1_mse_likelihood_bias_variance.html) :ru: (https://habrahabr.ru/company/ods/blog/323890/) :cn: (http://nbviewer.ipython.org/urls/raw.github.com/Yorko/mlcourse.ai/main/jupyter_chinese/topic04-%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92%E5%92%8C%E7%BA%BF%E6%80%A7%E5%88%86%E7%B1%BB%E5%99%A8.ipynb), Kaggle Notebooks: 第 1 部分 (https://www.kaggle.com/kashnitsky/topic-4-linear-models-part-1-ols)，第 2 部分 (https://www.kaggle.com/kashnitsky/topic-4-linear-models-part-2-classification)，第 3 部分 (https://www.kaggle.com/kashnitsky/topic-4-linear-models-part-3-regularization)，第 4 部分 (https://www.kaggle.com/kashnitsky/topic-4-linear-models-part-4-more-of-logit)，第 5 部分 (https://www.kaggle.com/kashnitsky/topic-4-linear-models-part-5-validation) 5. Bagging 和随机森林 :uk: (https://mlcourse.ai/book/topic05/topic5_part1_bagging.html) :ru: (https://habrahabr.ru/company/ods/blog/324402/) :cn: (https://nbviewer.jupyter.org/github/Yorko/mlcourse.ai/blob/main/jupyter_chinese/topic05-%E9%9B%86%E6%88%90%E5%AD%A6%E4%B9%A0%E5%92%8C%E9%9A%8F%E6%9C%BA%E6%A3%AE%E6%9E%97%E6%96%B9%E6%B3%95.ipynb), Kaggle Notebooks: 第 1 部分 (https://www.kaggle.com/kashnitsky/topic-5-ensembles-part-1-bagging)，第 2 部分 (https://www.kaggle.com/kashnitsky/topic-5-ensembles-part-2-random-forest)，第 3 部分 (https://www.kaggle.com/kashnitsky/topic-5-ensembles-part-3-feature-importance) 6. 特征工程和特征选择 :uk: (https://mlcourse.ai/book/topic06/topic6_feature_engineering_feature_selection.html) :ru: (https://habrahabr.ru/company/ods/blog/325422/) :cn: (http://nbviewer.ipython.org/urls/raw.github.com/Yorko/mlcourse.ai/main/jupyter_chinese/topic06-%E7%89%B9%E5%BE%81%E5%B7%A5%E7%A8%8B%E5%92%8C%E7%89%B9%E5%BE%81%E9%80%89%E6%8B%A9.ipynb), Kaggle Notebook (https://www.kaggle.com/kashnitsky/topic-6-feature-engineering-and-feature-selection) 7. 无监督学习：主成分分析和聚类 :uk: (https://mlcourse.ai/book/topic07/topic7_pca_clustering.html) :ru: (https://habrahabr.ru/company/ods/blog/325654/) :cn: (http://nbviewer.ipython.org/urls/raw.github.com/Yorko/mlcourse.ai/main/jupyter_chinese/topic07-%E4%B8%BB%E6%88%90%E5%88%86%E5%88%86%E6%9E%90%E5%92%8C%E8%81%9A%E7%B1%BB.ipynb), Kaggle Notebook (https://www.kaggle.com/kashnitsky/topic-7-unsupervised-learning-pca-and-clustering) 8. Vowpal Wabbit：使用吉字节规模数据进行学习 :uk: (https://mlcourse.ai/book/topic08/topic08_sgd_hashing_vowpal_wabbit.html) :ru: (https://habrahabr.ru/company/ods/blog/326418/) :cn: (https://nbviewer.jupyter.org/github/Yorko/mlcourse.ai/blob/main/jupyter_chinese/topic08-%E9%9A%8F%E6%9C%BA%E6%A2%AF%E5%BA%A6%E4%B8%8B%E9%99%8D%E5%92%8C%E7%8B%AD%E7%83%AD%E7%BC%96%E7%A0%81.ipynb), Kaggle Notebook (https://www.kaggle.com/kashnitsky/topic-8-online-learning-and-vowpal-wabbit) 9. 使用 Python 进行时间序列分析，第 1 部分 :uk: (https://mlcourse.ai/book/topic09/topic9_part1_time_series_python.html) :ru: (https://habrahabr.ru/company/ods/blog/327242/) :cn: (http://nbviewer.ipython.org/urls/raw.github.com/Yorko/mlcourse.ai/main/jupyter_chinese/topic09-%E6%97%B6%E9%97%B4%E5%BA%8F%E5%88%97%E5%A4%84%E7%90%86%E4%B8%8E%E5%BA%94%E7%94%A8.ipynb)。使用 Facebook Prophet 预测未来，第 2 部分 :uk: (https://mlcourse.ai/book/topic09/topic9_part2_facebook_prophet.html)，:cn: (http://nbviewer.ipython.org/urls/raw.github.com/Yorko/mlcourse.ai/main/jupyter_chinese/topic09-%E6%97%B6%E9%97%B4%E5%BA%8F%E5%88%97%E5%A4%84%E7%90%86%E4%B8%8E%E5%BA%94%E7%94%A8.ipynb) Kaggle Notebooks: 第 1 部分 (https://www.kaggle.com/kashnitsky/topic-9-part-1-time-series-analysis-in-python)，第 2 部分 (https://www.kaggle.com/kashnitsky/topic-9-part-2-time-series-with-facebook-prophet) 10. 梯度提升 :uk: (https://mlcourse.ai/book/topic10/topic10_gradient_boosting.html) :ru: (https://habrahabr.ru/company/ods/blog/327250/)，:cn: (https://nbviewer.jupyter.org/github/Yorko/mlcourse.ai/blob/main/jupyter_chinese/topic05-%E9%9B%86%E6%88%90%E5%AD%A6%E4%B9%A0%E5%92%8C%E9%9A%8F%E6%9C%BA%E6%A3%AE%E6%9E%97%E6%96%B9%E6%B3%95.ipynb), Kaggle Notebook (https://www.kaggle.com/kashnitsky/topic-10-gradient-boosting) ### 讲座 视频讲座已上传至这个 (https://www.youtube.com/watch?v=QKTuw4PNOsU&list=PLVlY_7IJCMJeRfZ68eVfEcu-UcN9BbwiX) YouTube 播放列表。介绍，视频 (https://www.youtube.com/watch?v=DrohHdQa8u8)，幻灯片 (https://www.slideshare.net/festline/mlcourseai-fall2019-live-session-0) 1. 使用 Pandas 进行探索性数据分析，视频 (https://youtu.be/fwWCw_cE5aI) 2. 可视化，EDA 的主要图表，视频 (https://www.youtube.com/watch?v=WNoQTNOME5g) 3. 决策树：理论 (https://youtu.be/H4XlBTPv5rQ) 和实践部分 (https://youtu.be/RrVYO6Td9Js) 4. 逻辑回归：理论基础 (https://www.youtube.com/watch?v=l3jiw-N544s)，实践部分 (https://www.youtube.com/watch?v=7o0SWgY89i8)（“Alice”竞赛中的基线） 5. 集成学习和随机森林 – 第 1 部分 (https://www.youtube.com/watch?v=neXJL-AqI_c)。分类指标 – 第 2 部分 (https://www.youtube.com/watch?v=aBOMYqGUlWQ)。商业任务示例，预测客户支付 – 第 3 部分 (https://www.youtube.com/watch?v=FmKU-1LZGoE) 6. 线性回归和正则化 - 理论 (https://youtu.be/ne-MfRfYs_c)，LASSO 和 Ridge，LTV 预测 - 实践 (https://youtu.be/B8yIaIEMyIc) 7. 无监督学习 - 主成分分析 (https://youtu.be/-AswHf7h0I4) 和聚类 (https://youtu.be/eVplCo-w4XE) 8. 用于分类和回归的随机梯度下降 - 第 1 部分 (https://youtu.be/EUSXbdzaQE8)，第 2 部分待定 9. 使用 Python 进行时间序列分析 (ARIMA, Prophet) - 视频 (https://youtu.be/_9lBwXnbOd8) 10. 梯度提升：基本概念 - 第 1 部分 (https://youtu.be/g0ZOtzZqdqk)，Xgboost、LightGBM 和 CatBoost 背后的关键思想 + 实践 - 第 2 部分 (https://youtu.be/V5158Oug4W8) ### 作业 以下是演示作业。此外，在“额外作业”层级 (https://www.patreon.com/ods_mlcourse) 中，您可以访问非演示作业。 1. 使用 Pandas 进行探索性数据分析，nbviewer (https://nbviewer.jupyter.org/github/Yorko/mlcourse.ai/blob/main/jupyter_english/assignments_demo/assignment01_pandas_uci_adult.ipynb?flush_cache=true), Kaggle Notebook (https://www.kaggle.com/kashnitsky/assignment-1-pandas-and-uci-adult-dataset), 解答 (https://www.kaggle.com/kashnitsky/a1-demo-pandas-and-uci-adult-dataset-solution) 2. 分析心血管疾病数据，nbviewer (https://nbviewer.jupyter.org/github/Yorko/mlcourse.ai/blob/main/jupyter_english/assignments_demo/assignment02_analyzing_cardiovascular_desease_data.ipynb?flush_cache=true), Kaggle Notebook (https://www.kaggle.com/kashnitsky/assignment-2-analyzing-cardiovascular-data), 解答 (https://www.kaggle.com/kashnitsky/a2-demo-analyzing-cardiovascular-data-solution) 3. 带有玩具任务和 UCI Adult 数据集的决策树，nbviewer (https://nbviewer.jupyter.org/github/Yorko/mlcourse.ai/blob/main/jupyter_english/assignments_demo/assignment03_decision_trees.ipynb?flush_cache=true), Kaggle Notebook (https://www.kaggle.com/kashnitsky/assignment-3-decision-trees), 解答 (https://www.kaggle.com/kashnitsky/a3-demo-decision-trees-solution) 4. 讽刺检测，Kaggle Notebook (https://www.kaggle.com/kashnitsky/a4-demo-sarcasm-detection-with-logit), 解答 (https://www.kaggle.com/kashnitsky/a4-demo-sarcasm-detection-with-logit-solution)。将线性回归作为优化问题，nbviewer (https://nbviewer.jupyter.org/github/Yorko/mlcourse.ai/blob/main/jupyter_english/assignments_demo/assignment04_linreg_optimization.ipynb?flush_cache=true), Kaggle Notebook (https://www.kaggle.com/kashnitsky/assignment-4-linear-regression-as-optimization) 5. 信用评分问题中的逻辑回归和随机森林，nbviewer (https://nbviewer.jupyter.org/github/Yorko/mlcourse.ai/blob/main/jupyter_english/assignments_demo/assignment05_logit_rf_credit_scoring.ipynb?flush_cache=true), Kaggle Notebook (https://www.kaggle.com/kashnitsky/assignment-5-logit-and-rf-for-credit-scoring), 解答 (https://www.kaggle.com/kashnitsky/a5-demo-logit-and-rf-for-credit-scoring-sol) 6. 在回归任务中探索 OLS、Lasso 和随机森林，nbviewer (https://nbviewer.jupyter.org/github/Yorko/mlcourse.ai/blob/main/jupyter_english/assignments_demo/assignment06_regression_wine.ipynb?flush_cache=true), Kaggle Notebook (https://www.kaggle.com/kashnitsky/assignment-6-linear-models-and-rf-for-regression), 解答 (https://www.kaggle.com/kashnitsky/a6-demo-regression-solution) 7. 无监督学习，nbviewer (https://nbviewer.jupyter.org/github/Yorko/mlcourse.ai/blob/main/jupyter_english/assignments_demo/assignment07_unsupervised_learning.ipynb?flush_cache=true), Kaggle Notebook (https://www.kaggle.com/kashnitsky/assignment-7-unupervised-learning), 解答 (https://www.kaggle.com/kashnitsky/a7-demo-unsupervised-learning-solution) 8. 实现在线回归器，nbviewer (https://nbviewer.jupyter.org/github/Yorko/mlcourse.ai/blob/main/jupyter_english/assignments_demo/assignment08_implement_sgd_regressor.ipynb?flush_cache=true), Kaggle Notebook (https://www.kaggle.com/kashnitsky/assignment-8-implementing-online-regressor), 解答 (https://www.kaggle.com/kashnitsky/a8-demo-implementing-online-regressor-solution) 9. 时间序列分析，nbviewer (https://nbviewer.jupyter.org/github/Yorko/mlcourse.ai/blob/main/jupyter_english/assignments_demo/assignment09_time_series.ipynb?flush_cache=true), Kaggle Notebook (https://www.kaggle.com/kashnitsky/assignment-9-time-series-analysis), 解答 (https://www.kaggle.com/kashnitsky/a9-demo-time-series-analysis-solution) 10. 在竞赛中击败基线，Kaggle Notebook (https://www.kaggle.com/kashnitsky/assignment-10-gradient-boosting-and-flight-delays) ### Kaggle 竞赛 1. 抓到我如果你能：通过网页会话跟踪进行入侵者检测。Kaggle Inclass (https://www.kaggle.com/c/catch-me-if-you-can-intruder-detection-through-webpage-session-tracking2) 2. 预测 Medium 文章的流行度。Kaggle Inclass (https://www.kaggle.com/c/how-good-is-your-medium-article) 3. DotA 2 获胜者预测。Kaggle Inclass (https://www.kaggle.com/c/mlcourse-dota2-win-prediction) ### 将课程材料构建为 Jupyter Book 我们使用 Jupyter Book v1 (https://jupyterbook.org/v1/start/build.html) 来构建书籍。 1. 安装 uv (https://github.com/astral-sh/uv) 进行依赖管理：pip install uv； 1. 运行 uv sync 安装项目依赖，或运行 uv lock --upgrade 更新它们； 1. 运行 uv run jb build mlcourse_ai_jupyter_book（注意：这适用于 Jupyter Book v1）– 这将需要一些时间，输出位于 mlcourse_ai_jupyter_book/_build 文件夹中。具体来说，mlcourse_ai_jupyter_book/_build/html/index.html 是在 mlcourse.ai (https://mlcourse.ai) 主页上渲染的内容。这将显示路径