機器學習是人工智能的一個分支。人工智能的研究歷史有着一條從以“推理”爲重點，到以“知識”爲重點，再到以“學習”爲重點的自然、清晰的脈絡。顯然，機器學習是實現人工智能的一個途徑之一，即以機器學習爲手段，解決人工智能中的部分問題。機器學習在近30多年已發展爲一門多領域科際整合，涉及概率論、統計學、逼近論、凸分析、計算複雜性理論等多門學科。 機器學習理論主要是設計和分析一些讓計算機可以自動“學習”的算法。機器學習算法是一類從數據中自動分析獲得規律，並利用規律對未知數據進行預測的算法。因爲學習算法中涉及了大量的統計學理論，機器學習與推斷統計學聯繫尤爲密切，也被稱爲統計學習理論。算法設計方面，機器學習理論關注可以實現的，行之有效的學習算法（要防止錯誤累積）。很多推論問題屬於非程序化決策，所以部分的機器學習研究是開發容易處理的近似算法。 機器學習已廣泛應用於數據挖掘、計算機視覺、自然語言處理、生物特徵識別、搜索引擎、醫學診斷、檢測信用卡欺詐、證券市場分析、DNA序列測序、語音和手寫識別、遊戲和機器人等領域。
定義
機器學習有下面幾種定義：
機器學習是一門人工智能的科學，該領域的主要研究對象是人工智能，特別是如何在經驗學習中改善具體算法的性能。 機器學習是對能通過經驗自動改進的計算機算法的研究。 機器學習是用數據或以往的經驗，以此優化計算機程序的性能標準。 電腦科學家Tom M. Mitchell在其著作的Machine Learning一書中定義的機器學習為：A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E.
分類
機器學習可以分成下面幾種類別：
監督學習從給定的訓練數據集中學習出一個函數，當新的數據到來時，可以根據這個函數預測結果。監督學習的訓練集要求是包括輸入和輸出，也可以說是特徵和目標。訓練集中的目標是由人標註的。常見的監督學習算法包括迴歸分析和統計分類。 監督學習和非監督學習的差別就是訓練集目標是否有人爲標註。他們都有訓練集 且都有輸入和輸出
無監督學習與監督學習相比，訓練集沒有人爲標註的結果。常見的無監督學習算法有生成對抗網絡（GAN）、聚類。 半監督學習介於監督學習與無監督學習之間。 增強學習機器爲了達成目標，隨着環境的變動，而逐步調整其行爲，並評估每一個行動之後所到的回饋是正向的或負向的。
算法
具體的機器學習算法有：
構造間隔理論分佈：聚類分析和模式識別 人工神經網絡 決策樹 感知器 支援向量機 集成學習AdaBoost 降維與度量學習 聚類 貝葉斯分類器 構造條件概率：迴歸分析和統計分類 高斯過程迴歸 線性判別分析 最近鄰居法 徑向基函數核 通過再生模型構造概率密度函數： 最大期望算法 概率圖模型：包括貝氏網路和Markov隨機場 Generative Topographic Mapping 近似推斷技術： 馬爾可夫鏈 蒙特卡羅方法 變分法 最優化：大多數以上方法，直接或者間接使用最優化算法。 量子機器學習
軟件
包含各種機器學習演算法的軟體套裝包括：
免費開源軟件
Python軟件庫及框架
參考文獻
引用
來源
外部鏈接
參見 ##ACM 电脑分类系统
AdaBoost AlexNet AlphaFold AlphaGo Anthropic Apache MXNet Apache Mahout Apache Singa Apache Spark Apache SystemML Auto-GPT BERT BIRCH BLOOM (语言模型) Bagging算法 Bard Blocks CURE算法 Caffe ChatGPT Chinchilla AI DALL-E DBSCAN DNA序列 DeepDream DeepMind DeepSpeed Deeplearning4j Dlib ELKI Electrochemical RAM EleutherAI Flux (机器学习框架) F检验 GPT-1 GPT-2 GPT-3 GPT-4 GPT-J Generative Topographic Mapping Google JAX Gradio Graphcore Hugging Face Human-in-the-loop Infer.NET Isolation forest K-平均算法 K-近邻算法 Keras Kriging Kubeflow LLaMA LangChain LightGBM MIT計算機科學與人工智慧實驗室 ML.NET MOA (Massive Online Analysis) MXNet Machine learning Mallet (software project) Markov随机场 Memtransistor Meta AI Microsoft Cognitive Toolkit Midjourney Mila (研究所) Mlpack MuZero Neural Designer OPTICS Occam learning OpenAI OpenAI Five OpenNN Orange (software) PaLM Pandas (software) PyTorch Python Q学习 RETURNN ROOT SARSA算法 Scikit-learn Self-play (强化学习技术) Seq2Seq模型 Shogun (toolbox) Softmax函数 Sora (人工智能模型) SpiNNaker Stable Diffusion S型函数 T-分布随机邻域嵌入 TAIDE TensorFlow Theano Tom M. Mitchell Torch (machine learning) Torch (机器学习) Transformer模型 U-Net VC理论 Vision transformer Wald檢定 Walter Fritz WaveNet Weka (machine learning) Whisper (语音识别系统) Wolfram Mathematica Word2vec XGBoost Yooreeka Z检验 一般线性模型 万维网 专家系统 专有软件 丢番图几何 中位數 中国学科分类国家标准/110 中心极限定理 中文房间 中间件 主动学习 (机器学习) 主成分分析 乘積極限估計量 于尔根·施密德胡伯 互联网档案馆 交叉驗證 交換代數 人工智慧低谷 人工智能 人工智能伦理 人工智能发展 人工智能史 人工智能哲學 人工智能安全 人工智能应用 人工智能时间轴 人工智能术语 人工智能术语表 人工智能热潮 人工智能的存在风险 人工智能监管 人工智能编程语言列表 人工智能项目列表 人工神经网络 人机交互 人體圖像合成 代数 代数几何 代数拓扑 代數數論 企业信息系统 企业级软件 伊恩·古德费洛 伊爾亞·蘇茨克維 众包 众数 (数学) 信息与计算科学 信息几何 信息安全 信息檢索 信息系统 信息论 信用卡欺诈 信賴區間 修飾照片 假說檢定 偏差–方差困境 偏度 傅立叶分析 储备池计算 元分析 元学习 (计算机科学) 光学字符识别 入侵检测系统 全距 共變異數分析 关联规则学习 典型相关 内核机器 再生模型 决策支持系统 决策树 决策树学习 几何-调和平均数 几何分析 几何学 几何平均数 几何拓扑学 几何数论 凸分析 函式庫 刀切法 分位圖 分布式计算 分布形态 分類問題之損失函數 切比雪夫不等式 列联表 列聯表 初等代數 医学信息学 區間估計 區集 半参数回归模型 半监督学习 博弈论 卡方检验 印刷电路板 危險比例模式 卷积 卷积神经网络 友好的人工智能 双标图 反向传播算法 受限玻尔兹曼机 变分法 变分自编码器 变异系数 可微函数 可微分神经计算机 可微分编程 可穿戴计算机 可视化 可解釋人工智慧 可计算性 司徒頓t檢定 吴恩达 四分位数 四分位距 回响状态网络 回声状态网络 回归分析 回應過程效度 因素分析 国际机器学习大会 国际表征学习大会 图像压缩 图像处理 图灵测试 图神经网络 图论 圖形處理器 圖模式 地理信息系统 均值飘移 型一錯誤與型二錯誤 基于人类反馈的强化学习 基于规则的机器学习 基于转换器的生成式预训练模型 基尼系数 增强学习 外部设备 多元處理 多层感知器 多智能体强化学习 多模态学习 多线程 多重线性代数 大型语言模型 大衛·席爾瓦 (計算機科學家) 失效率 娛樂數學 学习 学习曲线 (机器学习) 学徒学习 实体造型 实变函数论 实时计算 密度估计 密码学 对抗机器学习 對數秩和檢定 對立假說 對話程式語言模型 局部异常因子 层次聚类 峰度 嵌入式系统 希羅平均數 干擾因素 平均差 平均数 平均数不等式 平方平均数 并发性 并发计算 并行计算 幹葉圖 幻觉 (人工智能) 序理论 应用数学 度量学习 廣義線性模型 开源软件 异常检测 张量处理单元 张量微积分 弱人工智慧 張量微積分 强化学习 归纳偏置 归纳逻辑编程 形式化方法 形式语义学 径向基函数核 循环神经网络 微分几何 微分拓扑 微分方程 微积分 微调 (深度学习) 总体 感知器 憶阻器 手写识别 扩散过程 抽樣 抽象代数 拓扑学 排序学习 控制论 推断统计学 推理 推論統計學 推论 描述统计学 提升方法 提示工程 搜索引擎 操作系统 支持向量机 支援向量機 效应值 教育技术学 散布圖 数值分析 数字艺术 数学 数学与艺术 数学主题列表 数学分析 数学史 数学哲学 数学基础 数学学科分类标准 数学心理学 数学教育 数学物理 数学符号表 数学纲要 数学软件 数学领域 数据 数据库管理系统 数据挖掘 数据清洗 数据科学 数据结构 数理经济学 数理统计学 数理逻辑 数论 數位圖書館 數位行銷 數理生物學 數理金融學 文件管理系统 文字处理器 文心一言 斯皮尔曼等级相关系数 方差 方差分析 时序差分学习 显著性差异 普适计算 普通最小二乘法 曼-惠特尼檢定 最优化 最大似然估计 最大期望算法 最大间距 最小距離估計 最近鄰居法 有限幾何學 本体学习 朴素贝叶斯分类器 机器人 机器人学 机器人学习 机器人控制 机器学习 (期刊) 机器学习概要 机器学习研究数据集列表 机器学习研究期刊 机械学习 李飛飛 条件概率 条形图 杨立昆 杰弗里·辛顿 杰米斯·哈萨比斯 标准误差 样本量 條件隨機域 梯度下降法 森林圖 概率分布 概率密度函数 概率论 概率近似正确学习 標準分數 標準差 模式识别 模糊聚类 機器學習控制 檢定力 次數 (統計學) 欧几里得几何 正则化 (数学) 残差神经网络 沃森 (人工智能程序) 泛代数 泛函分析 注意力机制 测度 深度学习 深度学习软件比较 混合智能系統 混合现实 渲染 游戏 激活函数 点集拓扑学 無監督學習 特征工程 独立成分分析 生存函数 生存分析 生成对抗网络 生成式人工智慧 生成式人工智能 生成模型 生物信息学 生物特征识别 生物統計學 用户界面 电子商务 电子游戏 电子计算机 百分位数 皮尔逊积矩相关系数 监督学习 直方图 直譯器 相关 (概率论) 相关向量机 知识 知识表示 矩 (數學) 矩估计 示意地圖 社会性软件 神经信息处理系统大会 神经图灵机 神经形态工程 神经机器翻译 神经科学 离散几何学 离散数学 离散程度 科际整合 秩和检验 稀疏字典學習 程式語言理論 符號人工智能 等級相關 算术 算术-几何平均数 算术几何 算术平均数 算法 算法分析 算法效率 算法设计 管制圖 箱形圖 簡單線性迴歸 类型论 系统平台 系统架构 統計誤用 網絡戰 線上機器學習 線性判別分析 線性回歸 線性模型 編譯器 约书亚·本希奥 线性代数 线性判别分析 线性整流函数 组合数学 经验风险最小化 结构预测 统计分类 统计图形 统计学 统计学习理论 统计学出版物 统计流形 统计类型 绿色计算 编程范型 编程语言 缺失数据 网络传输协议 网络安全 网络拓扑 网络服务 群论 聊天機器人 聚类 聚类分析 肯德等級相關係數 脉冲神经网络 臉部辨識系統 自主控制机器人 自动推理 自动机 自动机器学习 自动规划和调度 自助法 自動微分 自動駕駛汽車 自我迴歸模型 自然语言处理 自由度 (统计学) 自监督学习 自组织映射 自编码器 艾力克斯·格雷夫斯 (計算機科學家) 范畴论 蒙特卡罗方法 虚拟现实 虛擬機器 虛無假說 行动选择 表征学习 複分析 规律 视觉处理单元 解析几何 解析数论 計算機代數系統 計算社會科學 計算複雜性理論 認知計算 語意分析 語言模型 調和分析 證券市場 计算几何 计算化学 计算复杂性理论 计算学习理论 计算数学 计算智能 计算机动画 计算机图形学 计算机安全 计算机硬件 计算机科学 计算机科学重要出版物 计算机系统结构 计算机网络 计算机视觉 计算机辅助功能 计算机逻辑 计算物理学 计算理论 计算生物学 计算语言学 计量经济学 认知科学 训练集、验证集和测试集 诊断 试验设计 语法归纳 语音合成 语音识别 误差 调和平均数 谷歌大脑 貝氏網路 贝叶斯回归 贝叶斯学习 贝叶斯推断 超大规模集成电路 趋势图 路由 軟體套裝 軟體框架 軟體維護 软件开发 软件开发工具 软件开发过程 软件设计 软件质量 软件部署 软件配置管理 辩手项目 迁移学习 过程控制 运算学习理论 运算数学 运算科学 进化算法 进化计算 迴歸分析 适当广义分解 通用人工智慧 逼近论 運算學習論 運籌學 過適 遗传算法 邏輯斯諦迴歸 重抽样 重複 (統計學) 量子機器學習 量子计算机 長短期記憶 门控循环单元 间隔理论 阻碍 降维 随机化算法 随机梯度下降 随机森林 隐马尔可夫模型 隨機抽樣一致 集中趋势 集合论 集成学习 集成开发环境 集成电路 雷达图 電子出版 電子設計自動化 電腦數據存貯器 需求分析 靈敏度和特異度 非参数回归模型 非欧几里得几何 非監督式學習 非程序化決策 非线性回归 非负矩阵分解 领域特定语言 饼图 马尔可夫链