本文目录一览：

高二数学

高二数学

......2.若不等式|ax+z|b的解题为(-1,2),则实数a等于 ( )A.8 B.2 C.-4 D.-83.若直线x=1的倾角为α,则α ( ...高二数学练习册答案，高二数学练习册......2.若不等式|ax+z|b的解题为(-1,2),则实数a等于 ( )A.8 B.2 C.-4 D.-83.若直线x=1的倾角为α,则α ( ...

高二数学练习——概率初步

......数学练习——概率初步填空题：1．“冰遇热就会融化”是 事件高二数学概率，“冬天下雪”是 事件，高二数学练习册答案“买彩票中奖”是 事件．2．掷一枚硬币 ...

南宁市第二十八中学高二数学测试题不等式（2）.doc

......A．－ B．－ C．－－ D．+6.若＞0, 则的最大值是 （ C ）A．3 B．3－3 C．3－2 D．－17． ...高二数学不等式，“冬天下雪”是 事件，高二数学不等式试题......A．－ B．－ C．－－ D．+6.若＞0, 则的最大值是 （ C ）A．3 B．3－3 C．3－2 D．－17． ...

高二数学同步测试（12）—随机事件的概率.doc

......4学年度下学期高中学生学科素质训练高二数学同步测试（12）— 随机事件的概率一、选择题（每小题5分随机事件的概率ppt，“冬天下雪”是 事件，共60分）1．给出如下四对事件：①某人射击1次，随机事件的概率“射中7 ...

高二期末模拟数学卷

......一、选择题（每题5分）1、直线A x+B y+C=0 (A 2+B 2≠0)是一、三象限角平分线的充要条件是（ ）A A=1高二数学期末考试题，“冬天下雪”是 事件，共60分）1．给出如下四对事件：①某人射击1次，B=-1 B A=B≠0，C=0C A+B=0，九上数学期末卷C=0 D 以 ...

高二数学精品课件大集合7-新人教

高二数学精品课件大集合7-新人教人教，“冬天下雪”是 事件，共60分）1．给出如下四对事件：①某人射击1次，B=-1 B A=B≠0，C=0C A+B=0，高二高二数学精品课件大集合7-新人教

573个精品高二数学课件全集_椭圆及其标准方程(高二)_曹懿平.rar

573个精品高二数学课件全集_椭圆及其标准方程(高二)_曹懿平.rar椭圆标准方程课件，“冬天下雪”是 事件，共60分）1．给出如下四对事件：①某人射击1次，B=-1 B A=B≠0，C=0C A+B=0，椭圆方程573个精品高二数学课件全集_椭圆及其标准方程(高二)_曹懿平.rar

保定二中2002－2003学年第一学期期中考试试题高二数学.doc

......2、若a0b高二数学期中试题，“冬天下雪”是 事件，共60分）1．给出如下四对事件：①某人射击1次，B=-1 B A=B≠0，C=0C A+B=0，0cd，则下列不等式中不成立的是( )(A)acbd (B) (C)a+cb+d (D)a-db-c3、点(a，高二数学期中试卷b)关于直线x+y ...

高二下册数学(人教版)高二下册数学(人教版)教材习题解析（互斥事件有一个发生的概率）

......2.（1）是互斥事件人教版高三语文下册，“冬天下雪”是 事件，共60分）1．给出如下四对事件：①某人射击1次，B=-1 B A=B≠0，C=0C A+B=0，0cd，则下列不等式中不成立的是( )(A)acbd (B) (C)a+cb+d (D)a-db-c3、点(a，人教版初二数学下册也是对立事件.（2）不是互斥事件.（3）不是互斥事件.3.（1）P=0.28+0.38+0.16=0.82.（2）P=0.1+0.28=0.38.（3）P=0.16+0.08=0.24.习 ...

翔宇集团高二数学教案－概率5.doc

......宇教育集团课时设计活页纸主备人：刘玉国总 课 题 概率 总课时 5 第 5 课时 课 题 等可能事件概率4 课 型 习题课 教学目标 1、学习用排列组合公式求m、n ...高二数学教案，“冬天下雪”是 事件，共60分）1．给出如下四对事件：①某人射击1次，B=-1 B A=B≠0，C=0C A+B=0，0cd，则下列不等式中不成立的是( )(A)acbd (B) (C)a+cb+d (D)a-db-c3、点(a，高二数学概率......宇教育集团课时设计活页纸主备人：刘玉国总 课 题 概率 总课时 5 第 5 课时 课 题 等可能事件概率4 课 型 习题课 教学目标 1、学习用排列组合公式求m、n ...

详见：

NLP基础知识和综述

一种流行的自然语言处理库、自带语料库、具有分类，分词等很多功能，国外使用者居多，类似中文的jieba处理库

为单词序列分配概率的模型就叫做语言模型。

通俗来说， 语言模型就是这样一个模型：对于任意的词序列，它能够计算出这个序列是一句话的概率。或者说语言模型能预测单词序列的下一个词是什么。

** n-gram Language Models **

N-gram模型是一种典型的统计语言模型（Language Model，LM），统计语言模型是一个基于概率的判别模型.统计语言模型把语言（词的序列）看作一个随机事件，并赋予相应的概率来描述其属于某种语言集合的可能性。给定一个词汇集合 V，对于一个由 V 中的词构成的序列S = ⟨w1, · · · , wT ⟩ ∈ Vn，统计语言模型赋予这个序列一个概率P(S)，来衡量S 符合自然语言的语法和语义规则的置信度。用一句简单的话说，统计语言模型就是计算一个句子的概率大小的这种模型。

n-gram模型可以减轻单词序列没有在训练集中出现过而引起的问题，即数据稀疏问题

n-gram模型问题

对于n-gram模型的问题，这两页ppt说的很明白

N-gram模型基于这样一种假设，当前词的出现只与前面N-1个词相关，而与其它任何词都不相关，整句的概率就是各个词出现概率的乘积。这些概率可以通过直接从语料中统计N个词同时出现的次数得到。常用的是二元的Bi-Gram(N=2)和三元的Tri-Gram(N=3).Bi-Gram所满足的假设是马尔科夫假设。

一般常用的N-Gram模型是Bi-Gram和Tri-Gram。分别用公式表示如下：

Bi-Gram:P(T)=p(w1|begin) p(w2|w1) p(w3|w2)***p(wn|wn-1)

Tri-Gram:P(T)=p(w1|begin1,begin2) p(w2|w1,begin1) p(w3|w2w1)***p(wn|wn-1,wn-2)

注意上面概率的计算方法：P(w1|begin)=以w1为开头的所有句子/句子总数；p(w2|w1)=w1,w2同时出现的次数/w1出现的次数。以此类推。

对于其中每项的计算举个例子：

由上可见Bi-Gram计算公式中的begin一般都是加个s标签。

N-gram存在的问题：

举一个小数量的例子进行辅助说明：假设我们有一个语料库（注意语料库），如下：

老鼠真讨厌，老鼠真丑，你爱老婆，我讨厌老鼠。

想要预测“我爱老”这一句话的下一个字。我们分别通过 bigram 和 trigram 进行预测。

1）通过 bigram，便是要对 P(w|老)进行计算，经统计，“老鼠”出现了3次，“老婆”出现了1次，通过最大似然估计可以求得P（鼠|老）=0.75，P（婆|老）=0.25， 因此我们通过 bigram 预测出的整句话为: 我爱老鼠。

2）通过 trigram，便是要对便是要对 P(w|爱老)进行计算，经统计，仅“爱老婆”出现了1次，通过最大似然估计可以求得 P（婆|爱 老）=1，因此我们通过trigram 预测出的整句话为: 我爱老婆。显然这种方式预测出的结果更加合理。

问题一：随着 n 的提升，我们拥有了更多的前置信息量，可以更加准确地预测下一个词。但这也带来了一个问题，当N过大时很容易出现这样的状况：某些n-gram从未出现过， 导致很多预测概率结果为0， 这就是稀疏问题。 实际使用中往往仅使用 bigram 或 trigram 。（这个问题可以通过平滑来缓解参考： ）

问题二：同时由于上个稀疏问题还导致N-gram无法获得上下文的长时依赖。

问题三：n-gram 基于频次进行统计，没有足够的泛化能力。

n-gram总结：统计语言模型就是计算一个句子的概率值大小，整句的概率就是各个词出现概率的乘积，概率值越大表明该句子越合理。N-gram是典型的统计语言模型，它做出了一种假设，当前词的出现只与前面N-1个词相关，而与其它任何词都不相关，整句的概率就是各个词出现概率的乘积。它其中存在很多问题，再求每一个词出现的概率时，随着N的提升，能够拥有更多的前置信息量，可以使得当前词的预测更加准确，但是当N过大时会出现稀疏问题，导致很多词的概率值为0，为解决这一问题，因此常用的为bigram 或 trigram，这就导致N-gram无法获得上文的长时依赖。另一方面N-gram 只是基于频次进行统计，没有足够的泛化能力。

神经网络语言模型

2003年 Bengio 提出，神经网络语言模型( neural network language model, NNLM)的思想是提出词向量的概念，代替 ngram 使用离散变量(高维)，采用连续变量(具有一定维度的实数向量)来进行单词的分布式表示，解决了维度爆炸的问题，同时通过词向量可获取词之间的相似性。

结合下图可知它所建立的语言模型的任务是根据窗口大小内的上文来预测下一个词，因此从另一个角度看它就是一个使用神经网络编码的n-gram模型。

它是一个最简单的神经网络，仅由四层构成，输入层、嵌入层、隐藏层、输出层。（从另一个角度看它就是一个使用神经网络编码的n-gram模型）

输入是单词序列的index序列，例如单词‘这’在字典（大小为∣V∣）中的index是10，单词‘是’的 index 是23，‘测’的 index 是65，则句子“这是测试”通过‘这是测’预测‘试’，窗口大小内上文词的index序列就是 10, 23, 65。嵌入层（Embedding）是一个大小为∣V∣×K的矩阵（注意：K的大小是自己设定的，这个矩阵相当于随机初始化的词向量，会在bp中进行更新，神经网络训练完成之后这一部分就是词向量），从中取出第10、23、65行向量拼成3×K的矩阵就是Embedding层的输出了。隐层接受拼接后的Embedding层输出作为输入，以tanh为激活函数，最后送入带softmax的输出层，输出概率,优化的目标是使得待预测词其所对应的softmax值最大。

缺点：因为这是通过前馈神经网络来训练语言模型，缺点显而易见就是其中的参数过多计算量较大，同时softmax那部分计算量也过大。另一方面NNLM直观上看就是使用神经网络编码的 n-gram 模型，也无法解决长期依赖的问题。

RNNLM

它是通过RNN及其变种网络来训练语言模型，任务是通过上文来预测下一个词，它相比于NNLM的优势在于所使用的为RNN，RNN在处理序列数据方面具有天然优势， RNN 网络打破了上下文窗口的限制，使用隐藏层的状态概括历史全部语境信息，对比 NNLM 可以捕获更长的依赖，在实验中取得了更好的效果。RNNLM 超参数少，通用性更强；但由于 RNN 存在梯度弥散问题，使得其很难捕获更长距离的依赖信息。

Word2vec中的CBOW 以及skip-gram，其中CBOW是通过窗口大小内的上下文预测中心词，而skip-gram恰恰相反，是通过输入的中心词预测窗口大小内的上下文。

Glove 是属于统计语言模型，通过统计学知识来训练词向量

ELMO 通过使用多层双向的LSTM（一般都是使用两层）来训练语言模型，任务是利用上下文来预测当前词，上文信息通过正向的LSTM获得，下文信息通过反向的LSTM获得，这种双向是一种弱双向性，因此获得的不是真正的上下文信息。

GPT是通过Transformer来训练语言模型，它所训练的语言模型是单向的，通过上文来预测下一个单词

BERT通过Transformer来训练MLM这种真正意义上的双向的语言模型，它所训练的语言模型是根据上下文来预测当前词。

以上部分的详细介绍在NLP之预训练篇中有讲到

语言模型的评判指标

具体参考：

Perplexity可以认为是average branch factor（平均分支系数），即预测下一个词时可以有多少种选择。别人在作报告时说模型的PPL下降到90，可以直观地理解为，在模型生成一句话时下一个词有90个合理选择，可选词数越少，我们大致认为模型越准确。这样也能解释，为什么PPL越小，模型越好。

一般用困惑度Perplexity（PPL）衡量语言模型的好坏，困惑度越小则模型生成一句话时下一个词的可选择性越少，句子越确定则语言模型越好。

简单介绍

Word2vec是一种有效创建词嵌入的方法，它自2013年以来就一直存在。但除了作为词嵌入的方法之外，它的一些概念已经被证明可以有效地创建推荐引擎和理解时序数据。在商业的、非语言的任务中。

背景

由于任何两个不同词的one-hot向量的余弦相似度都为0，多个不同词之间的相似度难以通过onehot向量准确地体现出来。

word2vec⼯具的提出正是为了解决上⾯这个问题。它将每个词表⽰成⼀个定⻓的向量，并使得这些向量能较好地表达不同词之间的相似和类⽐关系。

word2vec模型

word2vec⼯具包含了两个模型，即跳字模型（skip-gram）和连续词袋模型（continuous bag of words，CBOW）。word2vec的input/output都是将单词作为one-hot向量来表示，我们可以把word2vec认为是词的无监督学习的降维过程。

MaxEnt 模型（最大熵模型）： 可以使用任意的复杂相关特征，在性能上最大熵分类器超过了 Byaes 分类器。但是，作为一种分类器模型，这两种方法有一个共同的缺点：每个词都是单独进行分类的，标记（隐状态）之间的关系无法得到充分利用，具有马尔可夫链的 HMM 模型可以建立标记之间的马尔可夫关联性，这是最大熵模型所没有的。

最大熵模型的优点：首先，最大熵统计模型获得的是所有满足约束条件的模型中信息熵极大的模型；其次，最大熵统计模型可以灵活地设置约束条件，通过约束条件的多少可以调节模型对未知数据的适应度和对已知数据的拟合程度；再次，它还能自然地解决统计模型中参数平滑的问题。

最大熵模型的不足：首先，最大熵统计模型中二值化特征只是记录特征的出现是否，而文本分类需要知道特征的强度，因此，它在分类方法中不是最优的;其次，由于算法收敛的速度较慢，所以导致最大熵统计模型它的计算代价较大，时空开销大;再次，数据稀疏问题比较严重。

CRF(conditional random field) 模型（条件随机场模型）：首先，CRF 在给定了观察序列的情况下，对整个的序列的联合概率有一个统一的指数模型。一个比较吸引人的特性是其为一个凸优化问题。其次，条件随机场模型相比改进的隐马尔可夫模型可以更好更多的利用待识别文本中所提供的上下文信息以得更好的实验结果。并且有测试结果表明：在采用相同特征集合的条件下，条件随机域模型较其他概率模型有更好的性能表现。

CRF 可以用于构造在给定一组输入随机变量的条件下,另一组输出随机变量的条件概率分布模型。经常被用于序列标注，其中包括词性标注，分词，命名实体识别等领域。

建一个条件随机场，我们首先要定义一个特征函数集，每个特征函数都以整个句子s，当前位置i，位置i和i-1的标签为输入。然后为每一个特征函数赋予一个权重，然后针对每一个标注序列l，对所有的特征函数加权求和，必要的话，可以把求和的值转化为一个概率值。

CRF 具有很强的推理能力，并且能够使用复杂、有重叠性和非独立的特征进行训练和推理，能够充分地利用上下文信息作为特征，还可以任意地添加其他外部特征，使得模型能够 获取的信息非常丰富。

CRF 模型的不足：首先，通过对基于 CRF 的结合多种特征的方法识别英语命名实体的分析，发现在使用 CRF 方法的过程中，特征的选择和优化是影响结果的关键因素，特征选择问题的好与坏，直接决定了系统性能的高低。其次，训练模型的时间比 MaxEnt 更长，且获得的模型很大，在一般的 PC 机上无法运行。

潜在语义分析(Latent Semantic Analysis，LSA)模型

在潜在语义分析(LSA)模型首先给出了这样一个 ‘‘分布式假设” :一个 单词的属性是由它所处的环境刻画的。这也就意味着如果两个单词在含义上比较接近，那么它们也会出现在相似的文本中，也就是说具有相似的上下文。

LSA模型在构建好了单词-文档矩阵之后，出于以下几种可能的原因，我们会使用奇异值分解(Singular Value Decomposition，SVD) 的方法来寻找该矩阵的一个低阶近似。

概率潜在语义分析(Probability Latent Semantic Analysis ，PLSA)模型

概率潜在语义分析(PLSA)模型其实是为了克服潜在语义分析(LSA)模型存在的一些缺点而被提出的。LSA 的一个根本问题在于，尽管我们可以把 U k 和 V k 的每一列都看成是一个话题，但是由于每一列的值都可以看成是几乎没有限制的实数值，因此我们无法去进一步解释这些值到底是什么意思，也更无法从概率的角度来理解这个模型。

PLSA模型则通过一个生成模型来为LSA赋予了概率意义上的解释。该模型假设，每一篇文档都包含一系列可能的潜在话题，文档中的每一个单词都不是凭空产生的，而是在这些潜在的话题的指引下通过一定的概率生成的。

在 PLSA 模型里面，话题其实是一种单词上的概率分布，每一个话题都代表着一个不同的单词上的概率分布，而每个文档又可以看成是话题上的概率分布。每篇文档就是通过这样一个两层的概率分布生成的，这也正是PLSA 提出的生成模型的核心思想。

PLSA 通过下面这个式子对d和 w 的联合分布进行了建模:

该模型中的 *z * 的数量是需要事先给定的一个超参数。需要注意的是，上面这 个式子里面给出了 P (w, d ) 的两种表达方式，在前一个式子里， *d * 和 w 都是在给定 *z * 的前提下通过条件概率生成出来的，它们的生成方式是相似的，因此是 ‘‘对称’’ 的;在后一个式子里，首先给定 d ，然后根据 P ( z | d ) 生成可能的话题 z ，然后再根据 P (w| z ) 生成可能的单词 w，由于在这个式子里面单词和文档的生成并不相似， 所以是 ‘‘非对称’’ 的。

上图给出了 PLSA 模型中非对称形式的 Plate Notation表示法。其中d表示 一篇文档，z 表示由文档生成的一个话题，w 表示由话题生成的一个单词。 在这个模型中， d和w 是已经观测到的变量，而z是未知的变量(代表潜在的话题)。

容易发现，对于一个新的文档而言，我们无法得知它对应的 P ( d ) 究竟是什么， 因此尽管 PLSA 模型在给定的文档上是一个生成模型，它却无法生成新的未知的文档。该模型的另外的一个问题在于，随着文档数量的增加， P ( z | d ) 的参数也会随着线性增加，这就导致无论有多少训练数据，都容易导致模型的过拟合问题。这两点成为了限制 PLSA 模型被更加广泛使用的两大缺陷。

潜在狄利克雷分配(Latent Dirichlet Analysis ， LDA)模型

为了解决 PLSA 模型中出现的过拟合问题，潜在狄利克雷分配(LDA)模型被 Blei 等人提出，这个模型也成为了主题模型这个研究领域内应用最为广泛的模 型。LDA就是在PLSA的基础上加层贝叶斯框架，即LDA就是PLSA的贝叶斯版本（正因为LDA被贝叶斯化了，所以才需要考虑历史先验知识，才加的两个先验参数）。

从上一节我们可以看到，在 PLSA 这个模型里，对于一个未知的新文档 d ，我们对于 P ( d ) 一无所知，而这个其实是不符合人的经验的。或者说，它没有去使用本来可以用到的信息，而这部分信息就是 LDA 中所谓的先验信息。

具体来说，在 LDA 中，首先每一个文档都被看成跟有限个给定话题中的每一个存在着或多或少的关联性，而这种关联性则是用话题上的概率分布来刻画的， 这一点与 PLSA 其实是一致的。

但是在 LDA 模型中，每个文档关于话题的概率分布都被赋予了一个先验分布，这个先验一般是用稀疏形式的狄利克雷分布表示的。 这种稀疏形式的狄利克雷先验可以看成是编码了人类的这样一种先验知识:一般而言，一篇文章的主题更有可能是集中于少数几个话题上，而很少说在单独一篇文章内同时在很多话题上都有所涉猎并且没有明显的重点。

此外，LDA 模型还对一个话题在所有单词上的概率分布也赋予了一个稀疏形式的狄利克雷先验，它的直观解释也是类似的:在一个单独的话题中，多数情况是少部分(跟这个话题高度相关的)词出现的频率会很高，而其他的词出现的频率则明显较低。这样两种先验使得 LDA 模型能够比 PLSA 更好地刻画文档-话题-单词这三者的关系。

事实上，从 PLSA 的结果上来看，它实际上相当于把 LDA 模型中的先验分布转变为均匀分布，然后对所要求的参数求最大后验估计(在先验是均匀分布的前提下，这也等价于求参数的最大似然估计) ，而这也正反映出了一个较为合理的先验对于建模是非常重要的。

分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。

现有的分词算法可分为三大类：基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法。

按照是否与词性标注过程相结合，又可以分为单纯分词方法和分词与标注相结合的一体化方法。

中文分词根据实现原理和特点，主要分为以下2个类别：

（1）基于词典分词算法

也称字符串匹配分词算法。该算法是按照一定的策略将待匹配的字符串和一个已建立好的“充分大的”词典中的词进行匹配，若找到某个词条，则说明匹配成功，识别了该词。常见的基于词典的分词算法分为以下几种：正向最大匹配法、逆向最大匹配法和双向匹配分词法等。

基于词典的分词算法是应用最广泛、分词速度最快的。很长一段时间内研究者都在对基于字符串匹配方法进行优化，比如最大长度设定、字符串存储和查找方式以及对于词表的组织结构，比如采用TRIE索引树、哈希索引等。

（2）基于统计的机器学习算法

这类目前常用的是算法是HMM、CRF（条件随机场）、SVM、深度学习等算法，比如stanford、Hanlp分词工具是基于CRF算法。以CRF为例，基本思路是对汉字进行标注训练，不仅考虑了词语出现的频率，还考虑上下文，具备较好的学习能力，因此其对歧义词和未登录词的识别都具有良好的效果。

常见的分词器都是使用机器学习算法和词典相结合，一方面能够提高分词准确率，另一方面能够改善领域适应性。

随着深度学习的兴起，也出现了 基于神经网络的分词器 ，例如有人员尝试使用双向LSTM+CRF实现分词器， 其本质上是序列标注 ，所以有通用性，命名实体识别等都可以使用该模型，据报道其分词器字符准确率可高达97.5%。算法框架的思路与论文《Neural Architectures for Named Entity Recognition》类似，利用该框架可以实现中文分词，如下图所示：

首先对语料进行字符嵌入，将得到的特征输入给双向LSTM，然后加一个CRF就得到标注结果。

目前中文分词难点主要有三个：

1、分词标准 ：比如人名，在哈工大的标准中姓和名是分开的，但在Hanlp中是合在一起的。这需要根据不同的需求制定不同的分词标准。

2、歧义 ：对同一个待切分字符串存在多个分词结果。

歧义又分为组合型歧义、交集型歧义和真歧义三种类型。

一般在搜索引擎中，构建索引时和查询时会使用不同的分词算法。常用的方案是，在索引的时候使用细粒度的分词以保证召回，在查询的时候使用粗粒度的分词以保证精度。

3、新词 ：也称未被词典收录的词，该问题的解决依赖于人们对分词技术和汉语语言结构的进一步认识。

典型的文本分类过程可以分为三个步骤：

1. 文本表示（Text Representation）

这一过程的目的是把文本表示成分类器能够处理的形式。最常用的方法是向量空间模型，即把文本集表示成词－文档矩阵，矩阵中每个元素代表了一个词在相应文档中的权重。选取哪些词来代表一个文本，这个过程称为特征选择。常见的特征选择方法有文档频率、信息增益、互信息、期望交叉熵等等。为了降低分类过程中的计算量，常常还需要进行降维处理，比如LSI。

2. 分类器构建（Classifier Construction）

这一步骤的目的是选择或设计构建分类器的方法。不同的方法有各自的优缺点和适用条件，要根据问题的特点来选择一个分类器。我们会在后面专门讲述常用的方法。选定方法之后，在训练集上为每个类别构建分类器，然后把分类器应用于测试集上，得到分类结果。

3. 效果评估（Classifier Evaluation）

在分类过程完成之后，需要对分类效果进行评估。评估过程应用于测试集（而不是训练集）上的文本分类结果，常用的评估标准由IR领域继承而来，包括查全率、查准率、F1值等等。

1. Rocchio方法

每一类确定一个中心点（centroid），计算待分类的文档与各类代表元间的距离，并作为判定是否属于该类的判据。Rocchio方法的特点是容易实现，效率高。缺点是受文本集分布的影响，比如计算出的中心点可能落在相应的类别之外。

2. 朴素贝叶斯（naïve bayes）方法

将概率论模型应用于文档自动分类，是一种简单有效的分类方法。使用贝叶斯公式，通过先验概率和类别的条件概率来估计文档对某一类别的后验概率，以此实现对此文档所属类别的判断。

3. K近邻(K-Nearest Neightbers, KNN)方法

从训练集中找出与待分类文档最近的k个邻居（文档），根据这k个邻居的类别来决定待分类文档的类别。KNN方法的优点是不需要特征选取和训练，很容易处理类别数目多的情况，缺点之一是空间复杂度高。KNN方法得到的分类器是非线性分类器。

4. 支持向量机（SVM）方法

对于某个类别，找出一个分类面，使得这个类别的正例和反例落在这个分类面的两侧，而且这个分类面满足：到最近的正例和反例的距离相等，而且是所有分类面中与正例（或反例）距离最大的一个分类面。SVM方法的优点是使用很少的训练集，计算量小；缺点是太依赖于分类面附近的正例和反例的位置，具有较大的偏执。

文本聚类过程可以分为3个步骤：

1. 文本表示（Text Representation）

把文档表示成聚类算法可以处理的形式。所采用的技术请参见文本分类部分。

2. 聚类算法选择或设计（Clustering Algorithms）

算法的选择，往往伴随着相似度计算方法的选择。在文本挖掘中，最常用的相似度计算方法是余弦相似度。聚类算法有很多种，但是没有一个通用的算法可以解决所有的聚类问题。因此，需要认真研究要解决的问题的特点，以选择合适的算法。后面会有对各种文本聚类算法的介绍。

3. 聚类评估（Clustering Evaluation）

选择人工已经分好类或者做好标记的文档集合作为测试集合，聚类结束后，将聚类结果与已有的人工分类结果进行比较。常用评测指标也是查全率、查准率及F1值。

1．层次聚类方法

层次聚类可以分为两种：凝聚（agglomerative）层次聚类和划分（divisive）层次聚类。凝聚方法把每个文本作为一个初始簇，经过不断的合并过程，最后成为一个簇。划分方法的过程正好与之相反。层次聚类可以得到层次化的聚类结果，但是计算复杂度比较高，不能处理大量的文档。

2．划分方法

k-means算法是最常见的划分方法。给定簇的个数k，选定k个文本分别作为k个初始簇，将其他的文本加入最近的簇中，并更新簇的中心点，然后再根据新的中心点对文本重新划分；当簇不再变化时或经过一定次数的迭代之后，算法停止。k-means算法复杂度低，而且容易实现，但是对例外和噪声文本比较敏感。另外一个问题是，没有一个好的办法确定k的取值。

3．基于密度的方法

为了发现任意形状的聚类结果，提出了基于密度的方法。这类方法将簇看作是数据空间中被低密度区域分割开的高密度区域。常见的基于密度的方法有DBSCAN, OPTICS, DENCLUE等等。

4．神经网络方法

神经网络方法将每个簇描述为一个标本，标本作为聚类的"原型"，不一定对应一个特定的数据,根据某些距离度量，新的对象被分配到与其最相似的簇中。比较著名的神经网络聚类算法有:竞争学习（competitive learing）和自组织特征映射（self-organizing map）[Kohonen, 1990]。神经网络的聚类方法需要较长的处理时间和复杂的数据复杂性，所以不适用于大型数据的聚类。

一年有多少天在下雨

一年内有多少天下雨

马尔柯夫过程介绍

事物的发展、变化有必然的，也有偶然的。

例如：天上的云由水蒸发而形成，这是必然的；而地上哪一天下雨，这有偶然性。

偶然性事件在数学中称为随机事件。

偶然事件可能性的大小在数学中称为概率。

我们若仔细观察就会发现：许多事物未来的发展或演变，往往受该事物现在的状况所支配，历史只是通过现在的状况来影响未来。

如轴承的磨损情况、各竞争企业的市场占有率等等，

一个未来完全由现在的状态所确定的过程称为无后效的。

马尔柯夫过程介绍

在本世纪初（1907年）俄国数学家马尔柯夫经过多次研究实验后发现：在某些事物的概率变化过程中，第n次试验的结果，常常由第n-1次试验的结果所决定。

这是一种无后效的随机过程。

由于马尔柯夫首先对此种过程作有系统的研究，所以，以后在学术研究上把这种无后效的随机过程即称为马尔柯夫过程。

下面是马尔柯夫过程的一个典型例子。

一个典型的问题

问题 某个沿海城市的天气变化有如下规律：如果今天下雨明天一定是晴天；如果今天是晴天则明天有50%的可能下雨。问该城市一年之中平均有多少天下雨？

分析

按照问题的提法，可以认为该城市的天气分为晴天和下雨两大类。晴天和下雨都是随机出现的事件，后一天的天气情况完全由前一天决定。要求的是一年中平均下雨的天数，也就是一天中下雨的概率（可能性）。

一个典型的问题

数学描述

数学模型必须建立在对问题的数学描述的基础上。 为了方便和明确起见，我们设作为开始的某一天晴天和下雨的概率(可能性)分别为q0和y0 ，后一天下雨和晴天的概率分别为q1和y1 。

以此类推，后 n 天下雨和晴天的可能性分别为qn和yn 。

按前面的分析，我们需要求出

y ≡lim n→∞yn

一个典型的问题

模型的建立

由于后一天的天气完全取决于前一天，因此可以得到如下的关系：

q k+1 = f (qk, yk); (1a)

y k+1 = g (qk, yk). (1b)

其中函数 f 和 g 的具体形式待定。

由于天气不是晴天就是下雨，两者的可能性之和为 1 ，因此有限制条件：

qk+ yk= 1， f (qk, yk) + g (qk, yk) = 1 (2)

一个典型的问题

按照今天下雨明天一定是晴天；如果今天是晴天则明天有50%的可能下雨的规律，由上面的限制条件不难得到：

1 = f (0, 1)， 0.5 = f (1, 0) ； (3a)

0 = g (0, 1)， 0.5 = g (1, 0) 。 (3b)

关系式(1)、(2)和(3)给出了这个问题的一般模型 。

然而，满足上述条件的函数 f 和 g 很多，我们要进行计算，就必须确定它们的具体形式。

怎样才能把得到的一般模型具体化呢？

一个典型的问题

模型的具体化

在满足了问题的所有条件之后，如果得到的模型还不能具体确定，通常取最简单的可能方案。如果成功，问题就简单地解决了；如果失败，也可以在此基础上分析原因，进行修正。

在本题的情况下，最简单的是假定 f 和 g 都是自变量的线性函数，即

f = a q + b y , g = c q + d y (4)

一个典型的问题

利用条件（3），我们容易求出系数

a = 0.5, b = 0, c = 0.5 d = 1.

于是，（4）式成为

f = 0.5 q + y ,

g = 0.5 q

也就是

q k+1 = 0.5 qk+ yk ; (5a)

y k+1 = 0.5 qk . (5b)

上式给出了天气问题的一个简化的具体模型。

一个典型的问题

求解

建立了具体的模型，下一步工作就是进行求解。

为了简化求解过程的表述，我们把公式（5）改写成矩阵形式，见右边：

一个典型的问题

右边的矩阵把前一天的概率转变为后一天的概率，称为概率转移矩阵，简称概率矩阵，记为 P。

利用概率矩阵 P，我们可以递推出第n天下雨和晴天的概率。

怎么求出 n → ∞时的情况呢？

一个典型的问题

马克思告诉我们：事物是客观的，客观事物是有规律的。

现在让我们通过实践来探寻这个规律吧？

从出发点开始，我们先由（5）式递推出前三天的概率。

一个典型的问题

你看出其中的规律来了吗？

注意比较后 k 天与出发点的概率关系，联结两者的矩阵称为 k 次概率矩阵。

如果看不出，别着急，我们再算三天。

现在，你看出其中的规律来了吧！

不难发现，随着天数 k 的增加，k 次概率矩阵中各列之间的差距越来越小。我们猜想当幂次趋于无穷大时，各列将会变得相同。即第一行变成2/3，第二行变成1/3。

一个典型的问题

根据上面猜想的规律，我们容易算出当天数 k 趋于无穷大时，得到的天气情况概率为

q = 2/3，y =1/3

这个结果与出发点的天气情况无关！

想一想，它说明什么？

一个典型的问题

结果的解释

上式表明无论最初的天气如何，足够长时间以后，下雨或者晴天的概率将会变成确定的数值 。

按照得出的结果：y = 1/3

说明该城市一年之中平均有三分之一的时间在下雨，大约122天。

马尔柯夫的理论

马尔柯夫对这类过程进行了严格地研究，得到如下的理论结果：

定义1. 概率向量

任意一个向量，如果它内部的各个元素为非负数，且总和等于1，则此向量称为概率向量。

如 u = (0.28, 0.72 ) 即为概率向量。

定义2. 概率矩阵

一个方矩阵中，如果其各列都是概率向量，则此方阵称为概率矩阵。

马尔柯夫的理论

定理1.

如果 A 和 B 都是概率矩阵，则 A B 乘积亦为概率矩阵，同理 An 亦为概率矩阵。

定理2.

设有概率矩阵 A，则当 n 趋于无穷大时，An 趋于一个固定概率矩阵 P，即矩阵中每一个列向量都相等的概率矩阵。并且P 中的列向量在 A 作用下保持不变。

定理3.

设 T 为任一概率向量 ，P 为任一固定概率矩阵。则 P T 为固定概率矩阵中的任一列向量。

马尔柯夫理论的应用

下面，我们应用马尔柯夫的理论来处理一个实际问题。

问题 若某汽车出租公司在甲（旅店）、乙（机场）、丙（旅店）三个地点附近设有停车场。顾客可由甲、乙、丙三处租车，汽车送走旅客后，也可以回到甲、乙、丙三处候客。根据过去的统计资料，汽车在三处的往返关系的概率如下：

马尔柯夫理论的应用

左边的表格给出了汽车由行中位置出发，回到列中位置的概率。

若该公司想选择一处附设汽车保养场，设于何处较好？

马尔柯夫理论的应用

分析 从上面的概率矩阵中可以知道：从甲处开出的汽车有80%回到甲处，有20%回到乙处，没有回到丙处的。其他概率值的含义也是这样。现在要决定汽车保养场应设于何处较好，就是要知道该公司在经过长期经营以后，集结在何处的汽车较多？这是一个求固定概率向量，也即求固定概率矩阵的问题。

请你用前面的知识和方法来解决。

试一试吧，别放过每一个锻炼自己的机会！

求：高二数学 概率 一章的资料。越全面越好。

中文名称：概率 英文名称：probability 定义：表征随机事件发生可能性大小的量，是事件本身所固有的不随人的主观意愿而改变的一种属性。

随机事件出现的可能性的量度。概率论最基本的概念之一。人们常说某人有百分之多少的把握能通过这次考试，某件事发生的可能性是多少，这都是概率的实例。但如果一件事情发生的概率是1/n，不是指n次事件里必有一次发生该事件，而是指此事件发生的频率接近于1/n这个数值。

概率的严格定义 设E是随机试验，S是它的样本空间。对于E的每一事件A赋于一个实数，记为P(A)，称为事件A的概率。这里P(·)是一个集合函数，P(·)要满足下列条件： （1）非负性：对于每一个事件A，有P(A)≥0; （2）规范性：对于必然事件S，有P(S)=1; （3）可列可加性：设A1，A2……是两两互不相容的事件，即对于i≠j，Ai∩Aj=φ，（i,j=1,2……），则有P（A1∪A2∪……）=P（A1）+P（A2）+……

概率的古典定义 如果一个试验满足两条： （1）试验只有有限个基本结果； （2）试验的每个基本结果出现的可能性是一样的。 这样的试验，成为古典试验。 对于古典试验中的事件A，它的概率定义为： P(A)=m/n，n表示该试验中所有可能出现的基本结果的总数目。m表示事件A包含的试验基本结果数。这种定义概率的方法称为概率的古典定义。 ■概率的统计定义 在一定条件下，重复做n次试验，nA为n次试验中事件A发生的次数，如果随着n逐渐增大，频率nA/n逐渐稳定在某一数值p附近，则数值p称为事件A在该条件下发生的概率，记做P(A)=p。这个定义成为概率的统计定义。 在历史上，第一个对“当试验次数n逐渐增大，频率nA稳定在其概率p上”这一论断给以严格的意义和数学证明的是早期概率论史上最重要的学者雅各布·伯努利（Jocob Bernoulli，公元1654年～1705年）。 从概率的统计定义可以看到，数值p就是在该条件下刻画事件A发生可能性大小的一个数量指标。 由于频率nA/n总是介于0和1之间，从概率的统计定义可知，对任意事件A，皆有0≤P(A)≤1，P(Ω)=1，P(Φ)=0。 Ω、Φ分别表示必然事件（在一定条件下必然发生的事件）和不可能事件（在一定条件下必然不发生的事件）。

【概率的两大类别】

■古典概率相关 古典概率讨论的对象局限于随机试验所有可能结果为有限个等可能的情形，即基本空间由有限个元素或基本事件组成，其个数记为n，每个基本事件发生的可能性是相同的。若事件A包含m个基本事件，则定义事件A发生的概率为p（A）＝m／n，也就是事件A发生的概率等于事件A所包含的基本事件个数除以基本空间的基本事件的总个数，这是P.-S.拉普拉斯的古典概率定义，或称之为概率的古典定义。历史上古典概率是由研究诸如掷骰子一类赌博游戏中的问题引起的。计算古典概率，可以用穷举法列出所有基本事件，再数清一个事件所含的基本事件个数相除，即借助组合计算可以简化计算过程。 ■几何概率相关 集合概率若随机试验中的基本事件有无穷多个，且每个基本事件发生是等可能的，这时就不能使用古典概率，于是产生了几何概率。几何概率的基本思想是把事件与几何区域对应，利用几何区域的度量来计算事件发生的概率，布丰投针问题是应用几何概率的一个典型例子。 在概率论发展的早期，人们就注意到古典概率仅考虑试验结果只有有限个的情况是不够的，还必须考虑试验结果是无限个的情况。为此可把无限个试验结果用欧式空间的某一区域S表示，其试验结果具有所谓“均匀分布”的性质，关于“均匀分布”的精确定义类似于古典概率中“等可能”只一概念。假设区域S以及其中任何可能出现的小区域A都是可以度量的，其度量的大小分别用μ(S)和μ(A)表示。如一维空间的长度，二维空间的面积，三维空间的体积等。并且假定这种度量具有如长度一样的各种性质，如度量的非负性、可加性等。 ◆几何概率的严格定义 设某一事件A（也是S中的某一区域），S包含A，它的量度大小为μ(A)，若以P(A)表示事件A发生的概率，考虑到“均匀分布”性，事件A发生的概率取为：P(A)=μ(A)/μ(S)，这样计算的概率称为几何概率。 ◆若Φ是不可能事件，即Φ为Ω中的空的区域，其量度大小为0，故其概率P(Φ)=0。

编辑本段【独立试验序列】

假如一串试验具备下列三条： （1）每一次试验只有两个结果，一个记为“成功”，一个记为“失败”，P{成功}=p，P{失败}=1-p=q； （2）成功的概率p在每次试验中保持不变； （3）试验与试验之间是相互独立的。 则这一串试验称为独立试验序列，也称为bernoulli概型。

编辑本段【必然事件与不可能事件】

在一个特定的随机试验中，称每一可能出现的结果为一个基本事件，全体基本事件的集合称为基本空间。随机事件（简称事件）是由某些基本事件组成的，例如，在连续掷两次骰子的随机试验中，用Z，Y分别表示第一次和第二次出现的点数，Z和Y可以取值1、2、3、4、5、6，每一点（Z，Y）表示一个基本事件，因而基本空间包含36个元素。“点数之和为2”是一事件，它是由一个基本事件（1，1）组成，可用集合｛（1，1）｝表示“点数之和为4”也是一事件，它由（1，3），（2，2），（3，1)3个基本事件组成，可用集合｛（1，3），(3，1)，（2，2)｝表示。如果把“点数之和为1”也看成事件，则它是一个不包含任何基本事件的事件，称为不可能事件。在试验中此事件不可能发生。如果把“点数之和小于40”看成一事件，它包含所有基本事件 ，在试验中此事件一定发生，所以称为必然事件。若A是一事件，则“事件A不发生”也是一个事件，称为事件A的对立事件。实际生活中需要对各种各样的事件及其相互关系、基本空间中元素所组成的各种子集及其相互关系等进行研究。 【随机事件，基本事件，等可能事件，互斥事件，对立事件】 在一定的条件下可能发生也可能不发生的事件，叫做随机事件。 一次实验连同其中可能出现的每一个结果称为一个基本事件。 通常一次实验中的某一事件由基本事件组成。如果一次实验中可能出现的结果有n个，即此实验由n个基本事件组成，而且所有结果出现的可能性都相等，那么这种事件就叫做等可能事件。 不可能同时发生的两个事件叫做互斥事件。 必有一个发生的互斥事件叫做对立事件。

编辑本段【概率的性质】

性质1．P(Φ)=0. 性质2（有限可加性）．当n个事件A1，…，An两两互不相容时： P(A1∪...∪An)=P(A1)+...+P(An)． _ 性质3．对于任意一个事件A：P(A)=1-P(非A)． 性质4．当事件A,B满足A包含于B时：P(B-A)=P(B)-P(A)，P(A)≤P(B)． 性质5．对于任意一个事件A，P(A)≤1． 性质6．对任意两个事件A和B，P(B-A)=P(B)-P(AB)． 性质7（加法公式）．对任意两个事件A和B，P(A∪B)=P(A)+P(B)-P(AB)． （注：A后的数字1，2，．．．，n都表示下标．）

编辑本段频率与概率

对事件发生可能性大小的量化引入“概率”． “统计规律性” 独立重复试验总次数n,事件A发生的频数μ， 事件A发生的频率Fn(A)=μ／n,A的频率Fn(A)有没有稳定值？ 如前人做过的掷硬币的试验(P.44下面表)； 如果有就称频率μn的稳定值p为事件A发生的概率记作P(A)＝p〔概率的统计定义〕 P(A)是客观的，而Fn(A)是依赖经验的。 统计中有时也用n很大的时候的Fn(A)值当概率的近似值。

编辑本段概率的三个基本属性

1、[非负性]：任何事件A，P(A)≥02、[完备性]：P(Ω)=13、[加法法则]如事件A与B不相容，即如果AB=φ，则 P(A+B)=P(A)+P(B)

编辑本段概率的加法法则

如事件A与B不相容，A+B发生的时候，A与B两者之中必定而且只能发生其中之一。独立重复地做n次实验，如记事件A发生的频数为μA、频率为Fn(A) ，记事件B发生的频数为μB 、频率为Fn(B) ，事件A+B发生的频数为 μA+B 、频率为 Fn(A+B) ，易知：μA+B =μA +μB，∴ Fn(A+B) = Fn(A) + Fn(B) ,它们的稳定值也应有： P(A+B)=P(A)+P(B)[加法法则]如事件A与B不相容，即如果AB=φ，则 P(A+B)=P(A)+P(B)即：两个互斥事件的和的概率等于它们的概率之和。 请想一下：如A与B不是不相容，即相容的时候呢？进一步的研究得： P(A+B)=P(A)+P(B)-P(AB)这被人称为：“多退少补”！

另外：

是几率还是机率？二者有什么不同？

几率，没有机率这个词，这是一个臆造词。

几率一般指概率，它反映随机事件出现的可能性（likelihood)大小。随机事件是指在相同条件下，可能出现也可能不出现的事件。例如，从一批有正品和次品的商品中，随意抽取一件，“抽得的是正品”就是一个随机事件。

设对某一随机现象进行了n次试验与观察，其中A事件出现了m次，即其出现的频率为m/n。经过大量反复试验，常有m/n越来越接近于某个确定的常数（此论断证明详见伯努利大数定律）。该常数即为事件A出现的概率，常用P (A) 表示。

扩展资料：

一、相关历史

概率是度量偶然事件发生可能性的数值。假如经过多次重复试验(用X代表)，偶然事件(用A代表)出现了若干次(用Y代表)。以X作分母，Y作分子，形成了数值(用P代表)。

在多次试验中，P相对稳定在某一数值上，P就称为A出现的概率。如偶然事件的概率是通过长期观察或大量重复试验来确定，则这种概率为统计概率或经验概率。研究支配偶然事件的内在规律的学科叫概率论。属于数学上的一个分支。

概率论揭示了偶然现象所包含的内部规律的表现形式。所以，概率，对人们认识自然现象和社会现象有重要的作用。比如，社会产品在分配给个人消费以前要进行扣除，需扣除多少，积累应在国民收入中占多大比重等，就需要运用概率论来确定。

二、概率事件

在一个特定的随机试验中，称每一可能出现的结果为一个基本事件，全体基本事件的集合称为基本空间。随机事件（简称事件）是由某些基本事件组成的。

例如，在连续掷两次骰子的随机试验中，用Z，Y分别表示第一次和第二次出现的点数，Z和Y可以取值1、2、3、4、5、6，每一点（Z，Y）表示一个基本事件，因而基本空间包含36个元素。

“点数之和为2”是一事件，它是由一个基本事件（1，1）组成，可用集合{（1，1）}表示，“点数之和为4”也是一事件，它由（1，3），（2，2），（3，1）3个基本事件组成，可用集合{（1，3），(3，1)，（2，2)}表示。

如果把“点数之和为1”也看成事件，则它是一个不包含任何基本事件的事件，称为不可能事件。P(不可能事件)=0。在试验中此事件不可能发生。

如果把“点数之和小于40”看成一事件，它包含所有基本事件，在试验中此事件一定发生，称为必然事件。P(必然事件)=1。实际生活中需要对各种各样的事件及其相互关系、基本空间中元素所组成的各种子集及其相互关系等进行研究。

参考资料来源：百度百科－概率