向量的基本知识

• 点积
  若 $n$ 维坐标系内有两个向量 $\vec{a}=(x_1, x_2, ... , x_n)$ , $\vec{b}=(y_1, y_2, ... , y_n)$ , 定义点积运算 $<a,b>$
  $$<a,b> = \sum_{i=1}^n x_iy_i$$
  其结果是一个标量。
  若记 $\vert a \vert$ 表示向量 $\vec{a}$ 的模长，即
  $$\vert \vec{a} \vert = \sqrt{\sum_{i=1}^n x^2_i}$$
  那么 $<a,b>$ 还可以由
  $$<a,b>= \vert \vec{a} \vert \cdot \vert \vec{b} \vert \cdot cos(a,b)$$
  来计算。

向量接近程度的度量

• 两个向量的接近程度，可以用他们的夹角来度量。
  比如有三个向量 $\vec{v_1}=(2.5,3.5)$ , $\vec{v_2}=(4,4.5)$ 和 $\vec{v_3}=(-6,3)$
  画一下就可以发现， $\vec{v_1}$ 和 $\vec{v_2}$ 的夹角（通俗地说，靠近程度）远远小于它们到 $\vec{v_3}$ 的夹角。于是我们说， $\vec{v_1}$ 和 $\vec{v_2}$ 的相似程度高于 $\vec{v_1}$ 和 $v_3$ 还有 $\vec{v_2}$ 和 $v_3$。
  把二维平面的结论扩展一下，可以得到我们比较多维空间中向量相似程度的结论：
  • 记 $n$ 维向量 $\vec{v_1}=(x_1, x_2, ... , x_n), \vec{v_2}=(y_1, y_2, ... , y_n)$ ，若它们的夹角越小，我们就说 $\vec{v_1}$ 和 $\vec{v_2}$ 越接近。

余弦

• 必修二里面讲了，假定三角形三边长为 $a, b, c$ ，其对角为 $A, B,C$ ，则有

• 如果将三角形两边 $b,c$ 看做以 $A$ 为起点的向量，那么上式等价于
  $$cosA=\frac{<b,c>}{\vert b \vert \cdot \vert c \vert}$$
  三角形是平面图形，而在 $n$ 维空间中的余弦定理还长这样
  $$cosA=\frac{<b,c>}{\vert b \vert \cdot \vert c \vert}$$
  代入上面对 $n$ 维向量的描述，我们可以得到
  • 记 $n$ 维向量 $\vec{v_1}=(x_1, x_2, ... , x_n), \vec{v_2}=(y_1, y_2, ... , y_n)$ , 它们的夹角 $\theta$ 的余弦值可以如此计算
  $$cos \ { }\theta \ { }= \frac{\sum_{i=1}^n x_iy_i}{ \sqrt{\sum_{i=1}^n x^2_i } \cdot \sqrt{\sum_{i=1}^n y^2_i }}$$
  大致如此。

  ---

  新闻特征向量的建立

• 计算机这玩意唯一能做的事是超高速计算，他读不懂我们的文字，不能像我们一样对新闻进行文学分析，更不能弄明白新闻在讲什么。

• 这东西主体性超级强，不同的新闻主题对应不同的信息。
• 描述信息需要『词』，不同主题对应不同领域的词。

怎么统计词频

• 朴素的想法
  我们可以把各种新闻中的各个词用 $F=\frac{在某一篇文章的出现次数}{文章总词数}$ 来得到一个频率，那么一个词的词频可以是
  $$F_i=\frac{\sigma(t_i)}{\sigma( t)}$$
  那对于一则新闻而言，我们不妨用一个暴力的想法，现代汉语大概64000个词，把每个词在新闻中的词频都统计一遍，然后直接余弦暴算。
  但存在一些问题，如下：
  • 诸如“的”，“是”，“和”这样的虚词和“因此”，“所以”，“非常”一类的东西，对余弦的计算来说其实是一种噪声，会干扰到分类结果的准确性。怎么解决？
  • 一篇新闻里，不同的词对最终结果的影响的权重是不一样的。比如政治类新闻中，“大选”“支持率”“战争”一类的词应该比“应用”“公民”“社会”要重要一些。这样的权重又要如何分配？

• 正好学了对数，可以讲 $TF-IDF$ 了
• $TF-IDF$ 是什么
  这个缩写的全称是 $Term \: Frequency - Inverse\:Document\:Frequency$ , 翻译过来是『单文本词频-逆文本频率指数』。
  其实没必要搞清楚这名词啥意思，直接来看咋用的就可以。

• 如何确定一个词的权重？
  这个权重的设定应该满足这样的条件：
  • 其对新闻主题的影响越大，权重就应该越大。比如，“尹锡悦宣布韩进入戒严状态”这个词，倘若在文章中看到“戒严”，大概就知道又是韩国的事儿；而看到“状态”，还是不知道讲的是什么。所以，“戒严”的权重应该比“状态”高。
  • 各种虚词和“噪声”词的权重为零。
  显然，一个词如果在很少的文章出现，其对文章主题的把握就会比在很多文章中都出现的词更强。概括地讲，若一个词 $t$ 在 $D_t$ 篇文章中出现过，那么 $D_t$ 越大，$t$ 的权重要越小，反之亦然。
  如今使用的最多的权重是 $IDF$ ，它的公式是
  $$w=lg(\frac{D}{D_t})$$
  其中 $D$ 是全部文章数。
  利用 $IDF$ ，上述对于词频的计算，要更新成
  $$F_i=\frac{\sigma(t_i)}{\sigma( t)} \cdot lg(\frac{D}{D_t})$$
  这么做有一个很显著的好处，就是把各种“噪声词”优化掉了，同时根据对数运算的性质，越关键的词被赋予的权重越高，挺好的。

终于可以开讲新闻分类了

• 第一种是，假定我们已经知道了一些新闻的特征向量，那对于一条要被分类的新闻 $N$ , 直接拿它的特征向量和标准向量比一比，并将其归到相应的类中就好。
  标准向量的获得有两种途径，第一是人工建立，但工作量极大且不准确；第二种就是自动建立（具体方法以后讲）。
• 第二种就比较麻烦了，如果一开始没有标准参照怎么办。
  没事，前辈想到了。
  他们提出了一种基于自上而下不断合并的方式：
  • 计算所有新闻之间两两的相似性，把相似性大于一个阈值的新闻合并成一小类。这样所有新闻就被合成了一些小类。
  • 把每个小类中的新闻作为一个整体，算出小类的特征向量，再计算小类之间两两的余弦相似性，合并成大一点的小类，总数越来越小。
  • 如此迭代，直到所有新闻被归为一类。搞定。