Let's go Celtics!!Let's go Celtics!!Let's go Celtics!!......不絕於耳的口號，
仍然縈繞在我的耳邊....
NBA11-12球季東區決賽G6，Celtics VS Heat，熱火隊在2-3落後的情況下，Leborn James打出了一
場統治級的比賽，，比賽的最後綠軍已無力乏天，但出現了相當動容的一幕，場邊球迷不斷的呼喊
著"Let's go Celtics"直到比賽結束，彷彿在告訴Celtics"沒關係，下一場在邁阿密討回勝利，迎向總冠
Probabilistic latent semantic analysis (概率潜在语义分析，pLSA) 是一种 Topic model，在99年被 Thomas Hofmann 提出。它和随后提出的 LDA 使得 Topic Model 成为了研究热点，其后的模型大都是建立在二者的基础上的。
我们有时会希望在数量庞大的文档库中自动地发现某些结构。比如我们希望在文档库发现若干个“主题”，并将每个主题用关键词的形式表现出来。我们还希望知道每篇文章中各个主题占得比重如何，并据此判断两篇文章的相关程度。而 pLSA 就能完成这样的任务。
我之前取了 Wikinews 中的 1000 篇新闻，试着用 pLSA 在其中发现 K=15 个主题。比如一篇关于 Wikileaks 的阿萨奇被保释消息的新闻，算法以 100% 的概率把它分给了主题 9，其关键词为：
KL距離，是Kullback-Leibler差異（Kullback-Leibler Divergence）的簡稱，也叫做相對熵（Relative Entropy）。它衡量的是相同事件空間裡的兩個概率分佈的差異情況。其物理意義是：在相同事件空間裡，概率分佈P(x)的事件空間，若用概率分佈Q（x）編碼時，平均每個基本事件（符號）編碼長度增加了多少比特。我們用D（P||Q）表示KL距離，計算公式如下：
當兩個概率分佈完全相同時，即P(x)=Q(X)，其相對熵為0 。我們知道，概率分佈P(X)的信息熵為：
其表示，概率分佈P(x)編碼時，平均每個基本事件（符號）至少需要多少比特編碼。通過信息熵的學習，我們知道不存在其他比按照本身概率分佈更好的編碼方式了，所以D(P||Q）始終大於等於0的。雖然KL被稱為距離，但是其不滿足距離定義的三個條件：1）非負性；2）對稱性（不滿足）；3）三角不等式（不滿足）。
我們以一個例子來說明，KL距離的含義。
假如一個字符發射器，隨機發出0和1兩種字符，真實發出概率分佈為A，但實際不知道A的具體分佈。現在通過觀察，得到概率分佈B與C。各個分佈的具體情況如下：
轉載自 http://tech.bobgo.net/?author=1
1. 引子
Bag-of-Words 模型是NLP和IR領域中的一個基本假設。在這個模型中，一個文檔(document)被表示為一組單詞(word/term)的無序組合，而忽略了語法或者詞序的部分。BOW在傳統NLP領域取得了巨大的成功，在計算機視覺領域(Computer Vision)也開始嶄露頭角，但在實際應用過程中，它卻有一些不可避免的缺陷，比如：
轉載自http://www.cnblogs.com/heaad/archive/2011/03/08/1977733.html
在做分類時常常需要估算不同樣本之間的相似性度量(Similarity Measurement)，這時通常採用的方法就是計算樣本間的「距離」(Distance)。採用什麼樣的方法計算距離是很講究，甚至關係到分類的正確與否。
本文的目的就是對常用的相似性度量作一個總結。
本文目錄：
轉載自http://blog.csdn.net/afgh2587849/article/details/6792262
SVD分解是LSA的數學基礎，本文是我的LSA學習筆記的一部分，之所以單獨拿出來，是因為SVD可以說是LSA的基礎，要理解LSA必須瞭解SVD，因此將LSA筆記的SVD一節單獨作為一篇文章。本節討論SVD分解相關數學問題，一個分為3個部分，第一部分討論線性代數中的一些基礎知識，第二部分討論SVD矩陣分解，第三部分討論低階近似。本節討論的矩陣都是實數矩陣。
基礎知識
