Comments on: 字字珠璣: TF 和 IDF

By: » MMDays - Mr. Thursday - 二元樹在排序的應用

» MMDays - Mr. Thursday - 二元樹在排序的應用 — Sat, 15 Mar 2008 17:14:55 +0000

[...] 字字珠璣: TF 和 IDF [...]

By: 機器學習與腦機介面的願景 « Mr./Ms. Days - 網路, 資訊, 觀察, 生活

機器學習與腦機介面的願景 « Mr./Ms. Days - 網路, 資訊, 觀察, 生活 — Thu, 15 Nov 2007 17:48:59 +0000

[...] 但是到了文字意義學習的問題，機率式學習法也會有問題，因為文字要數字化很難。目前有一些統計量，或是計算字的頻率，將文字數字化(可以參考字字珠璣: TF 和 IDF)，但是對於了解意義還是有段距離。如果今天有個演算法可以學習到：某個字出現五次以後，另外一個字又出現八次，就表示某個意思，這個意思類似的概念可以用某個字先出現三次再出現某個字兩次來表達，那也算是機器學習法的成功。 [...]

By: Mr. Thursday

Mr. Thursday — Sun, 21 Oct 2007 14:47:27 +0000

希望以後有機會可以多討論自然語言處理的問題:)
有關斷詞的部分
課本上是提到了bigram model可以做到
也就是用條件機率的模型來斷詞
http://en.wikipedia.org/wiki/N-gram
http://en.wikipedia.org/wiki/Bigram
我還沒有自己跑過一次…效果課本上是說不錯…
另外一個方法是CRF (conditional random field)
不過我也還沒跑過…而且也還不大了解CRF的公式
所以還不知道CRF斷詞效果如何…要嚐試過以後才知道囉…
————–
另外有關TF*IDF的部分
還有一些細節的部分…譬如說會有normalization
這樣子每個關鍵字的TF不會因為某篇文章字特別多
TF跟著變多….就是把文章的字數normalize成一樣就是了…
另外DF如果是0的時候…會讓分母變成0
所以有時候會加上一個epsilon
或是把DF取log之前先加1等等
另外還有後來人的改進…變成新版的TF*IDF
似乎就稱為smoothing的公式
有興趣的話也可以再查查這方面的相關資料了:)

By: Mr. Thursday

Mr. Thursday — Sun, 21 Oct 2007 14:47:00 +0000

By: peter

peter — Sat, 20 Oct 2007 02:12:09 +0000

理解(understanding)確實是AI people想讓電腦做到的事,
但是中文房論證(或其他反駁AI的論證)似乎beg the question.
我的意思是,前提已經預設了電腦不可能(in principle)理解.

(這方面的討論在心智哲學中已經累積了很多文獻,有興趣的人可以Google一下.)

簡單提一個反駁論證:
一、我們預設了人類具有理解能力(具有mind).
二、如果上述的預設是正確的,腦會是最有可能”產生”理解能力的地方.
(或是執行該過程的地方)
三、如果我們將腦剖開,我們會發現”理解”或”mind”嗎?
四、不會.(許多哲學家認為mind是non-physical,所以不會located在空間)
五、反觀電腦,當電腦在運作時,我們似乎也觀察不到”理解”或”mind”.

那為什麼我們要認為電腦無法”理解”?
拿Searle的中文房論證來看,他不就預設了身在中文房中的外國人不懂中文嗎?

總之,上述的論證不在”證明”電腦可以理解或具有mind,而是指出所有用來”證明”電腦沒有理解能力的理由,同樣也適用人類自己.

By: peter

peter — Sat, 20 Oct 2007 02:12:00 +0000

(這方面的討論在心智哲學中已經累積了很多文獻,有興趣的人可以Google一下.)

那為什麼我們要認為電腦無法”理解”?
拿Searle的中文房論證來看,他不就預設了身在中文房中的外國人不懂中文嗎?

總之,上述的論證不在”證明”電腦可以理解或具有mind,而是指出所有用來”證明”電腦沒有理解能力的理由,同樣也適用人類自己.

By: Mr.J

Mr.J — Fri, 19 Oct 2007 04:33:58 +0000

的確　我也覺得少了斷詞技術
雖然　可得知關鍵字清單
如果再加上　關鍵字連結
可連結到關鍵字解釋名詞或是相關的網頁(例如:Wikipedia)

這樣　就變成知識網了

By: Mr.J

Mr.J — Fri, 19 Oct 2007 04:33:00 +0000

的確　我也覺得少了斷詞技術
雖然　可得知關鍵字清單
如果再加上　關鍵字連結
可連結到關鍵字解釋名詞或是相關的網頁(例如:Wikipedia)

這樣　就變成知識網了

By: Typed ROBIN

Typed ROBIN — Fri, 19 Oct 2007 02:04:17 +0000

這篇文章寫得真好, 實在太讚了,
不過,
我看完之後覺得,
這用在英文上面還可以, 因為英文剛好一個單字一個意義,
要用在中文上面的話, 好像少了啥…
或許是斷詞技術吧,
期待Thursday先生有機會能針對這個議題來做發揮囉!

By: Typed ROBIN

Typed ROBIN — Fri, 19 Oct 2007 02:04:00 +0000