开发者:上海品职教育科技有限公司 隐私政策详情

应用版本:4.2.11(IOS)|3.2.5(安卓)APP下载

ladycoco想放假 · 2020年01月29日

关于tf和df

想问一下,为什么term frequency 如果太大或太小都说明这个词是个不太重要的词,这个我理解。但是df如果越大说明这个词越不重要,越小是越重要呢?document frequency 是指出现这个词的句子个数除以总句数,按理说如果df小,也有可能是个proper noun,虽然df小但其实也没啥用。
1 个答案
已采纳答案

星星_品职助教 · 2020年02月04日

同学你好,

其实无论哪种衡量方法,最终都需要结合题干的具体描述才能得出结论。因为词频大,既有可能是无用的停止词,也有可能就是因为这个词重要所以才出现的多,需要结合其他信息才能给出最终的结果。

ladycoco想放假 · 2020年02月04日

也就是说,DF大也不一定是不重要的词?那IDF小也不一定是不重要的词咯?这跟老师说的IDF越大越重要好像矛盾了

星星_品职助教 · 2020年02月04日

正常的规律是如果DF太高,说明文本中几乎每句话都有这个单词。这个单词也就反而没有了区分度。但是要结合实际的题目背景,看题干里有没有设置陷阱

  • 1

    回答
  • 0

    关注
  • 317

    浏览
相关问题