CCF小组讨论2区

作者: 云中布衣   分类:  数据比赛    热度: (1083℃)   时间: 2015-11-8 23:28   标签: #国科大  #作业    

我是首页图菌


15070214327459.jpg



分类认知学习方法

1.构造性学习算法(覆盖算法)
2.基于规划的算法(SVM支持向量机)
3.基于搜索机制的算法(BP通过反向传播来不断调整,网络的权值和阈值,使网络的误差平方和最小)


常用监督学习算法

1.决策树
2.支持向量机/Perceptron
3.AdaBoost



对于中文垃圾短信分类

1.中文分词

用开源的分词系统吧,Python

2.训练

用Ruby 自己设计算法~

3.分类

用Ruby 自己设计算法

此外需要注意训练集与测试集的划分


CCF比赛总共给出了100万数据,其中训练数据80万,预测数据20万。


训练数据的格式

序号   标识     短信内容

1 0 商业秘密的秘密性那是维系其商业价值和垄断地位的前提条件之一
2 1 南口阿玛施新春第一批限量春装到店啦         春暖花开淑女裙、冰蓝色公主衫   气质粉小西装、冰丝女王长半裙、   皇
3 0 带给我们大常州一场壮观的视觉盛宴
4 0 有原因不明的泌尿系统结石等
5 0 23年从盐城拉回来的麻麻的嫁妆
6 0 感到自减肥、跳减肥健美操、
7 1 感谢致电杭州萧山全金釜韩国烧烤店,本店位于金城路xxx号。韩式烧烤等,价格实惠、欢迎惠顾【全金釜韩国烧烤店】

预测数据的格式

序号    短信内容

800001 .x月xx日推出凭证式国债x年期x.xx.xx%,x年期x.xx%到期一次还本付息。真情邮政,为您竭诚服务!  咨询电话xxxx-xx
800002 x强度等级水泥的必要性和可行性进行深入研究
800003 Don’tSellaProduct
800004 以上比赛规则由江苏科技大学教职工摄影协会负责解释
800005 坐12个小时飞机身体已经疲惫不堪


提交数据的格式


序号,标识

800001,1
800002,0
800003,0
800004,0
800005,0

注:标识为1表示是垃圾短信,表示为0表示不是垃圾短信

由于100万条短信,直接用来算法的测试不太方面,故我将训练数据中的1万条短信单独取出来~

源码:cutsms_1w.rb 输出到:data_1w.txt

数据格式为:

序号   标识     短信内容

1 0 商业秘密的秘密性那是维系其商业价值和垄断地位的前提条件之一
2 1 南口阿玛施新春第一批限量春装到店啦         春暖花开淑女裙、冰蓝色公主衫   气质粉小西装、冰丝女王长半裙、   皇
3 0 带给我们大常州一场壮观的视觉盛宴
4 0 有原因不明的泌尿系统结石等
5 0 23年从盐城拉回来的麻麻的嫁妆
6 0 感到自减肥、跳减肥健美操、
7 1 感谢致电杭州萧山全金釜韩国烧烤店,本店位于金城路xxx号。韩式烧烤等,价格实惠、欢迎惠顾【全金釜韩国烧烤店】


然后再对这个1万条短信进行训练集与测试集的划分,我的划分是8000条短信作为训练用,2000条短信作为测试用

源码:cutsms_train.rb 训练数据输出到:data_train.txt

数据格式为

序号   标识     短信内容

1 0 商业秘密的秘密性那是维系其商业价值和垄断地位的前提条件之一
2 1 南口阿玛施新春第一批限量春装到店啦         春暖花开淑女裙、冰蓝色公主衫   气质粉小西装、冰丝女王长半裙、   皇
3 0 带给我们大常州一场壮观的视觉盛宴
4 0 有原因不明的泌尿系统结石等
5 0 23年从盐城拉回来的麻麻的嫁妆
6 0 感到自减肥、跳减肥健美操、
7 1 感谢致电杭州萧山全金釜韩国烧烤店,本店位于金城路xxx号。韩式烧烤等,价格实惠、欢迎惠顾【全金釜韩国烧烤店】


源码: cutsms_test.train 测试数据输出到:data_test.txt

数据格式为

8001 .x月xx日推出凭证式国债x年期x.xx.xx%,x年期x.xx%到期一次还本付息。真情邮政,为您竭诚服务!  咨询电话xxxx-xx
8002 x强度等级水泥的必要性和可行性进行深入研究
8003 以上比赛规则由江苏科技大学教职工摄影协会负责解释
8004 坐12个小时飞机身体已经疲惫不堪

源码: data_result.train 测试数据结果输出到:data_result.txt

数据格式为:

序号,标识

8001,1
8002,0
8003,0
8004,0
8005,0
56.8K

发表评论:

© 云中布衣 2015 | Driven by EMLOG  | SiteMap | RunTime: 7.81ms RSS  |   | 回到顶部

文章数量【230】 评论数量【158】 稳定运行【1089天】

Visitor IP Address【54.224.111.99】