Doudou LaLoudouana and Mambobo Bonouliqui Tarare

Data Set Selection

Winner of the Award "Most original submission" at NIPS 2002.

presentation的录像可以从jmlg的网站下载

 

这篇文章几年前就读过了

今天拿过来又读了一遍

不仅慨叹

虽然早就有人冒天下之大不韪把盖子揭开来凉着

可是游戏潜规则却一直没改变

只有门口那两只石狮子是干净的

 

 

Just thought about this when i was writting my own paper
someone check the correctness for me pls :)
there is a funny paper in NIPS talking about the same thing
but in a more formal way

 

Assume you have a method A and want to compare with a previous method B.
Method A and method B are independent.
The accuracies of these two methods are p_A and p_B respectively.
Given a sample, the probability that method A solves it correctly
but method B fails is p_A*(1-p_B).
So the average number N of samples you need to try before find a good one
to show your method A is better than method B is 1/[p_A*(1-p_B)].
Suppose your method A is actually sucks, p_A = 0.5, random guess;
and method B is ok, p_B = 0.75,
then N = 8, not a big number at all.

 

In other words, if in your paper, you select k examples from a set of
K samples to show that your method A is better than a previous method B,
whose accuracy is p_B.
Then we can only say that the expectation of p_A has a lower bound of k/[K(1-p_B)].
For example, you say your method A is applied to a sequence of 1,000 frames,
and a figure at the end of your paper gives 10 examples to show method
A is superior to method B, whose reported accuracy is 0.75, then the lower
bound of p_A's expectation is 0.04. Not useful at all.
But this is actually happening.
Usually the authors do not want to give out the number K,
but sometimes K just can not be hidden.

 

This shows the possibility of data selection in papers,
but also give us some guide line for paper reading.
1) If a paper only shows results on its own data,
and does not give the number K, the real p_A can be any values.
2) If a paper says the experiments are done on a set of K samples,
but no statistic results are give, except for some examples of perfect
results by method A but failed by a previous mehtod B,
you can evaluate the lower bound of p_A's expection based on p_B.
It is possible that p_B is also exaggerated, but still it is a lower bound.
Unfortunately, It is not difficult to find instances of the above two cases
in the top vision conferences, like CVPR, ICCV, or ECCV.

 

A convincing paper should include some quantitative experimental
results on some standard public data set.
This is not sufficient, but necessary.

经过多轮拉锯，proposal终于被老板放行了
感觉老板是一个很认真的人
明明proposal这种东西是不会有人仔细看的
可还是跟我字斟句酌
把proposal发出去的那一刻感觉轻松不少
有一种便秘许久一泻千里的快感
不过也只是万里长征中很小的一步

 

还是今天，提交了VACE evaluation的结果
暂时甩掉了我恨之入骨的这一坨xx
民工的日子告一段落
2007年这头一季就是在deadline中度过的
每日盯着calendar上的标记冲刺
好像一头呆驴直盯着眼前的那根胡萝卜死跑
就这个样子我们怎么为美国实现四化!

 

接下来11号的qual exam算是个小终点吧
搞定后哪位跟我一起喝两盅啊

一年一度的USC小世界杯在手忙脚乱中开幕了
周日上午王队打电话说下午有两场小组赛要踢
匆忙之中披挂上阵

 

第一场对新加坡，实力基本上不在一个档次
我们一直压在对方半场狂攻
可能是由于太急功近利，效果并不好
虽然单兵作战优势都很明显
但整体配合跑位却比较混乱
反而是被对手通过一次任意球机会门前捡漏得分
中场休息总结教训
很简单，就是要平和心态
下半场基本上正常发挥了
连扳两球反超
值得一提的是反超的关键一球是由女生打进的
（USC规定11人至少有两名女生）
再次体现出中国体育阴盛阳衰的本质

 

第二场对印度，上一届就是在半决赛被印度淘汰的
因此这次算是雪耻之战
老印普遍比较壮硕，但技术粗糙
只有有一名中场队员鹤立鸡群
能传能带能射，且速度奇快
正是由于他的一次单兵突击使我们又一次上半场一球落后
下半场我们对老印核心采取围堵战术
凶狠的逼强很好的限制了他的发挥
同时前场进攻也有声有色
终于在全场结束前两球超出
又拿下一场胜利

 

本日比赛由于未提前通知，导致多位核心缺席
但却打出了比较顺畅的配合
再一次印证了球星战术的不合理性

 

最后发指一下USC的裁判
既不理解足球规则
在场上又不积极跑动
整个一交通警察

昨天去电影院看了传说中300

故事情节很简单，300人挑战10万，最后慷慨就义

影片堪称是暴力美学的又一完美体现

画面充斥着沾满鲜血的冷兵器

血肉之躯被割开后的切口逼真的被再现

长矛贯穿胸膛时的声音好像是在戳多汁的水果

不过最令人赞叹的还是300斯巴达勇士的壮硕体格

各个肌肉棱角分明，高大英俊

每个画面都像是几个健美运动员在摆组合造型

又像是男性脱衣舞表演

1800块腹肌总是保持紧绷和充血的状态

所有看完影片的男士都热血沸腾

 

我要抓紧时间去健身房

LA的夏天就要到了

CVPR的结果居然提早二十天出炉了
我认识的在做vision的诸位可谓喜报频传哪
在西北吴老板手下的声扬两片，其中一篇oral
Gatech的殷培在周游世界之余搞定一篇
清华艾老师手下已知的至少有两篇
其中一篇来自李媛的oral, future star啊
USC的各位灌水率也极高
阿凤一篇
昌哥一篇
于骞一篇
我两篇
cvpr的时候可以搞个清华同乡会了
还是那句话
中国学者像细菌一样在各个领域顽强繁殖
con to all

近一个月来拜该死的evaluation所赐
有些冲刺过渡了，可谓是身心俱疲
今天居然有些感冒
有生以来头一次累得生病
也算是为美国的现代化添砖加瓦了

 

好在终于把方法部分的问题基本搞定了
剩下就是一些不用动脑的体力活了
由于没有在硬盘烂掉前备份某个该死的程序，做了不少重复劳动

（备份了那么多，就偏偏忘了它）
这是导致我极度郁闷的因素之一

 

加之老板不断的以我为反面典型教育大家要养成使用自动备份软件及版本控制软件的好习惯
更是时常有想放把火把实验室点了，大家玉石俱焚的冲动
现在终于有个更好的新版本了
不用再听他说些有的没的
下次再拿我扎筏子
我就...... 就...

 

还好老板看不懂中文，我可以在这放点硬话