收集关于PCA, principal component method 的相关文章。
A tutorial on Principal Components Analysis by Lindsay I Smith, 2002
http://www.cs.otago.ac.nz/cosc453/student_tutorials/principal_components.pdf
一篇关于PCA的PDF教程，从最开始的数学公式出发，易读。
2016年12月6日星期二
Bayes Method
收集关于贝叶斯方法的好文
Bayes方法耳熟而不能详，一直尝试学习很多遍，但感觉不能深得其精髓。这篇是一个写得非常形象化的一片文章，从历史出发，简短而深刻 加强理解。
数学之美番外篇：平凡而又神奇的贝叶斯方法
http://mindhacks.cn/2008/09/21/the-magical-bayesian-method/Bayes方法耳熟而不能详，一直尝试学习很多遍，但感觉不能深得其精髓。这篇是一个写得非常形象化的一片文章，从历史出发，简短而深刻 加强理解。
2016年9月13日星期二
[ life ] Not All Practice Makes Perfect
When I was learning the path to Data Scientist from DataQuest, an interesting method is mentioned about how to learn a new skill. Daily practices are not enough. We also should learn how to practice more efficient.
Here is the description of practice in WIKI. They mentioned a kind of practice I still did not quite understand.
Here is the description of practice in WIKI. They mentioned a kind of practice I still did not quite understand.
Deliberate practice
Another article talks about "purposely practice":
卓越之道
研究表明，缺少天赋与不能出类拔萃无关，成功的秘密在于艰苦而严格的训练以及努力工作
作者: Geoffrey Colvin
是什么让泰格•伍兹（Tiger Woods）成就非凡？是什么让沃伦•巴菲特（Warren Buffett）成为世界顶尖投资人？我们曾经以为自己知道答案: 因为他们生来就具备了从事各自职业的天赋。这正像不久前巴菲特对《财富》杂志所说的: “我天生就喜欢分配资本。”有这种天赋的人可谓万里挑一。你没有，就是没办法。
行了，伙计，事情没这么简单。首先，人并不具备生来就能做某项工作的天赋，因为并不存在特定的天赋（对不住了，沃伦）。谁也不是天生的首席执行官，或者天生就是国际象棋特级大师。你只有通过长年、大量的努力，才能实现卓越。不是一般的努力，而是艰苦又严格的那种。比如巴菲特，人们都知道，他非常自律，把大量的时间用于研究潜在投资目标的财务报表。对你来说，好消息是有没有天赋并不重要，天赋与卓越之间关系不大，甚至根本无关。你完全可以改变命运，甚至达到卓越。科学家在多个领域里得到了惊人相似的结论。要知道，有天赋不意味有著智慧，不意味著有上进心，不意味著有个性特点。它只是一种与生俱来的能力，可以让人把某件事做得特别好。来自英国的研究人员迈克尔•J•豪（Michael J. Howe）、简•W•戴维森（Jane W. Davidson）、约翰 A 斯鲁博达（John A. Sluboda）在经过广泛研究后得出结论: “我们调查出的证据表明，拥有天赋并不能导致卓越。”
如果想了解科研人员如何得出这样的结论，让我们先考虑一下他们要解决的问题。几乎在所有需要艰苦学习的领域，绝大数人都是一开始学得很快，然后减慢，最后完全停滞了。但少数人却能花上数年或数十年继续提高，最终达到卓越。人们不禁会问: 这是为什么？[佛罗里达大学教授 K•安德斯•埃里克森（K. Anders Ericsson）说，这是研究人员的“终极难题”。埃里克森等人是这一领域最杰出的研究人员] 某些人为什么能继续提高？答案要从对各领域杰出人士的长期观察说起。1993 年，埃里克森和他的同事发表了里程碑式的论文，自那以后，世界各地的科学家进行了数十项研究，许多人把注意力集中在体育、音乐和国际象棋上，因为对这些领域的成就进行长期评估和制作图表相对容易。科学家们还考察了其他领域，其中也包括商业。
第一个重大结论是，不努力就不可能达到卓越。你可以认为，只要找到你有天赋的领域，你就会自始至终保持卓越，但这种情况并不存在。没有证据表明，一个人无需历练和实践就能获得优异的成绩。大量证据显示，即便最具才华的人，也需要 10 年左右的努力才能达到一流的境界。这更支持了刚才的“天底下没有免费午餐”的说法，而且它已经得到广泛认可，研究人员称之为“10 年法则”。那么，该怎么解释鲍比•费舍尔（Bobby Fischer）的情况呢？他可是 16 岁就成为国际象棋特级大师了！实际上，这条法则对他也成立: 他曾精心钻研了 9 年。正如南加州大学的约翰•霍恩（John Horn）和加利福尼亚州立大学的松永浩美（Hiromi Masunaga）所注意到的，“10 年是很粗略的估计，大多数研究人员将它看成是最低值，而不是平均值。”很多领域（如音乐、文学）的杰出者要经过二三十年的时间才能到达巅峰。
所以，卓越可不是能够信手拈来的，而是要经过艰苦努力。但光努力还不够，因为很多人努力了几十年也没有实现卓越，甚至没有取得大的进步。只有那些花大量时间进行“刻意练习”（deliberate practice）的人，才可能成为本领域的佼佼者。“刻意练习”的行为，力求改善成绩，超越自己的能力，对结果做出反馈，并进行高水平的重复练习。举个例子说，大多数高尔夫球爱好者的水平无法提高，这是因为，仅仅打出一桶高尔夫球，那不叫刻意练习。用 8 号铁杆击球 300 次，力争将球打到距旗杆 20 英尺以内的成功率达到 80%，不断观察和做出相应调整，每次都练上几个小时──这才是刻意练习。持之以恒是关键。埃里克森说: “我们发现，各领域的精英每天花在练习上的时间都是相同的，周末也是如此。”
在相当多的领域里，都可以找到同样的证据。埃里克森和他的同事研究了一群 20 岁的小提琴演奏者，最好的一组（由音乐学校老师评定）平均每人做过 1 万小时的刻意练习；较次的一组为 7,500 小时，再次的一组为 5,000 小时。在外科、保险销售和几乎所有体育项目上，这种情况无一例外。刻意练习越多，成就越大。大量的刻意练习，就意味著卓越。
不是所有的研究人员都赞同天赋无稽论，但他们并非反对这一观点的核心，只是对边缘的问题持有异议。首先，有些东西不可计量。两位运动员也许同样努力，可如何解释新英格兰爱国者队（New England Patriots）四分卫汤姆•布拉迪（Tom Brady）可以在比赛的最后两分钟有更胜一筹的表现呢？还有，研究人员曾提到，有些神童在非常小的时候就学会了说话、阅读和演奏音乐。但调查表明，这些情况一般与他们父母有很大关系。此外，很多神童并没有在他们小时了了的领域里到达卓越，而很多佼佼者在小的时候表现平平。当然，部分重要的特质得分来自遗传，但与体格、极高的智力相比，这些因素对他们从事的职业的影响并不大，只是导致了他们不去从事某些职业。身高只有五英尺，肯定没法去全国棒球联赛（NFL）当前锋，七英尺高的人也参加不了奥运会的体操比赛。而且，这些限制也不如人们想象的那样大。埃里克森指出: “有些象棋国际特级大师的智商只有 90 多。”研究做得越多，刻意练习理论就越发得到证实。
从所有这些学术研究中可以看出，杰出者多年来在做什么。举几个例子。20 世纪最伟大的演讲者之一温斯顿•丘吉尔不断地强迫自己练习演讲。据说，钢琴家弗拉吉米尔•霍洛维茨（Vladimir Horowitz）讲过: “一天不练，我能听出来；两天不练，我妻子能听出来；三天不练，全世界都能听出来。”他绝对称得上是魔鬼练习者。同样的话，也可用于作曲家伊格纳斯•帕德鲁斯基（Ignace Paderewski）和歌唱家卢奇亚诺 帕瓦罗蒂（Luciano Pavarotti）。许多杰出的运动员都以日常训练严酷著称。在篮球方面，迈克尔•乔丹的训练强度超过了他的球队，尽管球队的训练已经十分艰苦。（乔丹并不具备很高的篮球天赋，要不然，他也不会落选高中时的球队。）在橄榄球方面，有史以来最伟大的接球手杰里•莱斯（Jerry Rice）先后被 15 支队伍弃用，因为它们觉得他太慢了。但通过极为刻苦的训练，他终于将其他选手甩在身后。泰格 伍兹是研究结论的典型例子。他的父亲在他很小的时候（18 个月）就教他打高尔夫球，并鼓励他刻苦训练。到他 18 岁成为美国业余冠军赛最年轻的冠军时，他已经练了至少 15 年。和研究结论一致的情况还有，他每天都要长时间训练，从未停止过改进，甚至两次改变他的挥杆动作，因为这样可以提高成绩。
无论是科学证据还是坊间传闻，似乎都压倒性地倾向于认为，刻意练习是成大功之母。可是有个问题: 商业该怎么样练习呢？实际上，商业的许多元素是可以练习的。演示、谈判、评估、解读财务报告……这些都是可以训练的。然而，这些还不是取得卓越管理成就的根本所在。要做到这一点，需要你能够在不确定的环境下凭借不完善的信息做出判断和决策、与他人沟通、寻求信息，这些东西也能练吗？能练，但练的方式与演奏肖邦的练习曲是不一样的。
毋宁说，这种练完全是去做你已经在做的事情──你在工作中已经形成了习惯性做法，而你需要对这些做法做一些重大的变更。首先，你可以给每项任务制定一个新目标: 不要仅满足于完成，而要设法做得更好。写报告需要资料的寻找、分析和提交，每一项都能加以改进。主持董事会会议需要最深入理解公司战略，对未来的市场变化要有一种条理清晰的看法，并且为讨论定下基调。每个人所做的每项工作，从基础的到最高级的，都可以改进。
有了这种心态，人们就有了新的工作方式。研究显示，这样的人处理信息时更投入，记忆更长久。他们想更多地了解有关工作的信息，并寻找更多的视角。他们接受更长远的观点。这种观念在他们具体行动时依然存在。他们不只是在工作。从更深的意义上说，他们在是积极改善工作。研究一再表明，这种思维方式的差别极为重要。例如，一位业余歌手在上歌唱课时，会认为这是一件好玩而且能释放压力的事。但对职业歌手来说正相反: 他们在课上会把注意力集中在改进他们的演唱上。同样的行动，心态不同。
反馈十分重要。在商业中得到反馈并不难。但大多数人不是去寻找反馈，只是等著它来，一半人还希望它不要来。高盛公司（Goldman Sachs）领导力开发主管史蒂夫•科尔（Steve Kerr）说，没有反馈，“就像隔著一道垂至膝盖的帘子打保龄球。如果你不清楚你的成绩如何，会出现两种情况: 第一，你不再长进；第二，不再关心。”在有些公司，定期反馈是一种文化，如通用电气。要是你无缘得到反馈，就自己去把它找出来。
在此过程中，你的目标之一是建立研究人员所说的“业务的思维模式”，就是让各种元素共同配合、彼此影响的模式。在这上面下的工夫越多，思维模式就越宽广，绩效增长效果就越佳。安迪•格鲁夫（Andy Grove）的头脑中始终保持一个能改变世界的技术行业的模式，审时度势地改造英特尔（Intel）；微软（Microsoft）的创始人比尔•盖茨（Bill Gates）也有同样的绝招: 身处 PC 时代的曙光，他看到让人人桌上有一台电脑的目标可以实现，而且会创造出极其巨大的市场。约翰•D•洛克菲勒（John D. Rockefeller）也预见到，石油会成为改变世界的新行业。拿破仑是这类人当中最杰出的。他不但能考虑一场大战中的各种因素，更重要的是，他还能在这些因素发生意外变化时迅速做出反应。刻意练习好处多多，很值得一做，但还必须有个条件: 要有常性，不能一曝十寒，否则毫无益处。
对大多数人来说，工作已经够辛苦了，不能再苦了。上面那些做法实在太难、太苦，他们几乎不会去做。又苦又难是肯定的。要是卓越那么容易实现，岂不人人都能做到了？这把我们带向有关卓越的最深刻问题。尽管专家们了解很多能产生卓越的行为，但他们对这些行为的来源却知之甚少。一项研究报告的作者认为: “我们仍不知道是什么因素促使一些人从事刻意练习。”密歇根大学商学院教授诺尔•蒂希（Noel Tichy）说: “有些人比别人动力更强，对于这个问题，我答不上来。”事实的关键在于，我们并非受制于天赋。我们能实现自己的理想。奇怪的是，人们不太接受这种观点。他们还是愿意相信，只要有天赋，求名求利便轻而易举。但这种观点却悲剧性地限制了人们的成长，因为生活不可避免会遇到障碍，人们在此时会认为自己没有天赋而放弃。
也许我们不能期望所有人都达到卓越。这样的要求太高了。但令人振奋和感到解脱的消息是，卓越不是为少数人准备的。每个人都有机会实现卓越。
研究表明，缺少天赋与不能出类拔萃无关，成功的秘密在于艰苦而严格的训练以及努力工作
作者: Geoffrey Colvin
是什么让泰格•伍兹（Tiger Woods）成就非凡？是什么让沃伦•巴菲特（Warren Buffett）成为世界顶尖投资人？我们曾经以为自己知道答案: 因为他们生来就具备了从事各自职业的天赋。这正像不久前巴菲特对《财富》杂志所说的: “我天生就喜欢分配资本。”有这种天赋的人可谓万里挑一。你没有，就是没办法。
行了，伙计，事情没这么简单。首先，人并不具备生来就能做某项工作的天赋，因为并不存在特定的天赋（对不住了，沃伦）。谁也不是天生的首席执行官，或者天生就是国际象棋特级大师。你只有通过长年、大量的努力，才能实现卓越。不是一般的努力，而是艰苦又严格的那种。比如巴菲特，人们都知道，他非常自律，把大量的时间用于研究潜在投资目标的财务报表。对你来说，好消息是有没有天赋并不重要，天赋与卓越之间关系不大，甚至根本无关。你完全可以改变命运，甚至达到卓越。科学家在多个领域里得到了惊人相似的结论。要知道，有天赋不意味有著智慧，不意味著有上进心，不意味著有个性特点。它只是一种与生俱来的能力，可以让人把某件事做得特别好。来自英国的研究人员迈克尔•J•豪（Michael J. Howe）、简•W•戴维森（Jane W. Davidson）、约翰 A 斯鲁博达（John A. Sluboda）在经过广泛研究后得出结论: “我们调查出的证据表明，拥有天赋并不能导致卓越。”
如果想了解科研人员如何得出这样的结论，让我们先考虑一下他们要解决的问题。几乎在所有需要艰苦学习的领域，绝大数人都是一开始学得很快，然后减慢，最后完全停滞了。但少数人却能花上数年或数十年继续提高，最终达到卓越。人们不禁会问: 这是为什么？[佛罗里达大学教授 K•安德斯•埃里克森（K. Anders Ericsson）说，这是研究人员的“终极难题”。埃里克森等人是这一领域最杰出的研究人员] 某些人为什么能继续提高？答案要从对各领域杰出人士的长期观察说起。1993 年，埃里克森和他的同事发表了里程碑式的论文，自那以后，世界各地的科学家进行了数十项研究，许多人把注意力集中在体育、音乐和国际象棋上，因为对这些领域的成就进行长期评估和制作图表相对容易。科学家们还考察了其他领域，其中也包括商业。
第一个重大结论是，不努力就不可能达到卓越。你可以认为，只要找到你有天赋的领域，你就会自始至终保持卓越，但这种情况并不存在。没有证据表明，一个人无需历练和实践就能获得优异的成绩。大量证据显示，即便最具才华的人，也需要 10 年左右的努力才能达到一流的境界。这更支持了刚才的“天底下没有免费午餐”的说法，而且它已经得到广泛认可，研究人员称之为“10 年法则”。那么，该怎么解释鲍比•费舍尔（Bobby Fischer）的情况呢？他可是 16 岁就成为国际象棋特级大师了！实际上，这条法则对他也成立: 他曾精心钻研了 9 年。正如南加州大学的约翰•霍恩（John Horn）和加利福尼亚州立大学的松永浩美（Hiromi Masunaga）所注意到的，“10 年是很粗略的估计，大多数研究人员将它看成是最低值，而不是平均值。”很多领域（如音乐、文学）的杰出者要经过二三十年的时间才能到达巅峰。
所以，卓越可不是能够信手拈来的，而是要经过艰苦努力。但光努力还不够，因为很多人努力了几十年也没有实现卓越，甚至没有取得大的进步。只有那些花大量时间进行“刻意练习”（deliberate practice）的人，才可能成为本领域的佼佼者。“刻意练习”的行为，力求改善成绩，超越自己的能力，对结果做出反馈，并进行高水平的重复练习。举个例子说，大多数高尔夫球爱好者的水平无法提高，这是因为，仅仅打出一桶高尔夫球，那不叫刻意练习。用 8 号铁杆击球 300 次，力争将球打到距旗杆 20 英尺以内的成功率达到 80%，不断观察和做出相应调整，每次都练上几个小时──这才是刻意练习。持之以恒是关键。埃里克森说: “我们发现，各领域的精英每天花在练习上的时间都是相同的，周末也是如此。”
在相当多的领域里，都可以找到同样的证据。埃里克森和他的同事研究了一群 20 岁的小提琴演奏者，最好的一组（由音乐学校老师评定）平均每人做过 1 万小时的刻意练习；较次的一组为 7,500 小时，再次的一组为 5,000 小时。在外科、保险销售和几乎所有体育项目上，这种情况无一例外。刻意练习越多，成就越大。大量的刻意练习，就意味著卓越。
不是所有的研究人员都赞同天赋无稽论，但他们并非反对这一观点的核心，只是对边缘的问题持有异议。首先，有些东西不可计量。两位运动员也许同样努力，可如何解释新英格兰爱国者队（New England Patriots）四分卫汤姆•布拉迪（Tom Brady）可以在比赛的最后两分钟有更胜一筹的表现呢？还有，研究人员曾提到，有些神童在非常小的时候就学会了说话、阅读和演奏音乐。但调查表明，这些情况一般与他们父母有很大关系。此外，很多神童并没有在他们小时了了的领域里到达卓越，而很多佼佼者在小的时候表现平平。当然，部分重要的特质得分来自遗传，但与体格、极高的智力相比，这些因素对他们从事的职业的影响并不大，只是导致了他们不去从事某些职业。身高只有五英尺，肯定没法去全国棒球联赛（NFL）当前锋，七英尺高的人也参加不了奥运会的体操比赛。而且，这些限制也不如人们想象的那样大。埃里克森指出: “有些象棋国际特级大师的智商只有 90 多。”研究做得越多，刻意练习理论就越发得到证实。
从所有这些学术研究中可以看出，杰出者多年来在做什么。举几个例子。20 世纪最伟大的演讲者之一温斯顿•丘吉尔不断地强迫自己练习演讲。据说，钢琴家弗拉吉米尔•霍洛维茨（Vladimir Horowitz）讲过: “一天不练，我能听出来；两天不练，我妻子能听出来；三天不练，全世界都能听出来。”他绝对称得上是魔鬼练习者。同样的话，也可用于作曲家伊格纳斯•帕德鲁斯基（Ignace Paderewski）和歌唱家卢奇亚诺 帕瓦罗蒂（Luciano Pavarotti）。许多杰出的运动员都以日常训练严酷著称。在篮球方面，迈克尔•乔丹的训练强度超过了他的球队，尽管球队的训练已经十分艰苦。（乔丹并不具备很高的篮球天赋，要不然，他也不会落选高中时的球队。）在橄榄球方面，有史以来最伟大的接球手杰里•莱斯（Jerry Rice）先后被 15 支队伍弃用，因为它们觉得他太慢了。但通过极为刻苦的训练，他终于将其他选手甩在身后。泰格 伍兹是研究结论的典型例子。他的父亲在他很小的时候（18 个月）就教他打高尔夫球，并鼓励他刻苦训练。到他 18 岁成为美国业余冠军赛最年轻的冠军时，他已经练了至少 15 年。和研究结论一致的情况还有，他每天都要长时间训练，从未停止过改进，甚至两次改变他的挥杆动作，因为这样可以提高成绩。
无论是科学证据还是坊间传闻，似乎都压倒性地倾向于认为，刻意练习是成大功之母。可是有个问题: 商业该怎么样练习呢？实际上，商业的许多元素是可以练习的。演示、谈判、评估、解读财务报告……这些都是可以训练的。然而，这些还不是取得卓越管理成就的根本所在。要做到这一点，需要你能够在不确定的环境下凭借不完善的信息做出判断和决策、与他人沟通、寻求信息，这些东西也能练吗？能练，但练的方式与演奏肖邦的练习曲是不一样的。
毋宁说，这种练完全是去做你已经在做的事情──你在工作中已经形成了习惯性做法，而你需要对这些做法做一些重大的变更。首先，你可以给每项任务制定一个新目标: 不要仅满足于完成，而要设法做得更好。写报告需要资料的寻找、分析和提交，每一项都能加以改进。主持董事会会议需要最深入理解公司战略，对未来的市场变化要有一种条理清晰的看法，并且为讨论定下基调。每个人所做的每项工作，从基础的到最高级的，都可以改进。
有了这种心态，人们就有了新的工作方式。研究显示，这样的人处理信息时更投入，记忆更长久。他们想更多地了解有关工作的信息，并寻找更多的视角。他们接受更长远的观点。这种观念在他们具体行动时依然存在。他们不只是在工作。从更深的意义上说，他们在是积极改善工作。研究一再表明，这种思维方式的差别极为重要。例如，一位业余歌手在上歌唱课时，会认为这是一件好玩而且能释放压力的事。但对职业歌手来说正相反: 他们在课上会把注意力集中在改进他们的演唱上。同样的行动，心态不同。
反馈十分重要。在商业中得到反馈并不难。但大多数人不是去寻找反馈，只是等著它来，一半人还希望它不要来。高盛公司（Goldman Sachs）领导力开发主管史蒂夫•科尔（Steve Kerr）说，没有反馈，“就像隔著一道垂至膝盖的帘子打保龄球。如果你不清楚你的成绩如何，会出现两种情况: 第一，你不再长进；第二，不再关心。”在有些公司，定期反馈是一种文化，如通用电气。要是你无缘得到反馈，就自己去把它找出来。
在此过程中，你的目标之一是建立研究人员所说的“业务的思维模式”，就是让各种元素共同配合、彼此影响的模式。在这上面下的工夫越多，思维模式就越宽广，绩效增长效果就越佳。安迪•格鲁夫（Andy Grove）的头脑中始终保持一个能改变世界的技术行业的模式，审时度势地改造英特尔（Intel）；微软（Microsoft）的创始人比尔•盖茨（Bill Gates）也有同样的绝招: 身处 PC 时代的曙光，他看到让人人桌上有一台电脑的目标可以实现，而且会创造出极其巨大的市场。约翰•D•洛克菲勒（John D. Rockefeller）也预见到，石油会成为改变世界的新行业。拿破仑是这类人当中最杰出的。他不但能考虑一场大战中的各种因素，更重要的是，他还能在这些因素发生意外变化时迅速做出反应。刻意练习好处多多，很值得一做，但还必须有个条件: 要有常性，不能一曝十寒，否则毫无益处。
对大多数人来说，工作已经够辛苦了，不能再苦了。上面那些做法实在太难、太苦，他们几乎不会去做。又苦又难是肯定的。要是卓越那么容易实现，岂不人人都能做到了？这把我们带向有关卓越的最深刻问题。尽管专家们了解很多能产生卓越的行为，但他们对这些行为的来源却知之甚少。一项研究报告的作者认为: “我们仍不知道是什么因素促使一些人从事刻意练习。”密歇根大学商学院教授诺尔•蒂希（Noel Tichy）说: “有些人比别人动力更强，对于这个问题，我答不上来。”事实的关键在于，我们并非受制于天赋。我们能实现自己的理想。奇怪的是，人们不太接受这种观点。他们还是愿意相信，只要有天赋，求名求利便轻而易举。但这种观点却悲剧性地限制了人们的成长，因为生活不可避免会遇到障碍，人们在此时会认为自己没有天赋而放弃。
也许我们不能期望所有人都达到卓越。这样的要求太高了。但令人振奋和感到解脱的消息是，卓越不是为少数人准备的。每个人都有机会实现卓越。
订阅：
博文 (Atom)