在心理学领域，什么样的研究算是有「好品位」的研究？
这个问题当年有一位大佬在组会上讨论过，当时的结论是有两种研究是好的研究 这么多年以来我觉得这两个标准还是比较适用的。但是我觉得要根据个人的经历将两点展开来看。 真正在好好回答一个问题的研究其实并不多。心理学有很多研究存在集中常见的倾向： 1）在已有的研究上多添加一个变量，看看新的变量会不会效应；比如，前人发现颜色在视觉搜索过程中会影响搜索速度，那可以看看朝向，形状，特殊物体等等能不能影响搜索速度——每一个变量就可以做一个实验。 2）将已有的研究换一个情境，看看之前的变量在新的情境下是不是同样有效应。比如，前人发现颜色在工作记忆中会影响绩效，那换一个情境，看看颜色是不是也影响人类的注意，然后用视觉搜索(Visual Search)或者多物体跟踪(Multiple Object Tracking)做个实验。 3）找到研究A的变量，找到研究B的变量，放到一起看看是不是有关系。比如觉得记忆和注意的范式有点像，那就把两种范式融合起来，做一个双任务范式，看看记忆会不会影响注意，或者看看注意会不会影响记忆。 这三种研究其实是非常容易做的，就是多读一读文献，然后跟着文献做就可以了。有时候，稍微发挥一下，也确实可以发现新的现象，产生新的问题，比如“注意和记忆之间的关系”这个问题的讨论就是一系列这样的实验发展起来的。当然，现在是越讨论也不知道在讨论什么。 这样的心理学研究往往不是在回答一个研究问题，只是在不断地做研究，然后收集新的数据。当然，每一项这样的研究，当你在读他们发表的文章的时候，会发现他们都在“试图回答一个问题”。这往往是一种事后解释。更合理的理解方法应该是：我想试试这个，我想试试那个，看看能试出个什么东西。这种途径作为科学探索当然是不可或缺的一部分，但是一直都做这样的研究，就显得有点蛋疼了。 与此不同，好的研究往往会快速地完成探索阶段，找到核心问题所在，然后针对性地设计一系列的实验来试图解决他们所看到的核心问题。这样的研究，在经历过一系列的实验之后，通常能给人一种证据确凿的感觉，每一个研究都能切中要害地（1）证实研究者自己对于问题的主张，（2）反驳其他人对于问题不同而主张。这样，研究之间才会产生博弈，才会大家一起把一个搞不清的问题搞清楚，而不是跟着别人后面收割low hanging fruit，然后为别人的理论提供素材。 很多人觉得心理学研究很简单，就是想想点子，找找变量，发发问卷，或者做做实验。很多刚入门的朋友也就是按照这样的思路去做心理学研究的：想想点子，找找变量，发发问卷，然后做做实验。这样轻视心理学研究设计和分析的结果，就是产生一系列垃圾研究，其中包括一系列不可重复的研究。很多研究，从文献上读起来，就觉得很傻，因为一眼就可以看出这个研究的漏洞。 一个能显示出人聪明的研究往往是那种设计之后看似简单，但是实际上滴水不漏的研究。这样的设计分为两种 1）研究者永远比你想的周全。聪明的研究之一就是思考的缜密。心理学研究往往需要测量一些不能直接观测的事物，或者需要操作性定义一些建构。这样的测量和定义经常容易存在漏洞，比如混淆变量控制不清，测量的内容效度不高，或者并不是真正想研究的内容。这种情况经常旁观者清，所以读者更容易指出研究设计中的疏忽。但是好的研究，往往在设计的时候就提前想好了各种可能性，想到了需要控制的潜在的混淆变量，并且使用不同的范式来测量同一个心理建构，从而能够从多方面自我验证。很多研究的多个实验时间是互相可以自我验证的，这个过程同时也是在验证自己的研究成果是否能够重复。 所以，在阅读这样的研究的时候，读者往往想对研究结果提出疑问的时候，就发现作者紧跟在后的研究就解答了读者的疑问，而且是用的读者没有想到的实验手段。这样，读者就能跟着作者一步一步把所有其他可能的混淆变量都排除，然后心悦诚服地相信作者的结论。这里我推荐Nancy Kanwisher的FFA那篇paper： 遗憾的是，这样的文章经常比较长，而且现在的研究越来越不这么干了，经常一上来就是一两个实验，然后匆匆说出结果，留下一堆烂泥等着后人入坑。 2）研究者能想到你想不到的方法来剖析和测量某些变量，从而给研究问题提供了全新的思路。这方面可能是最能够体现心理学研究者水平和聪明的。心理学研究最难的地方，我个人认为，就是设计出一个实验来真正测量研究所感兴趣的心理建构。 目前很多心理学实验主要是在搬运研究范式——找一找别人怎么做实验的，然后改改参数编程自己的实验。真正想设计出全新的实验范式，然后通过一系列实验证明范式有效的，然后在一个老的问题上提供全新的思路。这一点，比如Wilken & Ma(2004)那篇工作记忆的实验。其实看起来非常简单，但是用了完全不同的方法来测量工作记忆，对工作记忆之后十年的研究、模型和数据分析都产生了深远的影响。 当然，更早的时候，Sperling(1960)所采用的部分报告法研究视觉暂留，之后被Neisser上升为“印象记忆”，也是对整个视觉记忆的研究有深远的影响。 在更抽象的领域，诸如社会心理学、临床心理学、工业与管理心理学领域，要设计一个恰当的实验就更难了。因为这些领域所讨论的研究对象和研究建构更加抽象。有时候要对这些领域的建构设计实验进行实证研究，是一件很困难的事情。比如临床心理学里面很多建构和概念，到现在也没有好的研究范式去做实验研究，所以目前会做一些quasi-experimental design、问卷或者自然观察。当然，这些领域自有自己的研究标准。  最后，要说的一种品味不怎么样的研究，就是自以为自己实验设计很聪明，测量出了一系列神奇的，有点反直觉的，但是很调大众口味，有点猎奇，吸引流量或者想搞大新闻的研究。Strong Claims need Strong evidence. 很多这样的研究（1）存在很多其他解释，而作者提供的解释甚至都不能算是多种解释中最强的一种；（2）太容易被别人洞察研究的目的，导致作者以为测量到的是真是的数据，结果其实是被试通过观察和猜测这个实验可能的目的而提供的虚假的数据。对于这样的研究，我建议作者回炉重新学习一下实验心理学本科课程。