The multitrait-multimethod (MTMM) matrix is an approach to examining construct validity developed by Campbell and Fiske (1959). It organizes convergent and discriminant validity evidence for comparison of how a measure relates to other measures. The conceptual approach has influenced experimental design and measurement theory in psychology, including applications in structural equation models.

Definitions and key components

Multiple traits are used in this approach to examine (a) similar or (b) dissimilar traits (constructs), in order to establish convergent and discriminant validity between traits. Similarly, multiple methods are used in this approach to examine the differential effects (or lack thereof) caused by method specific variance. Scores could be correlated because they measure similar traits, or because they are based on similar methods, or both. When variables that are supposed to measure different constructs show a high correlation because they based on similar methods, this is sometimes described as a "nuisance variance" or "method bias" problem. 

There are six major considerations when examining a construct's validity through the MTMM matrix, which are as follows:

 Evaluation of convergent validity – Tests designed to measure the same construct should correlate highly amongst themselves.
 Evaluation of discriminant (divergent) validity – The construct being measured by a test should not correlate highly with different constructs.
 Trait-method unit- Each task or test used in measuring a construct is considered a trait-method unit; in that the variance contained in the measure is part trait, and part method. Generally, researchers desire low method-specific variance and high trait variance.
 Multitrait-multimethod – More than one trait and more than one method must be used to establish (a) discriminant validity and (b) the relative contributions of the trait or method-specific variance. This tenet is consistent with the ideas proposed in Platt's concept of Strong inference (1964).
 Truly different methodology – When using multiple methods, one must consider how different the actual measures are. For instance, delivering two self-report measures are not truly different measures; whereas using an interview scale or a psychosomatic reading would be.
 Trait characteristics – Traits should be different enough to be distinct, but similar enough to be worth examining in the MTMM.

Example
The example below provides a prototypical matrix and what the correlations between measures mean. The diagonal line is typically filled in with a reliability coefficient of the measure (e.g. alpha coefficient). Descriptions in brackets [] indicate what is expected when the validity of the construct (e.g., depression or anxiety) and the validities of the measures are all high.

In this example, the first row lists the trait being assessed (i.e., depression or anxiety) as well as the method of assessing this trait (i.e., self-reported questionnaire versus an interview). The term heteromethod indicates this cell reports the correlation between two separate methods. Monomethod indicates that the same method is being used instead (e.g., interview and interview). Heterotrait indicates that the cell refers to two supposedly different traits. Monotrait indicates the same trait supposed to be measured.

This framework makes it clear that there are at least two sources of variance that can influence observed scores on a measure: Not just the underlying trait (which is usually the goal of gathering the measurement in the first place), but also the method used to gather the measurement. The MTMM matrix uses two or more measures of each trait and two or more methods to start to tease apart the contributions of different factors. The first frame of the animated figure shows how the four measurements in the table are paired in terms of focusing on the "traits" of depression (BDI and HDRS) and anxiety (BAI and CGI-A). The second shows that they are also paired in terms of source method: two use self-report questionnaires (often referred to as "surveys"), and two are based on interview (which can incorporate direct observation of nonverbal communication and behavior, as well as the interviewee's response). 

With observed data, it is possible to examine the proportion of variance shared among traits and methods to gain a sense of how much method-specific variance is induced by the measurement method, as well as provide a look at how distinct the trait is, as compared to another trait.

Ideally, the trait should matter more than the specific method chosen for measurement. For example, if a person is measured as being highly depressed by one measure, then another depression measure should also yield high scores. On the other hand, people who appear highly depressed on the Beck Depression Inventory should not necessarily get high anxiety scores on Beck's Anxiety Inventory, inasmuch as they are supposed to be measuring different constructs. Since the inventories were written by the same person, and are similar in style, there might be some correlation, but this similarity in method should not affect the scores much, so the correlations between these measures of different traits should be low.

Analysis 

A variety of statistical approaches have been used to analyze the data from the MTMM matrix.  The standard method from Campbell and Fiske can be implemented using the MTMM.EXE program available at: https://web.archive.org/web/20160304173400/http://gim.med.ucla.edu/FacultyPages/Hays/utils/  One can also use confirmatory factor analysis due to the complexities in considering all of the data in the matrix. The Sawilowsky I test, however, considers all of the data in the matrix with a distribution-free statistical test for trend.
 
The test is conducted by reducing the heterotrait-heteromethod and heterotrait-monomethod triangles, and the validity and reliability diagonals, into a matrix of four levels. Each level consists of the minimum, median, and maximum value. The null hypothesis is these values are unordered, which is tested against the alternative hypothesis of an increasing ordered trend.
The test statistic is found by counting the number of inversions (I). The critical value for alpha = 0.05 is 10, and for alpha = .01 is 14.

One of the most used models to analyze MTMM data is the True Score model proposed by Saris and Andrews ().
The True Score model can be expressed using the following standardized equations:

     1)  where:
           is the standardized observed variable measured with the ith trait and jth method.
           is the reliability coefficient, which is equal to:
             
           is the standardized true score variable
           is the random error, which is equal to:
            
       
      Consequently:
         where:
           is the reliability

     2)  where:
           is the validity coefficient, which is equal to:
             
           is the standardized latent factor for the ith variable of interest (or trait)
           is the method effect, which is equal to:
          
           is the standardized latent factor for the reaction to the jthmethod
       
      Consequently:
         where:
           is the validity

     3)  where:
           is the quality coefficient, which is equal to:
            
         
      Consequently:
         where:
           is the quality

The assumptions are the following:

      * The errors are random, thus the mean of the errors is zero: 
      * The random errors are uncorrelated with each other: 
      * The random errors are uncorrelated with the independent variables:  ,   and   
      * The method factors are assumed to be uncorrelated with one another and with the trait factors: 

Typically, the respondent must answer at least three different measures (i.e., traits) measured using at least three different methods.
This model has been used to estimate the quality of thousands of survey questions, in particular in the frame of the European Social Survey.

References

Validity (statistics)
다특질-다방법(multitrait-multimethod; MTMM) 행렬은 구성개념타당도(construct validity)를 검증하기 위한 방법으로 Campbell과 Fiske (1959) 에 의해 개발되었다. 이는 어떤 측정치가 다른 측정치에 어떻게 연관되었는지를 비교하여 수렴타당도(convergent validity)와 변별타당도(discriminant validity)의 증거를 보여준다.

정의 및 주요 구성 요소 
(a) 유사하거나 (b) 유사하지 않은 특질(trait; construct)들을 검증하여 특질 간 수렴타당도나 변별타당도를 검증하기 위해 다특질(multiple trait)이 사용된다. 유사한 논리로 방법 분산으로부터 발생되는 차별적인 효과를 검증하기 위해 다방법(multiple methods)이 사용된다.

MTMM 행렬을 통해 구성개념 타당도를 검증할 때 고려해야 할 6가지 주요 사항은 아래와 같다:
 수렴타당도의 평가. 같은 구성개념을 측정하기 위한 검사들(검사 "점수" 의미)끼리는 높은 상관이 있어야 한다.
 변별타당도의 평가. 다른 구성개념을 측정하기 위한 검사들끼리는 높은 상관이 있어서는 안 된다.
 특질-방법 유닛 한 구성개념을 측정하는 각 과제나 검사가 하나의 특질-방법 원소이다. (한 측정치의 분산에는 특질 분산과 방법 분산이 함께 있고, 일반적으로 연구자들은 낮은 방법 분산과 높은 특질 분산을 원한다.)
 다특질-다방법.  변별타당도의 확립과, 특질 및 방법의 상대적인 분산 기여를 평가하기 위해 둘 이상의 특질과 방법이 사용되어야 한다. 이는 Platt의 Strong Inference (1964) 개념과 유사.
 "실제로" 다른 방법의 사용. 다방법을 사용할 때, 실제 측정치가 얼마나 다른지 고려해야 한다. 예를 들어 두 가지 자기 평가 방식을 사용하는 것은 실제로 다른 방법을 사용하는 것이 아니다. 반대로 인터뷰나 심리신체반응(psychosomatic reading)을 사용한다면 다를 수 있다.
 특질의 특성. 충분히 구분 가능할 정도의 특질이 사용되어야 하지만 MTMM을 할 이유가 있을 만큼의 유사성은 있어야 한다.

예시 
이 예는 전형적인 MTMM 행렬과 측정치 간 상관이 무엇을 의미하는지를 보여준다. 이 행렬의 대각은 대개 측정치의 신뢰도 계수(예: 알파 계수)로 채워진다. [ ] 안은 구성개념(우울/불안)과 측정치의 신뢰도가 모두 높을 때 기대되는 값이다.

*Heteromethod-monotrait: 다른 방법으로 동일 특질 측정

Monomethod-heterotrait: 같은 방법으로 다른 특질 측정

Heteromethod-heterotrait: 다른 방법으로 다른 특질 측정

이 예는 특질(우울/불안)과 방법(자기보고/인터뷰)을 같이 보여준다. Heteromethod는 서로 다른 두 방법 간의 상관이라는 것을 나타낸다. Monomethod는 반대로 상관을 계산하는 데에 같은 방법이 사용되었다는 것을 의미한다. Heterotrait는 두 개의 다른 방법을, Monotrait는 같은 특질이 사용되었다는 것을 뜻한다.

실제 행렬을 평가할 때 연구자는 특질과 방법이 공유하는 분산의 비율을 보고 얼마나 측정 방법에 의한 방법분산이 큰지, 어떤 특질이 다른 특질과 비교하여 구분되는지를 본다.

즉, 예를 들어 특질이 방법보다 중요하다고 하자. 어떤 사람이 특정 방법에 의해 매우 우울하다는 결과가 나왔다면 다른 방법 역시 그 사람이 매우 우울하다는 점수를 나타내야 한다. 반면 BDI에서 높은 점수를 보인 사람이 BAI에서 높은 점수를 나타내야 할 필요는 없다. 두 검사가 같은 사람에 의해 만들어졌고 스타일이 비슷하기 때문에 약간의 상관은 있겠지만, 이런 방법에서의 유사성이 점수에 영향을 크게 미쳐서는 안 되며 다른 특질(우울/불안)을 측정하는 이 두 검사 간 상관은 낮아야 하는 것이다.

분석 
MTMM 행렬을 분석하기 위한 다양한 통계적 접근법들이 있다.
(Campbell & Fiske의 방법 및 CFA 방법에 대한 보다 자세한 설명은 이숙문 외(2005) 참조.)

Campbell과 Fiske의 표준적인 방법은 https://web.archive.org/web/20160304173400/http://gim.med.ucla.edu/FacultyPages/Hays/utils/%3Cnowiki/%3E%EC%97%90%EC%84%9C 사용 가능하다.
또한 복잡한 MTMM행렬의 자료 내 모든 정보(raw data 의미)의 분석을 위해 확인적 요인분석을 할 수도 있다. 그러나 분포 가정이 없고 raw data를 활용하는 Sawilowsky I 테스트가 있다.

Sawilowsky I 테스트는 MTMM행렬―heterotrait-heteromethod와 heterotrait-monomethod의 삼각행렬과 신뢰도 대각―을 4개 레벨로 분해하면서 이루어진다. 각 레벨은 최솟값, 중앙값, 최댓값을 가지고 있다. 영가설은 이 값이 순서가 없다는 것이고 대립가설은 이 값들이 증가하는 순서가 있다는 것이다. 검증통계치(test statistic)는 순서역전(inversion; I)의 숫자를 셈으로써 만들어진다. α=.05일때의 critical value는 10이고, α=.01일 때는 14이다.

가장 많이 사용되는 모형 중 하나는 Saris and Andrews가 제안한 진점수 모형이다.
이는 다음과 같은 식으로 표현된다. :
     1)       는 특질 i와 방법 j에 의한 표준화된 검사 점수.
           는 신뢰도 계수
            
           는 표준화된 진점수
           는 무선 오차
            

      따라서,
                          는 신뢰도

     2)       는 타당도 계수
            
           는 표준화된 요인 점수(특질 i)
           는 방법 효과
            
           는 표준화된 방법 점수(방법 j)

      따라서,
                         는 타당도
 
     3)      는 검사의 quality  계수
            

      따라서,
                    는 퀄리티
 
가정:
      * 오차는 무선적이며 평균이 0: 
      * 오차끼리의 상관은 0: 
      * 오차와 다른 독립변수들끼리의 상관은 0:  ,   and  
      * 방법요인은 다른 방법요인 또는 특질요인과 상관 0: 

일반적으로 최소 3개 이상의 특질과 방법을 사용해야 한다. 이 모형은 European Social Survey 등 수천 가지 설문조사의 질을 평가하는 데 사용된다. sqp.upf.edu에서 Survey Quality Predictor라는 소프트웨어가 사용 가능하다.

각주 

심리측정학