Hồi quy về mức trung bình. Hiểu về hồi quy đối với ứng dụng trung bình trong thế giới tài chính

Điều gì có thể được xác định là đơn vị chính, đáng tin cậy về mặt thống kê của đặc điểm thị trường? Bất kể loại giao dịch nào (quyền chọn nhị phân, ngoại hối, thị trường chứng khoán, tương lai, v.v.), bất kể loại tài sản nào (tiền tệ, cổ phiếu, chỉ số, hàng hóa), chúng ta có thể nói về một quy tắc - thị trường không bao giờ di chuyển theo một hướng. phương hướng. Chuyển động của anh ấy luôn dao động. Chính trên đặc tính này mà “hồi quy về giá trị trung bình” được xây dựng.

Hồi quy về mức trung bình là gì

Hồi quy trở lại giá trị trung bình là một giá trị thống kê cho thấy độ cao dương (âm) đạt được là cực kỳ lớn. Kết quả là, chúng ta có thể mong đợi sự quay trở lại các giá trị trung bình.

Mô hình này không phải là tài chính hay thị trường. Nó có thể áp dụng cho bất kỳ ngành công nghiệp nào. Hãy lấy thể thao để trình diễn. Nếu một đội có nhiều trận đấu thành công hiện tại thì rất có thể sẽ có ít trận đấu thành công hơn trong tương lai. đó là, đánh giá quá cao và hồi quy về giá trị trung bình. Minh chứng phi tài chính tốt nhất cho điều này xảy ra vào năm 2016 ở bóng đá Anh. Câu lạc bộ Leicester, đội trong suốt lịch sử chưa bao giờ vượt lên trên vị trí thứ 10 trong giải vô địch, đã giành chức vô địch. Nhưng trong mùa giải tiếp theo, anh ấy đã trở lại mức bình thường. Một lần nữa chúng ta thấy sự định giá quá cao và sự thoái lui. Mặc dù theo quan điểm của những gì các “chuyên gia tài chính” nói với chúng ta, đây là sự ra đời của một xu hướng mới...

Ứng dụng trong thế giới tài chính

Những ví dụ tương tự có thể được tìm thấy trong thế giới tài chính. Ví dụ: nếu một sàn giao dịch (tài sản) có nhu cầu quá cao thì năm tới rất có thể hoạt động này sẽ sụt giảm. Xu hướng dù mạnh đến đâu thì sớm hay muộn nó cũng sẽ chuyển sang chuyển động ngược lại hoặc điều chỉnh mạnh. Đây là một ví dụ từ biểu đồ trực tiếp.

Và điều này áp dụng cho bất kỳ thị trường nào và bất kỳ yếu tố nào của nó. Nếu một số quyền chọn (hợp đồng tương lai, chứng khoán) có chi phí cực kỳ thấp thì rất có thể nó chỉ đơn giản là bị định giá thấp và có xác suất thống kê là sẽ thoái lui theo hướng tăng trưởng. Tình hình hoàn toàn tương tự với những tài sản mà mọi người muốn giao dịch và báo giá đột ngột tăng mạnh - rất có thể chúng sẽ bị thoái lui, nhưng lần này theo hướng giá giảm.

Cách sử dụng hồi quy trong Forex và quyền chọn nhị phân

Trong đào tạo, tôi thường đưa ra vấn đề hồi quy thị trường, vì theo quan điểm khiêm tốn của tôi, đây là điều cơ bản mà mọi nhà giao dịch nên học. Nhưng đây không phải là điều chúng ta đang nói đến bây giờ, mà thực tế là tôi nhận thấy một mô hình đáng kinh ngạc - 90-95% nhà giao dịch có tầm nhìn ngắn hạn. Họ nhìn vào tình hình hiện tại, nhiều nhất là một vài ngọn nến tới lui. Nhưng đây không phải là giao dịch. Đây là sự may mắn, tài lộc, sự trùng hợp... Cái gì cũng được, nhưng không phải buôn bán. Cuối cùng, tại sao 90-95% nhà giao dịch lại thua lỗ? Tôi không nói rằng đó chỉ là vấn đề thị trường suy thoái nhưng đó là một trong những yếu tố. Nếu bạn không tính đến nó, bạn đang giao dịch một cách ngẫu nhiên và sớm hay muộn bạn sẽ hợp nhất.

PAMM, tín hiệu và nhím với chúng

Bây giờ một vài lời về thực hành. Tất cả các nhà giao dịch đang tìm kiếm tín hiệu, người báo hiệu, nhà phân tích, tài khoản PAMM, v.v. Họ chú ý đến điều gì? Khả năng sinh lời của tín hiệu/giao dịch. Càng cao càng tốt. Hơn nữa, trong Forex, hiện tượng này đã được đưa đến mức điên rồ - họ đưa ra xếp hạng trong 1 tuần. Nhưng đây không phải là một giá trị có ý nghĩa thống kê. Ví dụ. Có một nhà giao dịch đã đạt được lợi nhuận +450% số tiền gửi của mình trong tuần qua. Anh ấy đứng đầu xếp hạng và mọi người đều muốn đăng ký theo dõi anh ấy. Và mọi người cùng nhau đổ tiền. Tại sao? Có, bởi vì chính nhà giao dịch này có thể giao dịch trong một năm với lợi nhuận gửi tiền trung bình hàng tuần là 100 USD. Nghĩa là, chỉ báo +450 của anh ta là một chỉ báo được đánh giá quá cao và sau đó sẽ xảy ra hồi quy.

Bạn có nhớ Buffett đã nói gì không? Luôn mua những tài sản được định giá thấp và mua những tài sản được định giá quá cao. Đó là một bí mật đơn giản để thành công.

Hãy để tôi cho bạn một ví dụ với các tín hiệu giao dịch của chúng tôi. Vào đầu mỗi ngày, tôi lập kế hoạch giao dịch, so sánh kết quả thống kê trong toàn bộ thời gian (khoảng 2 năm) và kết quả của ngày hôm qua, v.v. cho mỗi chiến lược. Đây là kết quả ngày hôm nay khi sử dụng chiến lược số 2.

Tôi sẽ xem xét 3 lựa chọn:

1. AUDUSD. Trong toàn bộ thời gian, lợi nhuận trên 1 cây nến là 53%. Hôm qua 33%. Kết luận là lợi nhuận bị đánh giá thấp. Tôi có thể giao dịch một cách an toàn bằng cách sử dụng các tín hiệu như vậy.
2. USDJPY. TRONG toàn bộ thời gian, lợi nhuận cho 1 cây nến là 56% và cho ngày hôm qua - 75%. Kết luận - các tín hiệu cho tài sản này hoạt động tốt bất thường vào ngày hôm qua. Chúng tôi đang chờ hồi quy về giá trị trung bình, vì vậy chúng tôi không giao dịch tài sản này (cách khác, chúng tôi giao dịch theo hướng ngược lại với tín hiệu).
3. USDCAD. Khả năng sinh lời trong toàn bộ thời gian đối với 1 cây nến là 51% và cho ngày hôm qua là 50%. Kết luận - các số liệu có thể so sánh được, tài sản này chưa có bất kỳ bước nhảy vọt nào về mặt lợi nhuận. Nếu bạn giao dịch hoàn toàn bằng hồi quy, bạn không thể giao dịch số dư trên USDCAD.

Đây là 3 tình huống, không thể có tình huống nào khác. Đối với tôi, 3 tài sản này trông như thế này vào lúc 17:00 một ngày làm việc.

Multa renascentur quae iam cecidere, cadentque

quae Nunc sunt in Honore vocabulae…

Nhiều kẻ sa ngã sẽ đứng dậy,

và nhiều người hiện đang cưỡi ngựa sẽ ngã xuống...

Horace, Ars Thơ

Vào năm 1886-1889, nhà nghiên cứu người Anh Francis Galton đã thực hiện một loạt phép đo. Ông đã nghiên cứu 205 cặp cha mẹ và 930 người con trưởng thành của họ và xuất bản một loạt bài báo trong đó ông xây dựng “quy luật hồi quy về mức trung bình” hay đôi khi được dịch là: “quy luật hồi quy về mức trung bình”. “Đối với nhiều đặc điểm liên tục, chẳng hạn như chiều cao và trí thông minh, con cái trưởng thành của một cặp bố hoặc mẹ nhất định được phát hiện là có ít sai lệch so với giá trị trung bình của quần thể so với bố mẹ, nghĩa là con cái “thoái lui” so với giá trị trung bình của quần thể.

Hai nhà kinh tế, Werner De Bondt và Richard Thaler, đã đề xuất vào năm 1985 rằng các nhà đầu tư phản ứng thái quá trước những biến động ngắn hạn ngẫu nhiên của giá cổ phiếu và phản ứng thái quá này khiến giá thị trường của công ty giảm xuống dưới giá trị thực của nó. Theo thời gian, giá cổ phiếu sẽ thoái lui về giá trị thực của nó. Vì vậy, những cổ phiếu có giá tăng hoặc giảm đáng kể sẽ có biến động lớn theo hướng ngược lại. Để kiểm tra ý tưởng này, họ lấy thông tin từ năm 1926 đến năm 1982 và lập danh mục đầu tư gồm 35 công ty có cổ phiếu tăng giá nhiều nhất và 35 công ty có cổ phiếu giảm giá nhiều nhất. Sau khi danh mục đầu tư được tạo, họ sẽ phân tích hiệu suất của nó trong 36 tháng tới. Kết quả nghiên cứu cho thấy danh mục cổ phiếu giảm giá nhiều nhất sau 36 tháng kể từ khi tạo danh mục cho kết quả tốt hơn danh mục cổ phiếu tăng giá nhiều nhất (Hình 5.1). Họ giải thích điều này bằng cách nói rằng các nhà đầu tư quá tập trung vào lợi nhuận ngắn hạn và quá lạc quan trong ngắn hạn.

Năm 1987 họ quay lại nghiên cứu lần nữa. Vì các nhà đầu tư thường có thể phản ứng thái quá trước các sự kiện và đôi khi quá lạc quan khi nói đến thu nhập, De Bondt và Thaler quyết định sao chép danh mục đầu tư chứng khoán ban đầu mà thay vào đó nghiên cứu giá cổ phiếu của công ty.

Kết quả nghiên cứu cho thấy, danh mục cổ phiếu giảm giá nhiều nhất, trong đó lợi nhuận 3 năm gần nhất giảm 72% và 4 năm tiếp theo lợi nhuận tăng 234,5%. Trong khi lợi nhuận của danh mục đầu tư trên các cổ phiếu chiến thắng giảm 12,3% trong bốn năm tiếp theo (Hình 5.2). Họ giải thích điều này bằng cách nói rằng các công ty trong danh mục cổ phiếu thua lỗ có xu hướng có tỷ lệ tăng trưởng P/B thấp hơn so với danh mục cổ phiếu thắng. Và do đó, họ sẽ dễ dàng đạt được kết quả tốt nhất trong thời gian ngắn.

Để chứng minh điều này, De Bondt và Thaler đã tiến hành một nghiên cứu mới. Lần này, họ phân loại cổ phiếu theo giá trị giá trị sổ sách, chọn năm cổ phiếu rẻ nhất và năm cổ phiếu đắt nhất và tạo ra hai danh mục đầu tư. Một là công ty bị định giá thấp, và thứ hai là công ty được định giá quá cao.

Trong biểu đồ (Hình 5.3), bạn có thể thấy rằng danh mục đầu tư của các công ty được định giá thấp tăng trưởng nhanh hơn danh mục đầu tư của các công ty được định giá quá cao.

Nghiên cứu của De Bondt và Thaler cho thấy cổ phiếu cũng tuân theo quy luật hồi quy về mức trung bình. Một đợt tăng hoặc giảm lớn không kéo dài và sau những diễn biến như vậy, cổ phiếu có xu hướng thoái lui theo hướng ngược lại, đó là lý do tại sao chúng trở thành mục tiêu của các nhà đầu tư hoạt động, vì chu kỳ kinh doanh và chứng khoán đứng về phía họ. Bài báo gốc

Luôn cập nhật tất cả các sự kiện quan trọng của United Traders - đăng ký theo dõi của chúng tôi

Nếu bạn phá vỡ giới hạn hoặc ngược lại, tài trợ cho mỗi người chơi thứ hai tại các bàn, hãy biết rằng sớm hay muộn bạn sẽ quay trở lại mức “trung bình”. chúng ta sẽ nói về cách bạn có thể sử dụng siêu toán học đơn giản để giải thích kết quả của mình một cách dễ dàng.

Thực hiện bất kỳ hành động nào có (1) yếu tố may mắn và (2) dấu hiệu lợi ích không hoàn hảo. Ví dụ: hãy lấy phần trăm số lần trúng đích trong môn bóng chày. Mỗi người chơi có một số khả năng riêng của mình, nhưng chúng tôi không thể đo lường nó bằng bất kỳ cách nào. Thay vào đó, chúng tôi xem xét kết quả, một thước đo không hoàn hảo và đơn giản về những khả năng này, vì chúng có tính chất ngẫu nhiên: cú nảy may mắn hoặc hướng gió đều nằm ngoài tầm kiểm soát của người chơi.

Hồi quy về mức trung bình cho chúng ta biết rằng những người đánh bóng tốt trong một mùa giải có xu hướng không đánh được quả bóng tương tự vào năm tiếp theo. Điều này là do hiệu suất vượt trội mà chúng tôi xem xét một phần là do may mắn, khiến sự cân bằng bị mất cân bằng. Một cầu thủ trung bình thể hiện xuất sắc trong một mùa giải và tất nhiên, đánh giá quá cao khả năng thực sự của mình. Năm sau anh ấy sẽ không còn xuất sắc nữa vì khả năng anh ấy tiếp tục gặp may là cực kỳ thấp.

Điều tương tự cũng xảy ra với những “kẻ thua cuộc”. Thành tích tệ hơn thường đánh giá thấp khả năng thực sự của một cầu thủ bởi vì một cầu thủ có thể gặp nhiều chuỗi xui xẻo hơn bình thường trong một mùa giải nhất định. Năm tới chúng ta có thể mong đợi anh ấy sẽ có tỷ lệ đánh trúng tốt hơn vì vận rủi của anh ấy sẽ không kéo dài mãi mãi.

Ví dụ: trong số 10 vận động viên nhảy cầu lớn có tỷ lệ trượt tốt nhất năm 2014, 9 người đã đạt thành tích tốt nhất trong sự nghiệp, vượt quá khả năng của họ. Và tất nhiên, kết quả của 9 cầu thủ này trong năm 2015 đúng như dự đoán đã tụt xuống mức trung bình.

Tất nhiên, tất cả người chơi đều có khả năng khác nhau, vì vậy kết quả phụ thuộc vào cả khả năng bẩm sinh của từng cá nhân và sự may mắn nói chung.

Thời kỳ tốt hoặc xấu đặc biệt thường không tái diễn

Tất cả những điều này đưa chúng ta đến một trong những sai lầm chính mà chúng ta mắc phải khi không hiểu hoặc tính đến sự hồi quy về giá trị trung bình khi đánh giá kết quả - tại sao các kết quả cực kỳ tốt hoặc cực kỳ xấu không được lặp lại.

Nhìn lại các ví dụ từ thể thao, có rất nhiều điều mê tín khẳng định rằng không thể lặp lại những kết quả thành công đặc biệt. Còn có “Lời nguyền tân binh của năm”, theo đó, kết quả của một tân binh ở mùa thứ 2 yếu hơn rất nhiều. Có "Lời nguyền minh họa thể thao", theo đó người chơi lên trang bìa tạp chí thường sẽ không thành công trong các mùa giải tiếp theo.

Tất nhiên, trên thực tế tất cả những điều này không phải là “lời nguyền” và không có gì siêu nhiên cả. Đây chỉ đơn giản là tất cả các ví dụ về hồi quy về giá trị trung bình.

Hãy nhớ rằng điều này cũng đúng với những “kẻ thua cuộc”, mặc dù trong số họ không có nhiều vận động viên có danh hiệu. Tuy nhiên, một thành tích đặc biệt kém thường không được lặp lại và nỗ lực và nỗ lực tiếp theo trong trò chơi thường sẽ mang lại kết quả phản ánh khả năng thực sự của cá nhân.

Hồi quy về mức trung bình thực sự có nghĩa là gì?

Hồi quy về giá trị trung bình ảnh hưởng đến sự thay đổi trong kết quả ở các lĩnh vực khác nhau, ví dụ:

• Những sinh viên đại học đạt điểm cao nhất vào giữa học kỳ thường không đạt kết quả tốt trong kỳ thi cuối kỳ. May mắn đã giúp họ một lần nhưng khó có thể giúp họ lần nữa.
• Các công ty có tỷ suất lợi nhuận tốt nhất trong một năm có xu hướng không duy trì được kết quả tương tự trong năm tiếp theo.
• Các loại thuốc mới cho thấy nhiều hứa hẹn nhất trong các thử nghiệm lâm sàng có xu hướng cho kết quả kém ấn tượng hơn khi chúng được tung ra thị trường.
• Cha mẹ cao thường có xu hướng sinh con cao hơn chiều cao trung bình nhưng không nhất thiết phải cao hơn bố mẹ. Điều tương tự cũng xảy ra với những người thấp.
• Theo quy luật, những ứng viên đầy hứa hẹn hóa ra lại không đạt được những kỳ vọng siêu cao của họ.
• Kết quả xét nghiệm máu cao hoặc thấp bất thường có thể dẫn đến chẩn đoán sai nếu chúng sai lệch ngẫu nhiên so với giá trị trung bình thực sự của bệnh nhân.

Hồi quy về mức trung bình không có nghĩa là mọi người sẽ luôn thực hiện như nhau. Thành tích xuất sắc của bất kỳ ai trong năm nay khó có thể lặp lại vào năm sau, nhưng thành tích xuất sắc không kém sẽ được lặp lại bởi những người, đội, công ty khác, v.v. Do đó, mức trung bình mà mọi thành tích đều thụt lùi là mức độ thực tế của cá nhân hoặc công ty, chứ không phải mức trung bình của tất cả mọi người hoặc công ty trong một ngành cụ thể.

Tất nhiên, khả năng có thể thay đổi theo thời gian, nhưng để dễ minh họa trong bài viết này, chúng tôi đã giả định rằng chúng không đổi.

kết luận

Bởi vì nhiều người trong chúng ta lầm tưởng rằng những kết quả đặc biệt phản ánh chính xác khả năng của mọi người và do đó sẽ được lặp lại, nên chúng ta dễ mắc phải đủ loại quan niệm sai lầm về những điều ngăn cản chúng ta lặp lại thành công trong quá khứ.

Ví dụ, nếu những học sinh gặp khó khăn được dạy kèm và sau đó làm bài thi tốt hơn, chúng ta có xu hướng nghĩ rằng sự can thiệp rõ ràng đã có tác dụng nào đó, trong khi trên thực tế, sự thật nằm ở ngoại lệ thông thường của phương sai, và gia sư có thể không truyền đạt được gì cho học sinh. hoàn toàn mới.

Nếu những tuyển thủ hoặc đội xuất sắc nhất không lặp lại màn trình diễn vô địch của họ, chúng ta có thể nghĩ rằng họ đã trở nên tự mãn, kiêu ngạo hoặc xui xẻo, trong khi thực tế là họ cũng kém may mắn như lần trước.

Đây là nơi chúng ta sẽ kết thúc việc nói về lý thuyết và các ví dụ thể thao, và trong bài viết tiếp theo chúng ta sẽ chuyển thẳng sang poker.

Hiểu về hồi quy về giá trị trung bình

Dù bị bỏ qua hay giải thích sai, hiện tượng thoái lui vẫn còn xa lạ với tâm trí con người. Hồi quy lần đầu tiên được công nhận và hiểu muộn hơn hai trăm năm so với lý thuyết về trọng lực và phép tính vi phân. Hơn nữa, một trong những bộ óc vĩ đại nhất của người Anh thế kỷ 19 mới có thể giải thích được sự hồi quy.

Hiện tượng này lần đầu tiên được mô tả bởi Sir Francis Galton, anh họ thứ hai của Charles Darwin, người thực sự có kiến ​​thức bách khoa. Trong một bài báo có tựa đề “Hồi quy về giá trị trung bình trong thừa kế” xuất bản năm 1886, ông đã báo cáo việc đo nhiều thế hệ hạt giống liên tiếp và so sánh chiều cao của trẻ với chiều cao của cha mẹ chúng. Ông viết về những hạt giống như thế này:

“Nghiên cứu đã mang lại một kết quả thú vị và trên cơ sở đó, vào ngày 9 tháng 2 năm 1877, tôi đã thuyết trình trước Hiệp hội Hoàng gia. Các thí nghiệm cho thấy con cái không giống bố mẹ về kích thước mà luôn bình thường hơn, tức là bố mẹ ít lớn hơn hoặc bố mẹ nhỏ hơn... Các thí nghiệm cũng cho thấy, tính trung bình, sự hồi quy của con cái tỷ lệ thuận với độ lệch của cha mẹ so với giá trị trung bình.”

Galton rõ ràng mong đợi những khán giả uyên bác tại Hiệp hội Hoàng gia, tổ chức nghiên cứu độc lập lâu đời nhất thế giới, cũng ngạc nhiên trước “kết quả thú vị” của ông. Nhưng điều thú vị nhất là anh rất ngạc nhiên trước mô hình thống kê thông thường. Sự hồi quy có ở khắp mọi nơi, nhưng chúng ta không nhận ra nó. Cô ấy đang ẩn nấp trong tầm nhìn rõ ràng. Trong vòng vài năm, với sự giúp đỡ của các nhà thống kê lỗi lạc cùng thời, Galton đã đi từ việc khám phá ra phép hồi quy di truyền về kích thước đến sự hiểu biết rộng hơn rằng sự hồi quy chắc chắn xảy ra khi có mối tương quan không đầy đủ giữa hai đại lượng.

Trong số những trở ngại mà nhà nghiên cứu phải vượt qua là vấn đề đo hồi quy giữa các đại lượng được biểu thị bằng các đơn vị khác nhau: ví dụ: trọng lượng và khả năng chơi đàn piano. Chúng được đo lường bằng cách lấy toàn bộ dân số làm tiêu chuẩn để so sánh. Hãy tưởng tượng rằng 100 trẻ em từ tất cả các lớp tiểu học được đo cân nặng và khả năng vui chơi và xếp hạng kết quả theo thứ tự từ giá trị tối đa đến giá trị tối thiểu của từng chỉ số. Nếu Jane đứng thứ ba về âm nhạc và cân nặng thứ 27, bạn có thể nói rằng cô ấy chơi piano giỏi hơn chiều cao của cô ấy. Hãy đưa ra một vài giả định cho đơn giản.

Bất kỳ độ tuổi:

Thành công khi chơi piano chỉ phụ thuộc vào số giờ luyện tập mỗi tuần.

Trọng lượng chỉ phụ thuộc vào lượng kem tiêu thụ.

Ăn kem và số giờ học nhạc mỗi tuần là những biến số độc lập.

Bây giờ chúng ta có thể viết một số phương trình sử dụng vị trí danh sách (hoặc điểm tiêu chuẩn như cách gọi của các nhà thống kê):

cân nặng = tuổi + lượng kem tiêu thụ chơi piano = tuổi + số giờ luyện tập mỗi tuần

Rõ ràng, khi cố gắng dự đoán hiệu suất của đàn piano theo trọng lượng hoặc ngược lại, sự hồi quy về giá trị trung bình sẽ xuất hiện. Nếu tất cả những gì chúng ta biết về Tom là cân nặng của anh ấy chỉ bằng 1/12 (cao hơn nhiều so với mức trung bình), thì chúng ta có thể kết luận về mặt thống kê rằng Tom có ​​lẽ lớn tuổi hơn mức trung bình và có thể ăn nhiều kem hơn những người khác. Nếu tất cả những gì chúng ta biết về Barbara là cô ấy xếp thứ 85 về piano (thấp hơn nhiều so với mức trung bình của nhóm), thì chúng ta có thể kết luận rằng Barbara rất có thể vẫn còn trẻ và có lẽ luyện tập ít hơn những người khác.

Hệ số tương quan giữa hai đại lượng, nằm trong khoảng từ 0 đến 1, là thước đo mức độ quan trọng tương đối của các yếu tố ảnh hưởng đến cả hai đại lượng đó. Ví dụ: tất cả chúng ta đều chia sẻ một nửa số gen của mình với cha mẹ và đối với những đặc điểm ít chịu ảnh hưởng bên ngoài (chẳng hạn như chiều cao), mối tương quan giữa cha mẹ và con cái là gần 0,5. Để đánh giá giá trị của thước đo tương quan, tôi sẽ đưa ra một số ví dụ về hệ số:

Mối tương quan giữa kích thước của các vật thể được đo chính xác bằng đơn vị hệ mét hoặc hệ đo lường Anh là 1. Tất cả các yếu tố quyết định đều ảnh hưởng đến cả hai phép đo.

Mối tương quan giữa cân nặng và chiều cao tự báo cáo của đàn ông Mỹ trưởng thành là 0,41. Nếu bao gồm cả phụ nữ và trẻ em vào nhóm thì mối tương quan sẽ cao hơn nhiều vì giới tính và độ tuổi của một cá nhân ảnh hưởng đến đánh giá về chiều cao và cân nặng của họ, điều này làm tăng giá trị tương đối của các yếu tố chung.

Mối tương quan giữa bài kiểm tra năng lực học tập trung học và điểm trung bình đại học là khoảng 0,60. Tuy nhiên, mối tương quan giữa các bài kiểm tra năng khiếu và sự thành công của sinh viên tốt nghiệp thấp hơn nhiều - phần lớn là do trình độ năng lực trong nhóm này không khác nhau nhiều. Nếu khả năng của mọi người gần như nhau, thì sự khác biệt về thông số này khó có thể ảnh hưởng lớn đến thước đo thành công.

Mối tương quan giữa thu nhập và trình độ học vấn ở Hoa Kỳ là khoảng 0,40.

Mối tương quan giữa thu nhập của một gia đình và bốn chữ số cuối trong số điện thoại của họ là 0.

Francis Galton phải mất vài năm mới hiểu được rằng tương quan và hồi quy không phải là hai khái niệm khác nhau mà là hai quan điểm về một. Nguyên tắc chung khá đơn giản nhưng nó có những hậu quả đáng ngạc nhiên: trong trường hợp mối tương quan không hoàn hảo, sự hồi quy về giá trị trung bình sẽ xảy ra. Để minh họa cho khám phá của Galton, chúng ta hãy đưa ra một gợi ý mà nhiều người thấy khá tò mò:

Phụ nữ thông minh thường kết hôn với đàn ông kém thông minh hơn.

Nếu bạn nhờ bạn bè của mình tại một bữa tiệc tìm lời giải thích cho sự thật này, thì đảm bảo bạn sẽ có một cuộc trò chuyện thú vị. Ngay cả những người quen thuộc với thống kê cũng sẽ giải thích câu nói này theo cách hiểu nhân quả. Một số người sẽ nghĩ rằng phụ nữ thông minh tìm cách tránh sự cạnh tranh từ những người đàn ông thông minh; có người sẽ cho rằng họ buộc phải thỏa hiệp khi chọn bạn đời vì đàn ông thông minh không muốn cạnh tranh với phụ nữ thông minh; những người khác sẽ đưa ra những lời giải thích xa vời hơn. Bây giờ hãy nghĩ về tuyên bố sau:

Mối tương quan giữa điểm số thông minh của vợ chồng không hoàn hảo.

Tất nhiên, tuyên bố này là đúng - và hoàn toàn không thú vị. Trong trường hợp này, không ai mong đợi sự tương quan hoàn hảo. Không có gì để giải thích ở đây. Tuy nhiên, từ quan điểm đại số, hai phát biểu này là tương đương nhau. Nếu mối tương quan giữa điểm thông minh của vợ hoặc chồng không hoàn hảo (và nếu phụ nữ và nam giới không khác nhau về mức độ thông minh trung bình), thì về mặt toán học, không thể tránh khỏi việc phụ nữ thông minh sẽ kết hôn với những người đàn ông kém thông minh hơn (và ngược lại). . Sự hồi quy về giá trị trung bình được quan sát không thể thú vị hơn hoặc dễ giải thích hơn mối tương quan không lý tưởng.

Người ta có thể thông cảm với Galton - nỗ lực tìm hiểu và giải thích hiện tượng hồi quy không hề dễ dàng. Như nhà thống kê David Friedman đã lưu ý một cách mỉa mai, nếu vấn đề hồi quy nảy sinh trong một phiên tòa, bên nào phải giải thích điều đó với bồi thẩm đoàn chắc chắn sẽ thua. Tại sao điều này là rất khó khăn? Lý do chính của khó khăn này được đề cập thường xuyên trong cuốn sách này: tâm trí của chúng ta có xu hướng giải thích nhân quả và không thể giải quyết tốt “những số liệu thống kê đơn giản”. Nếu một sự kiện nào đó thu hút sự chú ý của chúng ta, trí nhớ liên kết sẽ bắt đầu tìm kiếm nguyên nhân của nó, hay đúng hơn, bất kỳ lý do nào đã được lưu trữ trong bộ nhớ sẽ được kích hoạt. Khi phát hiện hồi quy, người ta tìm cách giải thích nhân quả nhưng sẽ không chính xác, vì trên thực tế hồi quy về giá trị trung bình có giải thích nhưng không có lý do. Một trong những điều khiến chúng tôi chú ý trong các giải đấu golf là các vận động viên chơi tốt trong ngày đầu tiên thường chơi tệ hơn sau đó. Lời giải thích tốt nhất là những người chơi golf này đã gặp may mắn một cách bất thường vào ngày đầu tiên, nhưng lời giải thích đó thiếu sức mạnh của quan hệ nhân quả mà tâm trí chúng ta ưa thích. Chúng tôi trả rất nhiều tiền cho những người đưa ra những lời giải thích thú vị về hiệu ứng hồi quy cho chúng tôi. Một nhà bình luận trên một kênh tin tức kinh doanh nhận xét chính xác rằng “năm nay công việc kinh doanh tốt hơn vì năm ngoái tồi tệ” có thể sẽ không được phát sóng lâu.

Những khó khăn của chúng tôi trong việc hiểu hồi quy xuất phát từ cả Hệ thống 1 và Hệ thống 2. Nếu không có hướng dẫn thêm (và trong nhiều trường hợp, ngay cả sau khi đã làm quen với thống kê), mối quan hệ giữa tương quan và hồi quy vẫn chưa rõ ràng. Thật khó để Hệ thống 2 hiểu và tiếp thu nó. Điều này một phần là do Hệ thống 1 luôn nhấn mạnh vào việc đưa ra những lời giải thích mang tính nhân quả.

Ba tháng sử dụng nước tăng lực để điều trị chứng trầm cảm ở trẻ em đã mang lại những cải thiện đáng kể.

Tôi bịa ra dòng tiêu đề này, nhưng những gì nó mô tả là đúng: Cho trẻ uống nước tăng lực cho trẻ bị trầm cảm trong một khoảng thời gian cho thấy sự cải thiện đáng kể về mặt lâm sàng. Tương tự, trẻ bị trầm cảm trồng cây chuối trong 5 phút hoặc nuôi mèo trong 20 phút mỗi ngày cũng sẽ cho thấy sự cải thiện. Hầu hết người đọc những tiêu đề như vậy sẽ tự động kết luận rằng sự cải thiện là do uống nước tăng lực hoặc vuốt ve con mèo, nhưng đây là một kết luận hoàn toàn vô căn cứ. Trẻ em bị trầm cảm là một nhóm cực đoan và những nhóm như vậy sẽ thoái lui về mức trung bình theo thời gian. Mối tương quan giữa mức độ trầm cảm qua các thử nghiệm liên tiếp là không hoàn hảo, vì vậy việc hồi quy về mức trung bình là không thể tránh khỏi: Trẻ em bị trầm cảm sẽ khá hơn một chút theo thời gian, ngay cả khi chúng không nuôi mèo hay uống Red Bull. Để kết luận rằng nước tăng lực - hoặc bất kỳ phương pháp điều trị nào khác - có hiệu quả, cần phải so sánh một nhóm bệnh nhân dùng nó với nhóm đối chứng không được điều trị gì cả (hoặc tốt hơn là dùng giả dược). Nhóm đối chứng dự kiến ​​sẽ cho thấy sự cải thiện chỉ nhờ hồi quy và mục đích của thử nghiệm là tìm hiểu xem liệu bệnh nhân được điều trị có cải thiện nhiều hơn mức được giải thích bằng hồi quy hay không.

Việc quy kết nhân quả không chính xác của hiệu ứng hồi quy không chỉ giới hạn ở độc giả của báo chí phổ thông. Nhà thống kê Howard Weiner đã biên soạn một danh sách dài các nhà nghiên cứu nổi tiếng cũng mắc phải sai lầm tương tự, đó là nhầm lẫn mối tương quan với quan hệ nhân quả. Hiệu ứng hồi quy là nguồn gốc phổ biến của các vấn đề trong nghiên cứu và các nhà khoa học giàu kinh nghiệm phát triển nỗi sợ hãi lành mạnh về những cạm bẫy, tức là những suy luận nhân quả không chính đáng.

Một trong những ví dụ yêu thích của tôi về lỗi trong các dự đoán trực quan đến từ cuốn sách xuất sắc của Max Bazerman, Những phán đoán giá trị trong việc ra quyết định quản lý, và được phỏng theo:

Bạn đang dự báo doanh thu của một chuỗi cửa hàng. Tất cả các cửa hàng trong chuỗi đều có quy mô và chủng loại tương tự nhau, nhưng doanh số bán hàng của chúng khác nhau do vị trí, sự cạnh tranh và các yếu tố ngẫu nhiên khác nhau. Bạn được xem kết quả năm 2011 và được yêu cầu xác định doanh thu năm 2012. Bạn được hướng dẫn phải tuân theo dự báo chung của các nhà kinh tế rằng tốc độ tăng trưởng doanh thu tổng thể sẽ là 10%. Bạn sẽ hoàn thành bảng sau như thế nào?

Sau khi đọc chương này, bạn biết rằng giải pháp hiển nhiên là tăng thêm 10% doanh thu của mỗi cửa hàng là sai lầm. Dự báo phải mang tính hồi quy, nghĩa là đối với các cửa hàng có kết quả kém, bạn nên thêm hơn 10% và phần còn lại - ít hơn hoặc thậm chí trừ đi một số thứ. Tuy nhiên, hầu hết mọi người đều bối rối trước nhiệm vụ này: tại sao lại hỏi về điều hiển nhiên? Như Galton đã phát hiện ra, khái niệm hồi quy không rõ ràng.