یک آماری است. به شکل زیر می‌توان نوشت 
 که در آن Y یک ماتریس با ردیف‌های اندازه‌گیری‌های چند متغیره است، X یک ماتریس است که می‌تواند یک باشد، B یک ماتریس شامل متغیرهایی است که معمولاً تخمین زده می‌شوند و U ماتریسی است که شامل است. خطاها معمولاً نسبت به اندازه‌گیری‌ها و طبق یک ناهمبسته فرض می‌شوند. اگر که خطاها مطابق با یک توزیع معمولی چند متغیره نباشند، برای منطقی تر کردن فرض‌ها در مورد Y و U مورد استفاده قرار می‌گیرد.
 مدل خطی عمومی تعدادی از مختلف را با هم مرتبط می‌کند: ، ، ، ، معمولی، و . مدل خطی عمومی تعمیم یافته‌ای از چند مدل رگرسیون خطی در مورد بیش از یک است. اگر Y، B و U بردارهای ستون باشند، معادله ماتریس بالا بیانگر چند رگرسیون خطی خواهد بود.
 آزمون‌های فرضی با مدل خطی عمومی را می‌توان به دو روش انجام داد: یا به شکل آزمون‌های متعدد مستقل. در آزمون‌های چندمتغیره ستون‌های Y با هم مورد بررسی قرار می‌گیرند درحالیکه در آزمون‌های تک متغیره ستون‌های Y مستقلاً بررسی می‌شوند. به‌طور مثال به عنوان آزمون‌های تک متغیره با ماتریس طراحی یکسان.
 رگرسیون چند خطی تعمیمی از است با در نظر گرفتن بیش از یک متغیر مستقل و یک مورد خاص مدل‌های خطی عمومی تشکیل شده با محدود کردن تعداد متغیرهای وابسته به یک. به عنوان مثال اگر فرض کنیم متغیر ما بُعد دارد یعنی مسئله رگرسیون به یک برای پیدا کردن پارامتر تبدیل می‌شود. به این معنی که ما یک پارامتر چند متغیره به اسم داریم و سعی می‌کنیم که متغیر وابسته که همان است را با از بردارد ورودی، تخمین بزنیم یعنی . حال اگر یک بعد دیگر به متغیر اضافه کنیم و مقدارش را همیشه عدد ثابت در نظر بگیریم ( ) و را به صورتِ تغییر دهیم، تخمینی که از داریم در واقع ضرب نقطه ای بردار ورودی و بردار پارامترهای ماست یعنی . حال فرض کنیم که تعداد مثال‌هایی که قرار است برای تخمین پارامترها استفاده کنیم است و این مثال‌ها را به این شکل نمایش دهیم . پارامتر بهینه پارامتری است که یک را به حداقل برساند و تخمینهایی ما را به متغیر وابسته بسیار نزدیک کند. را با جمع مربع تفاضل تخمین‌ها با متغیر وابسته تعریف می‌کنیم، به این شکل که ، با این حساب پارامتر بهینه می‌شود:
 
 در این روش برای بدست آوردن یا همان پارامتر بهینه، از تابع نسبت به می‌گیریم و گرادیان را برابر صفر قرار می‌دهیم و پارامتر نمونه را بدست می‌آوریم. از آنجا که تابع نسبت به تابعی کاملاً محدب است، در نقطه مینیمم گرادیان ما صفر خواهد بود و این روش پارامتر بهینه را بدست می‌دهد. برای تسهیل کار شکل تابع را با بکارگیری چند ماتریس ساده می‌کنیم. دو ماتریس برای این کار نیاز داردیم ماتریس و ماتریس . ماتریس ماتریس ورودهای چندمتغیره ماست. هر سطر معادل یک نمونه از داده ماست، سطر ام برابر است با امین نمونه ورودی ما یعنی بردار ، از اینرو یک ماتریس خواهد بود. ماتریس از طرف دیگر برابر است با مجموعه متغیرهای وابسته داده ما. سطر ام این ماتریس برابر است با متغیر وابسته برای امین نمونه داده ما یا همان . ماتریس یک ماتریس است. با کمک این دو ماتریس می‌توان را به شکل ذیل تعریف کرد:
 
 حال گرادیان این تابع را نسبت به پیدا می‌کنیم که می‌شود:
 
 با برابر قرار دادن گرادیان با صفر پارامتر بهینه بدست می‌آید:
 
 پس پارامتر بهینه ما برابر است با:
 
 روش پارامتر تخمین پارامتر بهینه از طریق کمترین مربعات ممکن است چند اشکال اساسی داشته باشد. یکی آنکه محاسبه ممکن است زمانبر باشد. بُعدِ ماتریس مربعی برابر است با و اگر بعد بالا باشد زمان محاسبه معکوس این ماتریس می‌تواند مسئله ساز شود. مضاف بر این، ماتریس ممکن است معکوس پذیر نباشد. از این رو روش‌های کاراتر و سریعتری برای تخمین پارامتر بهینه مورد استفاده قرار می‌گیرد. یکی از این روش‌ها روش است. در این روش هر بار یک مثال را به صورت اتفاقی از نمونه‌های داده انتخاب کرده، گرادیان را حساب می‌کنیم و کمی در جهت خلاف گرادیان پارامتر را حرکت می‌دهیم تا به یک پارامتر جدید برسیم. گرادیان جهت موضعی بیشترین افزایش را در تابع به ما نشان می‌دهد، برای بیشترین کاهش موضعی در خلاف جهت گرادیان باید حرکت کرد. اینکار را آنقدر ادامه می‌دهیم که گرادیان به اندازه کافی به صفر نزدیک شود. بجای اینکه داده‌ها را به صورت تصادفی انتخاب کنیم می‌توانیم به ترتیب داده شماره تا داده شماره را انتخاب کنیم و بعد دوباره به داده اولی برگردیم و این کار را به صورت چندین انجام دهیم تا گرادیان تابع به اندازه کافی به صفر نزدیک شود. از لحاظ ریاضی این کار را می‌توان به شکل پایین انجام داد، پارامتر را در ابتدا به صورت تصادفی مقدار دهی می‌کنیم و بعد برای داده ام و تمامی ها، یعنی از تا تغییر پایین را اعمال می‌کنیم، دراینجا همان مقداریست که در جهت گرادیان هربار حرکت می‌کنیم و داده ام در بُعد ام است:
 
 برای بدست آوردن پارامتر بهینه یعنی را به حداقل می‌رسانیم. می‌توان به همین پارامتر بهینه از روش هم رسید. فرض می‌کنیم که متغیر وابسته یعنی یک است که مقدارش از یک ( ) پیروی می‌کند. این توزیع احتمال، واریانس ثابتی به اسم دارد ولی میانگین آن ترکیبی خطی از متغیرهای مستقل یعنی است. به عبارت دیگر میانگین ما برابر است با . با احتساب میانگین و واریانس توزیع متغیر وابسته ما می‌شود . حال اگر فرض کنیم داده‌های ما نسبت به هم مستقل هستند برای تمام داده‌ها می‌شود:
 
 حال باید به دنبال پارامتری باشیم که این تابع بزرگنمایی را بیشینه کند. از آنجا که تابع مطلقاً صعودیست، بجای بیشینه کردن این تابع لگاریتمش را هم می‌شود بیشنه کرد و پارامتر بهینه را از آن طریق پیدا کرد:
 
 پارامتر بهینه از این طریق برابر است با:
 
 همان‌طور که دیدم پارامتری که را بیشینه می‌کند همان پارامتری است که را به حداقل می‌رساند. این به معنی معادل بودن روش کمترین مربعات با روش درست نمایی بیشنه در رگرسیون خطی است.
 پیچیدگی مدل‌های پارامتری با تعداد پارامترهای مدل و مقادیر آن‌ها سنجیده می‌شود. هرچه این پیچیدگی بیشتر باشد خطر (Overfitting) برای مدل بیشتر است. پدیده بیش‌برازش زمانی رخ می‌دهد که مدل بجای یادگیری الگوهای داده، داده را را حفظ می‌کند و در عمل یادگیری به خوبی انجام نمی‌شود. برای جلوگیری از در مدل‌های خطی مانند رگرسیون خطی یا رگرسیون لجستیک جریمه‌ای به اضافه می‌شود تا از افزایش زیاد پارامترها جلوگیری شود. به این کار تنظیم مدل یا Regularization گفته می‌شود. دو راه متداول تنظیم مدل‌های خطی روش‌های و هستند. در روش ضریبی از نُرمِ به اضافه می‌شود و در روش ضریبی از نُرمِ که همان نُرمِ اقلیدسی است به اضافه می‌شود.
 در تنظیم مدل به روش را به این شکل تغییر می‌دهیم:
 
 این روش تنظیم مدل که به روش لاسو (Lasso) نیز شهرت دارد باعث می‌شود که بسیاری از پارامترهای مدل نهائی صفر شوند و مدل به اصلاح خلوت (Sparse) شود. 
 در تنظیم مدل به روش را به این شکل تغییر می‌دهیم:
 
 در روش تنظیم از طریق سعی می‌شود طول اقلیدسی بردار کوتاه نگه داشته شود. در روش و یک عدد مثبت است که میزان تنظیم مدل را معین می‌کند. هرچقدر کوچکتر باشد جریمه کمتری برا بزرگی نرم بردار پارامترها یعنی پرداخت می‌کنیم. مقدار ایدئال از طریق آزمایش بر روی داده اعتبار (Validation Data) پیدا می‌شود.
 یک کاربرد مدل خطی عمومی در تحلیل متعدد در آزمایش‌های علمی است که Y شامل اطلاعات رسیده از پوینده‌های مغز است، X شامل متغیرهای تجربی طراحی و اختلال‌ها است. به‌طور معمول به روش تک متغیره آزموده می‌گردد (معمولاً در این پیکربندی به یک تک متغیر جرم ارجاع داده می‌شود) و معمولاً به معروف است.
{"title": "رگرسیون چندمتغیره", "link": "https://fa.wikipedia.org//w/index.php?title=%D8%B1%DA%AF%D8%B1%D8%B3%DB%8C%D9%88%D9%86_%DA%86%D9%86%D8%AF%D9%85%D8%AA%D8%BA%DB%8C%D8%B1%D9%87&oldid=33686940", "language": "fa"}