یا یا یکی از روش‌های است. رگرسیون یک نوع برای پیش‌بینی یک از روی یک یا چند دیگر. رگرسیون خطی نوعی است که در آن — متغیری که قرار است پیش‌بینی شود — به صورت از پیش‌بینی می‌شود، بدین معنی که هر کدام از در که در فرایند برای آن متغیر به‌دست آمده ضرب می‌شود؛ جواب نهائی مجموع حاصل‌ضرب‌ها به علاوه یک مقدار ثابت خواهد بود که آن هم در فرایند تخمین به‌دست آمده‌است. ساده‌ترین نوع رگرسیون خطی، است که بر خلاف رگرسیون خطی چندگانه، تنها یک دارد. نوع دیگر رگرسیون خطی است که در آن به جای پیش‌بینی یک چندین متغیر وابسته پیش‌بینی می‌شود.
 فرایند سعی می‌کند ضرایبِ مدل رگرسیون خطی را به گونه‌ای انتخاب کند که با موجود همخوانی داشته باشد، یعنی پیش‌بینی‌ها به مقادیر رؤیت شده در داده‌ها نزدیک باشند و یکی از مهم‌ترین مسائل در رگرسیون خطی، به حداقل رساندن اختلاف بین این دو است. راه‌های مختلفی برای حل این مسئله وجود دارد. در روش‌های ، مدل‌های رگرسیون خطی سعی در برآورد ِ (و نه ) دارند که از آن طریق از را به عنوان پیش‌بینی نهایی به‌کار می‌برند. از متداول‌ترین مورد استفاده است، اگر چه سایر نظیر یا نیز مورد استفاده قرار می‌گیرند.
 یکی دیگر از روش‌های متداول ، روش است که در آن مجموع تفاضل پیش‌بینی‌ها و داده‌های وابسته کمینه می‌شود. این روش مستلزم پیدا کردن تمام مستقل با آن است، فرآیندی که می‌تواند به علت ماتریس نهائی و کمبود داده پرهزینه و ناکارا باشد. از این رو عموماً از روش‌های جایگزین مانند استفاده می‌شود. با اینکه روش از متداول‌ترین روش‌های مدل رگرسیون خطی است اما روش‌های دیگری مانند کمترین (که در آن مجموع قدرمطلق تفاضل پیش‌بینی و داده وابسته به عنوان تابع هزینه در نظرگرفته می‌شود) یا تخمین (مانند جریمهٔ و جریمهٔ نُرمِ ) نیز مورد استفاده قرار می‌گیرد.
 روش از طریق با روش تخمین از طریق اعمال بر با در نظر گرفتن یک سری مفروضات معادل خواهد بود. این روش احتمالی برای محافظت مدل از نیز مورد استفاده قرار می‌گیرد، به این شکل که در تخمین مدل، به جای بیشینه می‌شود و به که نُرمِ کمتری دارند احتمال بالاتری اختصاص می‌دهد. در نتیجه مدل نهائی را فراخواهد گرفت که بزرگ نیستند و این به نوبهٔ خود باعث حفاظت مدل از بیش‌برازش می‌شود. روش استفادهٔ برآورد معادل روش تخمین است.
 رگرسیون خطی به‌طور گسترده‌ای در ، ، ، ، و مورد استفاده قرار می‌گیرد. همچنین رگرسیون خطی و مشتقات آن یکی از ابزارهای شناخته شده و پرکاربرد در هستند. با وجود کاربرد زیاد رگرسیون خطی در مختلف، این روش محدودیت‌هایی هم دارد. بسیاری از مسائل پژوهشی در علوم اجتماعی در قالب مدلهای رگرسیون نمی‌گنجند و یک متغیر خروجی ندارند (مانند تجزیه و تحلیل خوشه‌ای برای آشکار ساختن گروه‌های منسجم در داده‌ها). همچنین رگرسیون خطی برای پیدا کردن بین متغیرهای مستقل و وابسته ابزار مناسبی نیست.
 
 
 رگرسیون خطی یک برای یک یا چند از روی یک یا چند متغیر دیگر است. به متغیرهایی که پیش‌بینی بر روی آن انجام می‌شود و به متغیرهایی که پیش‌بینی به کمک آن‌ها انجام می‌شود می‌گویند. متغیرهای وابسته را معمولاً با و متغیرهای مستقل را با نمایش می‌دهند. اگر تنها یک وجود داشته باشد مدل رگرسیون خطی را و در غیر این صورت چندگانه می‌نامند. همچنین اگر به جای پیش‌بینی یک چندین پیش‌بینی شود، مدل رگرسیون خطی را می‌نامند. واژهٔ «رگرسیون» وام‌واژه‌ای از است و به معنی «برگشت» یا «پس‌گرایی» است؛ این واژه اولین بار توسط برای توصیف رابطهٔ خطی بین قد فرزندان و والدین‌شان مورد استفاده قرار گرفت. به‌طور دقیق‌تر او از اصطلاح «برگشت (رگرسیون) به میانگین» برای توصیف این رابطه استفاده کرد. 
 اگر فرض کنیم که تنها یک متغیر وابسته و چندین متغیر مستقل وجود داشته باشند، برای سهولت کار همهٔ متغیرهای مستقل را در یک می‌گنجانیم. اگر متغیر وابسته مقادیر عددی بگیرد مسئلهٔ مدل‌سازی « » نام می‌گیرد، و در غیر این حالت (یعنی وقتی متغیر وابسته باشد) به آن « » گفته می‌شود. 
 استفاده از رگرسیون خطی از شروع شد. اولین بار رگرسیون خطی در قالب و در کارهای و ارائه شد. این دو مستقل از یکدیگر و با استفاده از رگرسیون خطی، حرکت و ستاره‌های دنباله‌دار را پیش‌بینی کردند. بعدها نظریهٔ کمترین مربعات و را در سال ۱۸۲۱ منتشر کرد. بعدتر روش را توسعه داد. او و را فرض کرد. اما بعد از او نشان داد که به شرط باید باشد و نه توزیع احتمال مشترک آنها. 
 استفاده از واژه رگرسیون به اواخر قرن نوزدهم بر می‌گردد. در آن زمان برای پیدا کردن رابطهٔ قد فرزندان و والدین از روش رگرسیون استفاده کرد. داده‌ها به او نشان دادند که والدین بلند قد معمولاً فرزندان کوتاه‌قدتری نسبت به خود دارند و بالعکس. او این رابطه را با یک خط نشان داد (که با یک و یک تعریف می‌شد). اگر چه این خط تمام داده‌ها را بر روی خود نمی‌گنجاند ولی میانگین قد فرزندان را بر حسب قد والدینی که قد یکسانی داشتند تخمین می‌زد. اصطلاح رگرسیون در ابتدا فقط برای روش تخمین قد فرزندان از روی قد والدین به کار می‌رفت ولی به تدریج عمومیت پیدا کرد و برای تخمین میانگین یک متغیر وابسته با استفاده از ترکیب خطی چندین متغیر مستقل به کار برده شد. 
 از لحاظ تاریخی رگرسیون خطی معمولاً از روش کمترین مربعات یا تخمین زده می‌شد ولی بعدها روشهای دیگری نیز مورد استفاده قرار گرفت. کاربرد اولیهٔ رگرسیون خطی در علوم پایه و علوم تجربی بود و استفاده از این روش را در متداول کرد و گسترش داد. 
 در دهه‌های ۱۹۵۰ و ۱۹۶۰ از برای تخمین مدل رگرسیون خطی استفاده می‌کردند. قبل از دههٔ ۱۹۷۰، گاهی اوقات یک شبانه‌روز ساعت طول می‌کشد تا نتیجه یک رگرسیون دریافت شود. 
 معمولاً چند پیش‌فرض برای استفاده از رگرسیون خطی در نظر گرفته می‌شود. اگر اختلاف بین متغیر وابسته و پیش‌بینی مدل را بنامیم، آنگاه مفروضات زیر باید در مدل‌سازی رگرسیون خطی برقرار باشند: 
 
 
 
 
 فرق رگرسیون خطی با سایر مدل‌های در این است که در این مدل رابطهٔ بین و یک فرض می‌شود. رگرسیون خطی، که خود نوعی است، پیش‌بینی متغیر وابسته را از حاصل‌جمع ضرب در یک سری به‌دست می‌آورد. در که تنها یک وجود دارد، پیش‌بینی شکل یک به خود می‌گیرد؛ در رگرسیون خطی با دو متغیر شکل پیش‌بینی یک خواهد بود، و در رگرسیون خطی با بیش از دو پیش‌بینی به صورت یک خواهد بود. 
 رگرسیون خطی ساده میزان اثر یک متغیر مستقل بر یک متغیر وابسته را می‌سنجد و همبستگی رابطهٔ بین آن‌ها را مورد سنجش قرار می‌دهد. 
 مثلاً تحلیل رگرسیونی سادهٔ زیر با نقطه، و ضرایب و خطی است:
 در عبارت پیشین مقدار خطاست و پانویس شمارهٔ هر مشاهده (هر جفت و ) را نشان می‌دهد. با داشتن مجموعه‌ای از این نقطه‌ها می‌توان مدل را به دست آورد:
 
 
 عبارت «مانده» نام دارد و تخمینی است از اختلاف بین مقدار محاسبه شده و مقدار واقعی متغیر وابسته: . برای تخمین این مدل رگرسیون باید سه تخمین زده بشوند: دو ضریب و و مانده ( ). روش رایج برای به‌دست‌آوردن پارامترها، روش است. در این روش پارامترها را با کمینه‌کردن مجموع مربعات خطا به دست می‌آورند:
 
 
 در مورد ، پارامترها با این روش برابر خواهند بود با:
 
 
 که در آن و میانگین و هستند.
 معمولاً زمانی می‌توان از استفاده کرد که یک بین وجود داشته باشد. این را می‌توان به عنوان مثال از که عددی در بازه است به‌دست‌آورد. ضریب همبستگی مثبت به این معنی است که با افزایش یک متغیر، متغیر دیگر هم افزایش می‌یابد و بالعکس، اما ضریب همبستگی منفی نشان‌دهنده رابطه معکوس بین دو متغیر است یعنی با افزایش یکی دیگری کاهش می‌یابد و بالعکس. ضریب صفر به این معنی است که هیچ رابطه‌ای بین دو متغیر نیست و دو متغیر نسبت به هم مستقلند. 
 هدف مدل‌های همبستگی بررسی میزان رابطهٔ دو یا چند متغیر است. رگرسیون اما به دنبال پیش‌بینی یک یا چند متغیر براساس یک یا چند متغیر دیگر است. به بیان دیگر، همبستگی میزان و شدت رابطهٔ متغیرها را نشان می‌دهد اما رگرسیون معادله‌ای را برای پیش‌بینی متغیرها ارائه می‌کند. 
 آنچه در خروجی نتایج رگرسیون و همبستگی باعث ایجاد تفاوت می‌شود آن است که در همبستگی همیشه اثرات متغیرها به صورت دو به دو مورد سنجش قرار می‌گیرد اما در یک مدل رگرسیون اثرات متغیرها به صورت همزمان بررسی می‌شود. یعنی در همبستگی رابطه متغیر با متغیر به وجود یا عدم وجود متغیر ارتباطی ندارد اما اما در رگرسیون تأثیر متغیر بر متغیر به وجود یا عدم وجود متغیر بستگی دارد (به شرط آن که متغیر هم در مدل رگرسیون به کار گرفته شود؛ چنین مدل رگرسیون خطی را «چندگانه» می‌نامند).
 در بسیاری از مسائل رایج رگرسیون، ورودی چندمتغیره است. اگر فرض کنیم متغیر ما بُعد دارد، یعنی ، مسئلهٔ رگرسیون به یک مسئلهٔ برای پیدا کردن پارامتر تبدیل می‌شود، به این معنی که ما یک پارامتر چندمتغیره به اسم داریم و سعی می‌کنیم که متغیر وابسته که همان است را با بردار ، تخمین بزنیم که یعنی . حال اگر یک بعد دیگر به متغیر اضافه کنیم و مقدارش را همیشه عدد ثابت در نظر بگیریم ( ) و را به صورتِ تغییر دهیم، تخمینی که از داریم در واقع بردار ورودی و بردار پارامترهای ماست یعنی . حال فرض کنیم که تعداد مثال‌هایی که قرار است برای تخمین پارامترها استفاده کنیم است و این مثال‌ها را به این شکل نمایش دهیم . در چنین مدلی پارامتر بهینه آن پارامتری است که یک تابع هزینه را به حداقل برساند و تخمین‌های ما را به متغیر وابسته بسیار نزدیک کند. تابع هزینه را با جمع مربع تفاضل تخمین‌ها با متغیر وابسته تعریف می‌کنیم، به این شکل که ، و با این حساب پارامتر بهینه عبارت است از:
 
 
 مقالهٔ اصلی: در این روش برای به‌دست آوردن یا همان پارامتر ، از تابع نسبت به می‌گیریم و این گرادیان را برابر صفر قرار می‌دهیم و پارامتر بهینه را به‌دست می‌آوریم. از آنجا که تابع نسبت به تابعی کاملاً محدب است، در نقطهٔ کمینهٔ این تابع، گرادیان صفر خواهد بود و این روش پارامتر بهینه را به‌دست می‌دهد. برای تسهیل کار، شکل تابع را با به‌کارگیری چند ساده می‌کنیم. دو ماتریس برای این کار نیاز داریم: ماتریس و ماتریس . ماتریس ماتریس ورودیهای چندمتغیرهٔ ماست. در این ماتریس هر سطر معادل یک نمونه از دادهٔ ماست، مثلاً سطر ام برابر است با امین نمونه ورودی ما یعنی بردار ، از اینرو یک ماتریس خواهد بود. ماتریس از طرف دیگر برابر است با مجموعه متغیرهای وابسته در دادهٔ ما. سطر ام این ماتریس برابر است با متغیر وابسته برای امین نمونهٔ داده ما یا همان . ماتریس یک ماتریس است. با کمک این دو ماتریس می‌توان را به شکل ذیل تعریف کرد:
 
 
 حال گرادیان این تابع را نسبت به پیدا می‌کنیم که می‌شود:
 
 
 با برابر قرار دادن گرادیان با صفر پارامتر بهینه به‌دست می‌آید:
 
 
 در روش کمترین مربعات معمولاً برای جلوگیری از از یا مقابله با مشکل عدم ِ از روش ، ، یا استفاده می‌شود.
 مقالهٔ اصلی: یکی از روش‌های جلوگیری از از یا مقابله با مشکل عدم ِ است. این روش متناوباً مولفه‌هایی ( در پایین) که از مقادیر متغیرهای مستقل ( در پایین) هستند تولید می‌کند و در نهایت راه حل کمترین مربعات را بر روی این بردارها اعمال می‌کند. ضرایب این مولفه‌ها با ضرب نقطه‌ایِ مقادیر متغیرهای وابسته و مستقل برابر است. مقادیر متغیرهای مستقل در ابتدای کار استاندارد شده‌اند به این معنی که صفر و یک دارند. در پایان هر مرحله مقادیر متغیرهای مستقل نسبت به مولفه آن مرحله متعامد می‌شوند. این کار باعث می‌شود که در پایان تمام مولفه‌ها نسبت به هم متعامد باشند و ضریب رگرسیون مولفه با برابر باشد. تولید مولفه‌ها برای به شکل پایین است ( از محاسبه می‌شود): 
 
 از آنجا که یا همان مقدار پیش‌بینی شده، ترکیبی خطی از ‌ها است و خود ‌ها هم ترکیبی خطی از مقادیر متغیرهای مستقل هستند، در نهایت مدل رگرسیون ترکیبی خطی از مقادیر متغیرهای مستقل خواهد بود. 
 مقالهٔ اصلی: روش پارامتر تخمین پارامتر بهینه از طریق ممکن است چند اشکال اساسی داشته باشد. یکی آنکه محاسبهٔ ممکن است زمانبر باشد. بُعدِ ماتریس مربعی برابر است با و اگر مقدار زیاد باشد زمان محاسبه می‌تواند مسئله ساز شود. به علاوه این ماتریس ممکن است اساساً معکوس پذیر نباشد. از این رو روش‌های کاراتر و سریعتری برای تخمین پارامتر بهینه مورد استفاده قرار می‌گیرد. یکی از این روش‌ها روش گرادیان کاهشی تصادفی است. در این روش هر بار یک مثال را به‌صورت اتفاقی از نمونه‌های داده انتخاب کرده، گرادیان تابع هزینه را حساب می‌کنیم و کمی در جهت خلاف گرادیان پارامتر را حرکت می‌دهیم تا به یک پارامتر جدید برسیم. گرادیان جهت موضعی بیشترین افزایش را در تابع به ما نشان می‌دهد، برای بیشترین کاهش موضعی در خلاف جهت گرادیان باید حرکت کرد. اینکار را آنقدر ادامه می‌دهیم که گرادیان به اندازه کافی به صفر نزدیک شود. به‌جای اینکه داده‌ها را به‌صورت تصادفی انتخاب کنیم می‌توانیم به ترتیب داده شماره تا داده شماره را انتخاب کنیم و بعد دوباره به داده اولی برگردیم و این کار را چندین بار تکرار کنیم تا گرادیان تابع به اندازهٔ کافی به صفر نزدیک شود. از لحاظ ریاضی این کار را می‌توان به شکل پایین انجام داد: پارامتر را در ابتدا به‌صورت تصادفی مقدار دهی می‌کنیم و بعد برای داده ام و تمامی ‌ها، یعنی از تا تغییر پایین را اعمال می‌کنیم، دراینجا همان مقداری است که در جهت گرادیان هربار حرکت می‌کنیم و مشتق جزئی داده ام در بُعد ام است: 
 
 
 مقالهٔ اصلی: همچنان که پیشتر گفته شد، برای به‌دست آوردن پارامتر بهینه می‌بایست تابع هزینه یعنی را به حداقل برسانیم. می‌توان به همین پارامتر بهینه از روش برآورد درست‌نمایی بیشینه هم رسید. فرض می‌کنیم که متغیر وابسته یعنی یک است که مقدارش از یک ( ) پیروی می‌کند. این توزیع احتمال، واریانس ثابتی به اسم دارد ولی میانگین آن ترکیبی خطی از متغیرهای مستقل یعنی است. به عبارت دیگر میانگین آن برابر است با . با احتساب میانگین و واریانس، توزیع متغیر وابسته عبارت است از . حال اگر فرض کنیم داده‌ها نسبت به یکدیگر مستقل هستند آن گاه برای تمام داده‌ها می‌شود: 
 
 
 حال باید به دنبال پارامتری باشیم که این تابع را بیشینه کند. از آنجا که تابع مطلقاً صعودیست، به‌جای بیشینه کردن این تابع لگاریتمش را هم می‌شود بیشینه کرد و پارامتر بهینه را از آن طریق پیدا کرد:
 
 
 پارامتر بهینه از این طریق برابر است با:
 
 
 به این ترتیب پارامتری که را بیشینه می‌کند همان پارامتری است که را به حداقل می‌رساند. این یعنی در رگرسیون خطی نتیجهٔ روش کمترین مربعات با روش برآورد درست‌نمایی بیشینه یکی است. 
 پیچیدگی مدل‌های پارامتری با تعداد پارامترهای مدل و مقادیر آن‌ها سنجیده می‌شود. هرچه این پیچیدگی بیشتر باشد خطر برای مدل بیشتر است. پدیدهٔ بیش‌برازش زمانی رخ می‌دهد که مدل به‌جای یادگیری الگوهای موجود در داده، خود داده را به خاطر می‌سپارد. در این حالت، مدل برای آن مجموعه دادهٔ به‌خصوص خوب عمل می‌کند اما برای داده‌های مشابه دیگر عملکرد خوبی ندارد، که یعنی عمل یادگیری به خوبی انجام نشده‌است. برای جلوگیری از در مدل‌های خطی مانند رگرسیون خطی یا ، یک «جریمه» به تابع هزینه اضافه می‌شود تا از افزایش زیاد پارامترها جلوگیری شود. به این کار گفته می‌شود. دو راه متداول تنظیم مدل‌های خطی روش‌های و هستند. در روش ضریبی از به تابع هزینه اضافه می‌شود و در روش ضریبی از نُرمِ که همان نُرمِ اقلیدسی است به تابع هزینهٔ اضافه می‌شود. نام روش‌های و از که در این روش‌ها به تابع هزینه اضافه می‌شود گرفته شده‌است. 
 در تنظیم مدل به روش تابع هزینه را به این شکل تغییر می‌دهیم: 
 
 این روش تنظیم مدل که به روش نیز شهرت دارد باعث می‌شود که بسیاری از پارامترهای مدل نهائی صفر شوند و مدل به اصلاح خلوت شود. 
 در تنظیم مدل به روش که به نیز شهرت دارد تابع هزینه را به این شکل تغییر می‌دهیم: 
 
 در روش تنظیم از طریق سعی می‌شود طول اقلیدسی بردار کوتاه نگه داشته شود. در هر دو روش و یک عدد مثبت است که میزان تنظیم مدل را معین می‌کند. هرچقدر کوچکتر باشد جریمهٔ کمتری برای بزرگی بردار پارامترها یعنی محاسبه می‌شود. مقدار بهینهٔ از طریق آزمایش بر روی بخشی از داده‌ها پیدا می‌شود که در یادگیری مدل دخالت داده نشده‌اند؛ به این بخش از داده‌ها، دادهٔ اعتبار یا مجموعهٔ اعتبارسنجی گفته می‌شود. 
 با استفاده از می‌توان اثبات کرد که تنظیم مدل و نوعی مقید هستند. در تنظیم مدل تابع هزینه به نحوی کمینه می‌شود که نرمِ از یک مقدار مشخصی که بستگی به دارد بیشتر نشود. به همین نحو، تنظیم مدل تابع هزینه را همزمان با مقید کردن نرم کاهش می‌دهد. 
 اگر به جای روش برآورد درست‌نمایی بیشینه از روش بیشینه‌سازی استفاده شود ساختار «تنظیم مدل» به دست می‌آید. اگر مجموعهٔ داده را با و پارامتری که به دنبال تخمین آن هستیم را با نمایش بدهیم، طبق احتمال پسین یعنی متناسب خواهد بود با حاصلضرب درست‌نمایی یعنی و احتمال پیشین یعنی : 
 
 
 از این رو:
 
 
 معادلهٔ خط پیشین نشان می‌دهد که برای یافتن پارامتر بهینه فقط کافیست که احتمال پیشین را نیز در معادله دخیل کنیم. اگر احتمال پیشین را یک توزیع گاوسی با میانگین صفر و در نظر بگیریم به معادلهٔ پایین می‌رسیم: 
 
 
 با ساده کردن این معادله به جواب زیر می‌رسیم که در آن برابر است با :
 
 
 این جواب برابر با نتیجهٔ تنظیم مدل با نرم است.
 به‌طور مشابه، اگر احتمال پیشین را از نوع با میانگین صفر در نظر بگیریم به تنظیم مدل با نرم خواهیم رسید. 
 معمولاً تعدادِ زیادِ متغیرهای مستقل، تعبیرپذیری مدلِ نهائی را دچار مشکل می‌کند. مضاف بر این بعضی از متغیرهای مستقل ممکن است باعث کاهش دقت مدل شوند. به همین دلیل حذف این متغیرها و استفاده از تنها یک زیرمجموعه بهینه از متغیرهای مستقل می‌تواند مدلی با کارایی بالاتری تولید کند. روشهای مختلفی برای انتخاب متغیرها وجود دارد. یکی از ساده‌ترین راه‌ها محاسبه تابع هزینه به ازای تمام زیرمجموعه‌های ممکن و انتخاب زیرمجموعه بهینه با کمترین میزان هزینه است. در این روش مسئله رگرسیون خطی باید به ازای تمامی زیرمجموعه‌ها، یعنی بار، حل شود. از این‌رو این روش معمولاً برای مسائلی که داده‌های زیادی دارند یا تعداد متغیرهای مستقل آن بزرگ است (معمولاً ) راه حل مناسبی نیست. روشهای پیش‌رو و پس‌رو که متناوباً متغیرهای مستقل را انتخاب یا حذف می‌کنند یا روشهای کوچک سازی که از طریق اعمال محدودیت بر روی پارامترها میزان تأثیرگذاری آنها را در مدل نهائی مهار می‌کنند، راه‌های بهتری برای انتخاب متغیر هستند. 
 در روش پیش‌رو، ابتدا از طریق محاسبه مقادیر به‌دست می‌آید، سپس به تناوب در هر مرحله متغیری که باعث بیشترین کاهش می‌شود به مدل افزوده می‌شود. به زبان دقیق‌تر در مرحله ، یک متغیر از که تا به حال انتخاب نشده به متغیر منتخب اضافه می‌شود. در نهایت بهترین زیرمجموعه از میانِ زیرمجموعه‌ای که متناوباً ساخته شده با استفاده از محاسبه می‌شود. برای تسریع انتخاب متغیر مستقل بهینه در هر مرحله می‌توان از استفاده کرد. روش پس‌رو مانند روش پیش‌رو عمل می‌کند با این تفاوت که در ابتدا تمام متغیرهای مستقل مورد استفاده قرار می‌گیرند و در هر مرحله یک متغیر مستقل حذف می‌شود. بهترین متغیر برای حذف در هر مرحله متغیری است که کمترین را داشته باشد. 
 
در روشهای کوچک سازی که همان روشهای است، سعی بر این است که برای جلوگیری از ، میزان تأثیرگذاری پارامترها مهار شود. به همین منظور مسئله به یک بهینه‌سازی مقید تغییر داده می‌شود تا نُرمِ یا از یک مقدار معینی زیادتر نشود. در روش کوچک سازی به عبارت پایین تغییر شکل می‌دهد که معادل تنظیم مدل است. این روش باعث می‌شود که مدل نهائی به اصطلاح خلوت شود و ضریب بسیاری از متغیرها صفر گردد. به صورت مشابه در روش کوچک سازی ، مسئله بهینه‌سازی با معادله پایین برابر خواهد بود که معادل است. این روش باعث می‌شود که ضرایب رگرسیون زیاد بزرگ نشوند. مقالهٔ اصلی: 
رگرسیونهای خطی که بر استوارند، معمولاً سعی دارند که میانگین متغیر وابسته را بر اساس توزیع شرطی این متغیر و با کمک ترکیبی خطی از متغیرهای مستقل تخمین بزنند. در مقایسه، هدف را بر محاسبه یک یا چند ِ متغیر وابسته می‌گذارد. معمولاً با بهتر از رگرسیون معمولی کار می‌کند و پیش‌فرضهای کمتری دارد من‌جمله اینکه توزیع شرطی متغیر وابسته ضرورتاً لازم نیست توزیعی طبیعی باشد. همچنین رگرسیون چندک در مسائلی به کار می‌رود که هدف بدست آوردن توزیع مشروط متغیر وابسته باشد نه فقط یک آماره از آن مانند میانگین؛ چه که با استفاده از چندک‌های یک توزیع می‌توان کل توزیع را تقریب زد. اگر متغیر باشد، و عددی در باشد، آنگاه چندک مرتبط با این عدد به این شکل تعریف می‌شود: 
 
 می‌توان نشان‌داد که:
 
 
 
که در اینجا است. حال اگر را نداشته باشیم و فقط نمونه از توزیع متغیر داشته باشیم آنگاه چندک متغیر را با بهینه‌سازی پایین می‌توان به‌دست‌آورد. 
 
 حال اگر چندکِ متغیر وابسته را با ترکیبی خطی از متغیرهای مستقل تخمین بزنیم آنگاه هدف مسئله رگرسیون خطی پیدا کردن ضرایبی خواهد بود که داده‌های وابسته را به چندکشان نزدیک کند:
 
 
 این مسئله با کمک حل می‌شود.
 
اگر با برابر باشد، رگرسیون خطی، را تخمین خواهد زد و تابع هزینه به مجموع تفاضل پیش‌بینی و داده وابسته تغییر شکل می‌یابد: 
 
 در علوم کاربرد فراوانی دارد. معمولاً به علت پیچیدگی و تعداد زیاد عوامل تأثیرگذار در یک رویداد طبیعی، توزیع‌های شرطی متغیرهای وابسته اغلب واریانس بالا و غیر همسانی دارند که باعث می‌شود رابطه بین متغیرهای مستقل و میانگین توزیع شرطی ضعیف شود؛ تقریب کل توزیع شرطی با استفاده از تخمین خطی چندک‌های توزیع شرطی حاوی اطلاعات بیشتری برای پژوهشگران این رشته‌است و این تقریب از طریق به دست می‌آید. مقالهٔ اصلی: در رگرسیون کمترین زاویه که به آن هم گفته می‌شود، ضرایب رگرسیون در یک فرایند افزایشی به شکل زیر تخمین زده می‌شوند: 
 
 
 
 مانند باعث می‌شوند مدل نهائی خلوت شود و بسیاری از ضرایبِ مدل صفر شود. این مدل برای داده‌هایی بُعد بالا مورد استفاده قرار می‌گیرد. 
 
رگرسیون خطی با وزنهای موضعی همانند کمترین مربعات کار می‌کند با این تفاوت که مسئله پیش‌بینی برای هر کدام از داده‌های جدید متفاوت خواهد بود. در رگرسیون خطی معمولی یک بار مدل تخمین زده می‌شود و بعد برای پیش‌بینی داده‌های جدید از آن استفاده می‌شود. در مدل رگرسیون خطی با وزنهای موضعی اما برای هر داده جدید یک تخمین جدید رخ خواهد داد به گونه‌ای که داده‌های آموزشیِ نزدیکتر به داده جدید وزن بالاتری در مسئله بهینه‌سازی بگیرند و رگرسیون خطی به صورت موضعی انجام شود: 
 
 در اینجا وزن موضعی داده جدید را با داده آموزشی نشان می‌دهد که با فاصله این دو داده نسبت به هم نسبت عکس دارد مانند نمونه پایین: 
 
 در این نوع رگرسیون داده‌های آموزشی که به داده جدید نزدیکترند وزن بیشتری خواهند گرفت و داده‌های دورتر عملاً نادیده گرفته می‌شوند. در رگرسیون خطی تعمیم یافته برای پیش‌بینی یک ترکیب خطی از از متغیرهای مستقل را در نظر می‌گیرند نه خود آن متغیرها را. به بیان دیگر: 
 
 
 در این تابع، از فضای بُعدی به یک فضای بُعدی از طریق نگاشت منتقل شده‌است و سپس در آن فضا مقادیر جدید از طریق ترکیبی خطی با هم ترکیب شده‌اند. به عنوان مثال در رگرسیون خطی ساده می‌توان چندین متغیر جدید را از طریق یک درجه تولید کرد و سپس رگرسیون خطی را بوسیله آنها انجام داد، که این کار معادل نگاشت متغیر مستقل به یک فضای بعدی و انجام رگرسیون در آن فضاست: 
 
 رگرسیون خطی تعمیم‌یافته را می‌توان زمانی به کار برد که رابطهٔ بین متغیر وابسته و مستقل یک خط راست نباشد اما بتوان از طریق یک انگاشت آن را به خطی راست تبدیل کرد. به عنوان مثال برای پیش‌بینی میزان تنش در یک سازه ساختمانی از رگرسیون چند جمله‌ای استفاده می‌کنند چه که رابطهٔ متغیر مستقل و وابسته خطی نیست و شباهت بیشتری به یک تابع درجه دو دارد. 
 مقالهٔ اصلی: (یا مدل چند سطحی ) مدل رگرسیونی است که پارامترهای آن بر اساس یا سطحی که داده به آن تعلق دارد ممکن است تغییر کند. به عنوان مثال در مسئله پیش‌بینی میزان سلامتی فرد از طریق مقدار درآمد او، از آنجا که افرادی که در یک محله زندگی می‌کنند میزان درآمد و سلامتی آنها به هم وابستگی بیشتری نسبت به بقیهٔ افراد دارد، بهتر است هر محله مدل رگرسیونِ جداگانه خود را داشته باشند. در این مثال یک مدل رگرسیون خطی در سطح اول (سطح فرد در محله) ساخته می‌شود که بعضی یا همه پارامترهای آن می‌تواند برای هر محله متفاوت باشد. پارامترهای متفاوت می‌تواند خود از یک مدل رگرسیون دیگر در سطح دوم (سطح محله‌ها) یا به‌صورت تصادفی تخمین زده شوند. 
 اگر محلهٔ ، داده (فرد) داشته باشد، آنگاه برای این محله باید دو پارامتر و را پیدا کرد. برای داده ( ) رابطه میان میزان درآمد فرد ( ) و میزان سلامتی او ( ) را به صورت پایین نشان می‌دهیم؛ در اینجا مقدار خطای تصادفی است که معمولاً از یک پیروی می‌کند:
 
 
 حال می‌توان یا یا یا هر دو را برای هر محله متفاوت در نظر گرفت. این تفاوت می‌تواند تصادفی مدل‌سازی شود یا خود از یک مدل رگرسیون خطی دیگر که دارای یک یا چند متغیر مستقل در سطح دو (سطح محله) است برآورد شود. اگر فرض کنیم هر دوی و از یک مدل رگرسیون دیگر می‌آیند آنگاه می‌توان به صورت پایین آنها را تخمین زد؛ در این دو معادله یک متغیر مستقل در سطح دو (سطح محله) است که به عنوان نمونه می‌تواند میزان ثروت محله باشد و و خطاهای تصادفی است. 
 
 
 
 
 از مدل رگرسیون خطی می‌توان برای تحلیل رابطه متغیرهای مستقل با متغیر وابسته استفاده کرد. اگر یک متغیر مستقل مانند را در نظر بگیریم و بقیه متغیرهای مستقل را ثابت فرض کنیم، ضریب این متغیر یعنی ، میانگین تغییر در ازای تغییر یک واحد در را نشان می‌دهد که معادل میانگین نسبت به یا همان رگرسیون با ثابت گرفتن سایر متغیرهای مستقل است. از این تأثیر با عنوان «تأثیر منحصر به فرد» بر روی نیز یاد می‌شود. از طرفی دیگر «تأثیر حاشیه‌ای» بر روی از طریق رگرسیون خطی ساده (مدلی که فقط یک متغیر مستقل به اسم دارد) به‌دست می‌آید. 
 این امکان وجود دارد که با وجود تأثیر حاشیه‌ای بزرگ، تأثیر منحصر به فرد متغیر تقریباً صفر باشد. این در شرایطی اتفاق خواهد افتاد که بعضی از متغیرهای مستقل دیگر بتوانند متغیر وابسته را به خوبی پیش‌بینی کنند و سهم در مقایسه با سایر متغیرها ناچیز باشد. از طرف دیگر، این امکان نیز وجود دارد که با وجود تأثیر حاشیه‌ای تقریباً صفر، تأثیر منحصر به فرد بزرگ باشد. این اتفاق زمانی رخ می‌دهد که سایر متغیرها میزان زیادی از تغییر را توضیح می‌دهند و نقش نقشی تکمیلی است. در این حالت متغیر بخشی از را که توسط سایر متغیرها توضیح‌ناپذیر است توضیح می‌دهد. 
 معمولاً بعد از تخمین مدل رگرسیون، صورت می‌گیرد. در این عیب‌یابی معمولاً پیش‌فرضهای رگرسیون خطی مورد راستی‌آزمایی قرار می‌گیرند و داده‌هایی که تأثیر بی‌مورد در مدل نهائی داشته‌اند شناسایی می‌شوند. برای بررسی پیش‌فرضهای رگرسیون خطی از چندین نمودار و معیار استفاده می‌شود. از می‌توان برای مقایسه بین چندک‌های مانده‌های استاندارد شده و چندک‌های و بررسی پیش‌فرض توزیع طبیعی مانده‌ها استفاده کرد. در صورت برقرار بودن پیش‌فرض، نمودار باید کم و بیش یک خط راست با زاویهٔ ۴۵ درجه نسبت به محورهای نمودار باشد. برای بررسی پیش‌فرض خطی بودن رابطه پارامترها و متغیر وابسته نموداری از مانده‌ها و مقادیر پیش‌بینی شده ترسیم می‌شود، اگر رابطه بین این دو گروه یک خط راست نباشد، پیش‌فرض نقض شده‌است. از این نمودار همچنین می‌توان برای بررسی واریانس‌همسانی مانده‌ها استفاده کرد. در نهایت برای پیدا کردن داده‌هایی که تأثیر بی‌مورد در مدل رگرسیون دارند از معیاری به اسم استفاده می‌شود. این معیار تأثیر هر داده را بر ضرایب نهائی مدل رگرسیون -با تخمین یک مدل جدید بدون آن داده و مقایسه آن با مدل قبلی- می‌سنجد. داده‌هایی که آنها از یک آستانه از پیش تعیین شده بیشتر است تأثیری منفی بر مدل رگرسیون دارند. 
 رگرسیون خطی به‌طور گسترده‌ای در ، رفتاری و اجتماعی برای توصیف روابط احتمالی بین متغیرها مورد استفاده قرار می‌گیرد و از مهترین ابزارها برای این کار است. رگرسیون خطی همچنین در دارایی‌های و تحلیل و اندازه‌گیری خطر سرمایه‌گذاری مورد استفاده قرار می‌گیرد. این مدل مستقیماً از در مدل رگرسیون خطی به دست می‌آید که بازده سرمایه را به بازده تمام دارایی‌ها با ریسک بالا مربوط می‌کند. همچنین در رگرسیون خطی یکی از مهم‌ترین و پراستفاده‌ترین ابزارهاست. به عنوان مثال، برای پیش‌بینی هزینه مصرف، هزینه ثابت، سرمایه‌گذاری موجودی، خرید صادرات کشور، هزینه برای واردات، تقاضا برای نگهداری دارایی‌های نقد، تقاضای کار، و عرضه نیروی کار از این مدل استفاده می‌شود. در علوم نیز رگرسیون خطی کاربردهای گسترده‌ای دارد. برای نمونه در ، از رگرسیون خطی برای پیش‌بینی اثرات کارخانه‌های کاغذسازی و معادن بر روی ماهی‌ها و مناطق استفاده می‌کنند. رگرسیون خطی در علم پزشکی نیز کاربرد دارد. به عنوان مثال اولین تحقیقاتی که رابطه استعمال دخانیات و مرگ و میر را نشان می‌داد از مدل رگرسیون خطی استفاده می‌کرد. رگرسیون خطی در تخمین نیز کاربرد دارد. ، سیر تغییرات یک سری داده را در یک بازه زمانی طویل‌المدت نشان می‌دهد. معمولاً به صورت چشمی سیر صعودی یا نزولی بودن این تغییرات را می‌توان تشخیص داد ولی برای محاسبه دقیق‌تر شیب این تغییرات از رگرسیون خطی استفاده می‌شود. در مواردی که سیر تغییرات را با یک تخمین می‌زنند از رگرسیون خطی تعمیم یافته استفاده می‌کنند. همچنین رگرسیون خطی و مشتقات آن یکی از ابزارهای شناخته شده و پرکاربرد در شاخه‌های مخصوصاً در شاخه است. 
 گرچه رگرسیون خطی ابزاری بسیار انعطاف‌پذیر برای تحقیقات علوم مختلف است، اما بدون محدودیت هم نیست. همه مسائل پژوهشی در قالب مدلهای رگرسیون نمی‌گنجد، به ویژه مسائلی که یک متغیر خروجی ندارند. به عنوان نمونه، یک ابزار آماری است که برای آشکار ساختن گروه‌های منسجم (یا خوشه‌ها) در داده‌ها به کار می‌رود. رگرسیون مدل مناسبی برای کشف این نوع الگو در داده‌ها نیست. 
 از آنجا که رگرسیون بر پیشینی متغیر خروجی (متغیر وابسته) متمرکز است، این شبهه ممکن است ایجاد شود که وجود رابطه بین متغیرهای مستقل و وابسته در مدل رگرسیون دال بر این رابطه است. این نوع تعمیم نتایج مدل رگرسیونی نادرست است، و برای تحلیل علیت باید از روش‌های آماری و تحقیقی دیگری بهره جست. 
 در استفاده از مدل رگرسیون برای نیز محدودیت‌هایی می‌تواند وجود داشته باشد. برای ارائهٔ استنباط معتبر، داده‌ها باید نمونه‌ای از یک جمعیت باشند یا در مطالعهٔ تجربی مورد نظر تصادفی شده باشند. بیشتر نمونه‌ها در این شرط را برآورده نمی‌کنند و استفاده از مدل رگرسیون برای تحلیل آن‌ها خالی از اشکال نیست. البته، این یک انتقاد از خود رگرسیون نیست بلکه از طراحی مطالعات تجربی و محدودیت‌های استنباط آماری با نمونه‌گیری غیر تصادفی است. با وجود همهٔ این محدودیت‌ها، رگرسیون و مدل‌های تعمیم‌یافتهٔ آن همچنان ابزاری فوق‌العاده مفید برای پژوهشگران علوم مختلف محسوب می‌شوند. 
 رگرسیون خطی برای بسیاری از مسائل مدل مناسبی نیست. این امکان وجود دارد که چندین مجموعه دادهٔ کاملاً متفاوت، مدل رگرسیون خطی یکسانی داشته باشند. نمونهٔ کلاسیک این حالت است. متشکل از چهار مجموعه داده‌است که نمودارهای کاملاً متفاوتی دارند ولی مدل رگرسیون خطی آنها کاملاً یکسان است. یک مجموعه در این مجموعهٔ چهارتایی (بالا سمت راست در شکل) دارای یک رابطهٔ کاملاً غیر خطی بین متغیرهاست. در یک مجموعه دیگر (پایین سمت چپ در شکل) با اینکه یک رابطهٔ خطی بین متغیرها حاکم است ولی به علت وجود یک ، مدل رگرسیون خطی به دست آمده نامناسب است. نهایتاً در یک مجموعه دیگر (پایین سمت راست در شکل) بین متغیرهای وابسته و مستقل هیچ وجود ندارد ولی به علت وجود یک ، این دو متغیر بالاست و یک مدل رگرسیون نامناسب برای پیش‌بینی متغیر وابسته تخمین زده شده‌است.
{"title": "رگرسیون خطی", "link": "https://fa.wikipedia.org//w/index.php?title=%D8%B1%DA%AF%D8%B1%D8%B3%DB%8C%D9%88%D9%86_%D8%AE%D8%B7%DB%8C&oldid=34119106", "language": "fa"}