روش روشی در است که برای حل دستگاه معادلاتی به کار می‌رود که تعداد معادله‌هایش بیش از تعداد مجهول‌هایش است. مهم‌ترین کاربرد روش کمترین مربعات در بر داده‌ها است. مدل برازش شده بر داده‌ها، مدلی است که در آن کمیت کمینه باشد.
 
 
 این روش را نخستین بار در سال ۱۷۹۴ استفاده کرد. روش حداقل مربعات در زبان برنامهٔ نویسی R، بیشتر نرم‌افزارهای آماری و ریاضی (مانند Excel, SPSS, MATLAB و …) و ماشین حساب‌های مهندسی وجود دارد.
 منشأ روش حداقل مربعات از نجوم و یافتن موقعیت ستارگان بوده‌است.
 برای برازش منحنی بر داده‌ها، فرض می‌کنیم اندازه‌گیری‌ها مستقل از هم انجام شده‌اند و خطای نیز در مقابل خطای است (مقادیر بدون خطا هستند). تابع علاوه بر ، به ثوابتی که آن‌ها را با بردار نشان می‌دهیم بستگی دارند. هدف، پیدا کردن مقادیر است، به گونه‌ای که تابع دقیق‌ترین پیش‌بینی را از ارائه دهد. به این منظور، کمیت را به صورت
 
 
 تعریف می‌کنیم. اگر هر از حول مقدار واقعی با پهنای پیروی کند، احتمال به دست آوردن متناسب است با:
 
 
 است. احتمال مشاهدهٔ تمام مقادیر این‌طور به دست می‌آید:
 
 
 
 
 کمیت که در نما قرار دارد به صورت
 
 
 تعریف می‌شود. پس هدف، پیدا کردن است؛ به گونه‌ای که کمینه شود.
 
 
 برای بدست پارامتر بهینه باید از تابع مربعات گرفته و آن را برابر با صفر قرار دهیم: 
 
 
 اگر فرض کنیم ها برای همهٔ داده‌ها برابر است، خواهیم داشت:
 
 
 سایر انواع روش حداقل مربعات، عبارت‌اند از کمترین مربعات دارای قید (Constrained)، کمترین مربعات وزن‌دار (Weighted) و کمترین مربعات مجموع (Total)
 برای خط،
 
 
 با مشتق‌گیری جزئی، خواهیم داشت:
 
 
 در نتیجه:
 
 
 با انجام محاسبات بالا برای گذر خواهیم داشت:
 
 
 برای سهمی،
 
 
 در نهایت، دستگاه معادلات برازش چنین به دست می‌آید: 
 
 
 اگر فرض کنیم بُعد ورودی است، یعنی و تابع یک تابع خطی است، مسئله رگرسیون به یک برای پیداکردن پارامتر تبدیل می‌شود. به این معنی که ما یک پارامتر چند متغیره به اسم داریم و سعی می‌کنیم را با از تخمین بزنیم یعنی . حال اگر یک بعد دیگر به متغیر اضافه کنیم و مقدارش را همیشه عدد ثابت در نظر بگیریم ( ) و را به صورتِ تغییر دهیم، تخمینی که از داریم در واقع بردار ورودی و بردار پارامترهای ماست یعنی . حال فرض کنیم که تعداد مثالهایی که قرار است برای تخمین پارامترها استفاده کنیم
 است و این مثالها را به این شکل نمایش دهیم . همان‌طور که در مقدمه گفتیم پارامتر بهینه پارامتری است که تابع را به حداقل برساند یعنی تابع پایین را:
 
 از آنجا که تابع نسبت به تابعی کاملاً محدب است، در نقطه مینیمم گرادیان ما صفر خواهد بود و این روش پارامتر بهینه را بدست می‌دهد. برای تسهیل کار شکل تابع را با بکارگیری چند ماتریس ساده می‌کنیم. دو ماتریس برای این کار نیاز داردیم ماتریس و ماتریس . ماتریس ماتریس ورودهای چندمتغیره ماست. هر سطر معادل یک نمونه از داده ماست، سطر ام برابر است با امین نمونه ورودی ما یعنی بردار ، از اینرو یک ماتریس خواهد بود. ماتریس از طرف دیگر برابر است با مجموعه متغیرهای وابسته داده ما. سطر ام این ماتریس برابر است با برای امین نمونه داده ما یا همان . ماتریس یک ماتریس است. با کمک این دو ماتریس می‌توان تابع ضرر را به شکل ذیل تعریف کرد:
 
 
 حال گرادیان این تابع را نسبت به پیدا می‌کنیم که می‌شود:
 
 
 با برابر قرار دادن گرادیان با صفر پارامتر بهینه بدست می‌آید:
 
 
 پس پارامتر بهینه ما برابر است با:
 
 
 خطای شیب و خط برازش شده برابر است با ( ):
 
 
 برای خط مبدأ گذر
 
 
 در زبان R، برازش تابع خطی به فرم
 
 
 بر داده‌ها به کمک تابع lsfit انجام می‌شود. قطعه کدهای زیر، نحوهٔ پیاده‌سازی و خروجی را برای یک تابع ۲ متغیره نشان می‌دهد.
 در نرم‌افزار اکسل، برازش تابع خطی به فرم
 
 
 بر داده‌ها به کمک تابع LINEST انجام می‌شود. این تابع جزو توابع آرایه‌ای است و با فشردن Ctrl+Enter اجرا می‌شود. ورودی تابع به شکل
 است که در آن به ترتیب مقادیر y، مقادیر x و سپس دو مقدار بولی وارد می‌شوند که اولی برای مبدأ گذر نبودن و دومی برای بازگرداندن مقادیر خطا، رگرسیون و … است. خروجی تابع در جدولی به صورت زیر برگردانده می‌شود:
 
 
 منظور از خطا است. خانه‌های ردیف دوم به بعد، در صورتی نشان داده می‌شوند که stats=TRUE باشد.
 اکثر ماشین حساب‌های مهندسی مجهز به ویژگی برازش منحنی به روش کمترین مربعات هستند. در ماشین حساب‌های کاسیو این ویژگی در بخش STAT قرار دارد.
 لاسو یک مدل تنظیم شده (به : ) از مدل کمترین مربعات است. تنظیم به این صورت است که یا نرم کمتر از مقدار مشخصی باشد. این معادل این است که در هنگام بهینه‌سازی هزینهٔ کمترین مربعات را نیز اضافه کرده باشیم. معادل این مدل این است که توزیع پیشین را برای پارامترهای مدل خطی استفاده کرده باشیم.
 تفاوت اساسی بین مدل ridge regression و لاسو این است که در اولی علی‌رغم افزایش جریمه، ضرایب در عین غیرصفر بودن کوچکتر می‌شوند، علی‌رغم اینکه صفر نمی‌شوند، در صورتی که در لاسو با افزایش جریمه، تعداد بسیار بیشتری از ضرایب به سمت صفر میل می‌کنند. می‌توان بهینه‌سازی مربوط به لاسو را با روش‌های یا در حالت کلی انجام داد. به دلیل ایجاد ضرایب کم، لاسو در بسیاری از کاربردها مانند (به : ) مورد استفاده قرار می‌گیرد.
 پیچیدگی مدلهای پارامتری با تعداد پارامترهای مدل و مقادیر آن‌ها سنجیده می‌شود. هرچه این پیچیدگی بیشتر باشد خطر (Overfitting) برای مدل بیشتر است. پدیده بیش‌برازش زمانی رخ می‌دهد که مدل بجای یادگیری الگوهای داده، داده را را حفظ می‌کند و در عمل یادگیری به خوبی انجام نمی‌شود. برای جلوگیری از در مدلهای خطی مانند رگرسیون خطی جریمه‌ای به اضافه می‌شود تا از افزایش زیاد پارامترها جلوگیری شود. به این کار تنظیم مدل یا Regularization گفته می‌شود. یکی از این روشهای تنظیم مدل روش لاسو است که در آن ضریبی از نُرمِ به اضافه می‌شود، در رگرسیون خطی تابع هزینه به شکل پایین تغییر می‌کند:
 
 
 این روش تنظیم مدل باعث می‌شود که بسیاری از پارامترهای مدل نهائی صفر شوند و مدل به اصلاح خلوت (Sparse) شود.
{"title": "کمترین مربعات", "link": "https://fa.wikipedia.org//w/index.php?title=%DA%A9%D9%85%D8%AA%D8%B1%DB%8C%D9%86_%D9%85%D8%B1%D8%A8%D8%B9%D8%A7%D8%AA&oldid=33228742", "language": "fa"}