رگرسیون خطی

          GoJE BLuE ! 
            بازدید : 385
          شنبه 29 اسفند 1388
           نظرات (0)
        

سلام دوستان.از امروز هر هفته یکی از مفاهیم آماری رو بطور تقریبا کامل براتون میزارم.

امروز توضیح رگرسیون رو میذارم.برای شروع.دوستان اگر مطلب خاصی مورد نظرشونه در نظرات اعلام کنند تا در صورت امکان روی وبلاگ قرار بگیره

رگرسیون خطی یا تنازل خطی (به انگلیسی: Linear regression) یکی از روشهایتحلیل رگرسیون است. در رگرسیون خطی، متغیر وابسته $y i$ ترکیب خطی‌ای خطی از ضرایب (پارامترها) است (لازم نیست که نسبت به متغیرهای مستقل خطی باشد). مثلاً تحلیل رگرسیونی سادهٔ زیر با $N$ نقطه، متغیر مستقل $x i$ و ضرایب $β 0$ و $β 1$ خطی است:

خط راست: $y_i=eta_0 +eta_1 x_i +epsilon_i,quad i=1,dots,N!$

در رگرسیون چندگانه، بیش از یک متغیر مستقل وجود دارد:

سهمی: $y_i=eta_0 +eta_1 x_i +eta_2 x_i^2+epsilon_i, i=1,dots,N!$

این همچنان رگرسیون خطی است، زیرا $y i$ همچنان ترکیب خطی پارامترها ( $β 0$ و $β 1$ ) است، هرچند که نسبت به متغیر وابسته (x_i) خطی نیست.

در هر دو حالت، $ε i$ مقدار خطاست و پانویس $i$ شمارهٔ هر مشاهده (هر جفت $x i$ و $y i$ ) را نشان می‌دهد. با داشتن مجموعه‌ای از این نقطه‌ها می‌توان مدل را به دست آورد:

$y_i = widehat{eta}_0 + widehat{eta}_1 X_i + e_i$

عبارت $e i$ مانده نام دارد: $e_i = y_i - widehat{y}_i$ . روش رایج برای به‌دست‌آوردن پارامترها، روش کمترین مربعات است. در این روش پارامترها را با کمینه‌کردن تابع زیر به دست می‌آورند:

$mathrm{SSE}=sum_{i=1}^{N}e_i^2$

در مورد رگرسیون ساده، پارامترها با این روش برابر خواهند بود با:

$widehat{eta_1}=frac{sum(x_i-ar{x})(y_i-ar{y})}{sum(x_i-ar{x})^2}$

$hat{eta_0}=ar{y}-widehat{eta_1}ar{x}$

که در آن $ar{x}$ و $ar{y}$ میانگین $x$ و $y$ هستند.

ارسال نظر برای این مطلب