رگرسیون خطی در یادگیری ماشین [با مثال]

تکنیک های آماری برای تجزیه و تحلیل و تفسیر داده ها برای مدت طولانی مورد استفاده قرار گرفته اند. رگرسیون خطی در تحلیل یادگیری ماشینی برای ارزیابی داده ها و ایجاد یک رابطه مشخص بین دو یا چند متغیر مهم است. رگرسیون چگونگی تغییر متغیر وابسته را با گرفتن مقادیر مختلف از متغیر مستقل تعیین می کند. رگرسیون به رگرسیون ساده یا چندگانه بسته به تعداد متغیرهای مستقل، به ترتیب مانند متغیرهای منفرد یا چندگانه، گفته می شود.

یادگیری ماشین زمانی راه حلی است که داده ها بزرگ هستند و تعیین کمیت رابطه به صورت دستی دشوار می شود. در اینجا، مدل بر روی داده های موجود تعدادی از متغیرهای مستقل با ابزار آماری رگرسیون خطی آموزش داده می شود تا مشخص شود چگونه می توان رابطه را با دقت بالا به دست آورد. این مقاله یک مثال عملی از رگرسیون در یادگیری ماشین برای مبتدیان دارد. این روزها یک دوره آنلاین جامع علم داده می تواند به ایجاد پایه و اساس لازم برای مفاهیم اساسی رگرسیون در یادگیری ماشین کمک کند.

رگرسیون خطی در یادگیری ماشین چیست؟

رگرسیون خطی الگوریتمی است که به یادگیری ماشین نظارت شده تعلق دارد. سعی می کند روابطی را اعمال کند که نتیجه یک رویداد را بر اساس نقاط داده متغیر مستقل پیش بینی کند. این رابطه معمولاً یک خط مستقیم است که بهترین تناسب را با نقاط داده مختلف تا حد امکان نزدیک می کند. خروجی یک شکل پیوسته است، یعنی مقدار عددی. به عنوان مثال، خروجی می تواند درآمد یا فروش به ارز، تعداد محصولات فروخته شده و غیره باشد. در مثال بالا، متغیر مستقل می تواند تک یا چندگانه باشد.

1. معادله رگرسیون خطی

رگرسیون خطی را می توان به صورت ریاضی بیان کرد:

• Y= متغیر وابسته
• X = متغیر مستقل
• β 0 = قطع خط
• β 1 = ضریب رگرسیون خطی (شیب خط)
• ε = خطای تصادفی

آخرین پارامتر، خطای تصادفی ε، مورد نیاز است زیرا بهترین خط برازش نیز نقاط داده را کاملاً شامل نمی شود.

2. مدل رگرسیون خطی

از آنجایی که الگوریتم رگرسیون خطی نشان دهنده یک رابطه خطی بین یک متغیر وابسته (y) و یک یا چند متغیر مستقل (y) است، به عنوان رگرسیون خطی شناخته می شود. این بدان معنی است که می یابد چگونه مقدار متغیر وابسته با توجه به تغییر در مقدار متغیر مستقل تغییر می کند. رابطه بین متغیرهای مستقل و وابسته یک خط مستقیم با شیب است.

انواع رگرسیون خطی

رگرسیون خطی را می توان به طور کلی به دو نوع الگوریتم طبقه بندی کرد:

1. رگرسیون خطی ساده

یک معادله خط مستقیم ساده شامل شیب (dy/dx) و قطع (یک عدد صحیح/مستمر) در رگرسیون خطی ساده استفاده می شود. در اینجا یک فرم ساده این است:

y=mx+c که در آن y نشان دهنده خروجی است x متغیر مستقل است و c زمانی که x=0 قطع می شود. با این معادله، الگوریتم مدل یادگیری ماشین را آموزش می دهد و دقیق ترین خروجی را ارائه می دهد

2. رگرسیون خطی چندگانه

هنگامی که تعدادی متغیر مستقل بیش از یک متغیر باشد، معادله خطی حاکم که برای رگرسیون اعمال می شود شکل متفاوتی پیدا می کند:

y= c+m 1 x 1 + m 2 x 2 … m n x n که نشان دهنده ضریب تأثیر متغیرهای مستقل مختلف x 1، x 2 و غیره است. این الگوریتم یادگیری ماشین، زمانی که اعمال شود، مقادیر ضرایب m 1، m را پیدا می کند. 2 و غیره، و بهترین خط مناسب را ارائه می دهد.

3. رگرسیون غیر خطی

هنگامی که بهترین خط برازش یک خط مستقیم نیست بلکه یک منحنی باشد، به آن رگرسیون غیر خطی می گویند.

اصطلاحات رگرسیون خطی

1. تابع هزینه

خروجی که توسط یک الگوریتم به دست می آید یا پیش بینی می شود، yˆ (تلفظ به عنوان yhat) نامیده می شود. تفاوت بین مقادیر واقعی و پیش بینی شده خطا است، یعنی y - yˆy^ . مقادیر مختلف y-yˆy^ (تابع ضرر) زمانی به دست می آید که مدل مکرراً سعی می کند بهترین رابطه را پیدا کند. مجموع میانگین تمام مقادیر تابع ضرر، تابع هزینه نامیده می شود. الگوریتم یادگیری ماشین سعی می کند حداقل مقدار تابع هزینه را به دست آورد. به عبارت دیگر سعی می کند به حداقل جهانی برسد.

که در آن J = تابع هزینه، n = تعداد مشاهدات (i = 1 تا n)، ∑ = جمع، pred i = خروجی پیش بینی شده و y i = مقدار واقعی.

همانطور که در بالا نشان داده شد، اختلاف خطا برای هر مقدار مجذور می شود و سپس میانگین مجموع مجذورهای خطا تابع هزینه را به ما می دهد. به آن خطای میانگین مربع (MSE) نیز گفته می شود.

2. گرادیان نزول

مفهوم مهم دیگر در رگرسیون خطی، گرادیان نزول است. این یک رویکرد بهینه سازی محبوب است که در آموزش مدل های یادگیری ماشین با کاهش خطاهای بین نتایج واقعی و پیش بینی شده استفاده می شود. بهینه سازی در یادگیری ماشینی وظیفه به حداقل رساندن تابع هزینه است که توسط پارامترهای مدل تعیین شده است. هدف اصلی نزول گرادیان، به حداقل رساندن تابع محدب با تکرار پارامتر است.

سرعت یادگیری آهسته تر به رسیدن به حداقل جهانی کمک می کند، اما زمان زیادی طول می کشد و از نظر محاسباتی گران است. سرعت یادگیری سریعتر ممکن است مدل را سرگردان کند و به موقعیت نامطلوبی منجر شود و بازگشت به مسیر صحیح برای رسیدن به حداقل جهانی را دشوار کند. بنابراین، اگر می خواهیم به حداقل جهانی به طور مؤثری برسیم، نرخ یادگیری نباید نه خیلی آهسته و نه خیلی سریع باشد. به یادگیری علم داده و اهمیت آن علاقه دارید؟دوره علوم داده را بررسی کنید.

رگرسیون خطی چگونه کار می کند؟

پس از درک مفهوم رگرسیون خطی و اتخاذ آن برای حل بسیاری از مشکلات مهندسی و تجاری، اکنون روند اعمال رگرسیون خطی در یک پروژه یادگیری ماشین را در نظر خواهیم گرفت. اجازه دهید کتابخانه های لازم را وارد کنیم:

ما مجموعه داده را با استفاده از دستور زیر بارگذاری می کنیم:

اجازه دهید چند ردیف اول مجموعه داده را بررسی کنیم:

ما می توانیم مجموعه داده را با استفاده از دستور info () توصیف کنیم

این مجموعه داده 301 سطر و 9 ستون است و هیچ مقدار تهی در آن وجود ندارد. خروجی «Selling_Price» هدف است، و چندین متغیر مستقل وجود دارد که بر این مقدار تأثیر می گذارد. این یک نوع مشکل یادگیری ماشینی نظارت شده است که در آن متغیرهای خروجی برچسب گذاری می شوند و مدل ابتدا بر روی داده های تقسیم شده آموزش داده می شود. سپس مدل برای صحت آن در داده های اعتبارسنجی/آزمایش تأیید می شود.

اجازه دهید قبل از اعمال یک الگوریتم رگرسیون، متغیرهای طبقه بندی مانند "نوع_سوخت"، "نوع_فروشنده" و "انتقال" (dtype=object) را به متغیرهای عددی تبدیل کنیم.

برای درک رابطه بین ویژگی های مختلف در مجموعه داده، ماتریس همبستگی را با استفاده از کد زیر ترسیم می کنیم:

ماتریس همبستگی بالا نشان می دهد که بیش از یک متغیر مستقل بر خروجی تأثیر می گذارد (مقدار منفی بالاتر یا مقادیر مثبت نشان دهنده همبستگی قوی)، یعنی Selling_Price. به عنوان مثال، مقدار همبستگی 0. 8- یا کمتر نشان دهنده یک رابطه منفی قوی است در حالی که مقدار 0. 8 یا بالاتر نشان دهنده یک رابطه مثبت قوی بین متغیرهای ورودی و خروجی است.

تقسیم مجموعه داده

برای آموزش و تست مدل از تقسیم 80:20 استفاده می کنیم

ما می توانیم ماژول رگرسیون خطی را از کتابخانه sklea با استفاده از دستورات زیر فراخوانی کنیم:

پس از اتمام آموزش، می توانیم پیش بینی کنیم و خطای r-squared را برای رگرسیون چاپ کنیم.

برای ترسیم بهترین خط مناسب، از کد زیر استفاده می کنیم:

مفروضات رگرسیون خطی

به طور معمول اکثر آزمایشات و نتایج آماری به برخی فرضیات خاص در مورد متغیرهای درگیر متکی هستند. به طور طبیعی ، اگر این فرضیات در نظر گرفته نشود ، نتایج قابل اعتماد نخواهد بود. رگرسیون خطی نیز مورد توجه قرار می گیرد. برخی فرضیات متداول در هنگام استفاده از رگرسیون خطی در نظر گرفته می شود:

1. خطی بودن: مدل های مدل های رگرسیون خطی باید خطی باشد به این معنا که خروجی باید با مقادیر ورودی ارتباط خطی داشته باشد و فقط مناسب داده هایی است که بین دو نهاد رابطه خطی دارند.
2. همسایه ای: همسایه ای به معنای انحراف استاندارد است و واریانس باقیمانده ها (تفاوت (y- yˆ) 2) باید برای هر مقدار x یکسان باشد. رگرسیون خطی چندگانه فرض می کند که میزان خطا در باقیمانده ها در هر نقطه از مدل خطی مشابه است. ما می توانیم با استفاده از توطئه های پراکنده ، همجنسگرایان را بررسی کنیم.
3. غیر مبهم بودن: داده ها نباید از چند خطی برخوردار باشند ، به این معنی که متغیرهای مستقل نباید با یکدیگر ارتباط زیادی داشته باشند. اگر این اتفاق بیفتد ، شناسایی آن متغیرهای خاص که در واقع به واریانس در متغیر وابسته کمک می کنند ، دشوار خواهد بود. ما می توانیم با استفاده از ماتریس همبستگی داده ها را بررسی کنیم.
4. بدون همبستگی: هنگامی که داده ها در طول زمان به دست می آیند ، فرض می کنیم که مقادیر پی در پی مؤلفه اختلال در مدل رگرسیون خطی معمولی مستقل هستند. هنگامی که این فرض رعایت نشود ، وضعیت همبستگی نامیده می شود.
5. برای Outliers قابل استفاده نیست: مقدار متغیر وابسته را نمی توان برای یک متغیر مستقل که خارج از محدوده مقادیر موجود در داده های نمونه است ، تخمین زده شود.

تمام فرضیات فوق بسیار مهم است زیرا اگر رعایت نشوند ، می توانند به نتیجه گیری منجر شوند که ممکن است نامعتبر و غیرقابل اعتماد باشد. برای درک بهتر این دوره می توانید دانش Course Bootcamp Data Science را بررسی کنید.

مزایای رگرسیون خطی

1. برای مجموعه داده های خطی ، رگرسیون خطی عملکرد خوبی دارد تا ماهیت رابطه بین متغیرهای مختلف را پیدا کند.
2. الگوریتم های رگرسیون خطی به راحتی آموزش می بینند و مدل های رگرسیون خطی به راحتی قابل اجرا هستند.
3. اگرچه ، مدل های رگرسیون خطی احتمالاً بیش از حد مناسب هستند ، اما می توان با استفاده از تکنیک های کاهش ابعاد مانند تنظیم مجدد (L1 و L2) و اعتبارسنجی متقابل خودداری کرد.

معایب رگرسیون خطی

1. یک نقطه ضعف مهم رگرسیون خطی این است که فرضیه خطی بین متغیرهای وابسته و مستقل را فرض می کند ، که بندرت در داده های دنیای واقعی نشان داده می شود. این یک رابطه مستقیم بین متغیرهای وابسته و مستقل فرض می کند که بارها بعید است.
2. مستعد سر و صدا و بیش از حد است. در مجموعه داده هایی که تعداد مشاهدات کمتر از ویژگی ها است ، رگرسیون خطی ممکن است انتخاب خوبی نباشد زیرا می تواند منجر به بیش از حد شود. این امر به این دلیل است که الگوریتم می تواند هنگام ساختن مدل ، سر و صدا را در نظر بگیرد.
3. حساس به Outliers ، لازم است قبل از استفاده از رگرسیون خطی به داده ها ، پیش پردازش مجموعه داده و حذف قسمتهای دور را حذف کنید.
4. این چند قطبی بودن را فرض نمی کند. اگر بین متغیرهای مستقل ، یعنی چند قطبی ، رابطه ای وجود داشته باشد ، قبل از استفاده از رگرسیون خطی ، باید با استفاده از تکنیک های کاهش ابعاد حذف شود زیرا الگوریتم فرض می کند که هیچ ارتباطی بین متغیرهای مستقل وجود ندارد.

مزایای اصلی رگرسیون خطی

رگرسیون خطی در آمار محبوب است. این مزایا را در مورد موارد زیر به شرح زیر ارائه می دهد:

1. آسان برای استفاده من

یک مدل یادگیری ماشین رگرسیون خطی از نظر محاسباتی ساده است و به سربار مهندسی زیادی احتیاج ندارد. از این رو ، اجرای و حفظ آن آسان است.

2. مقیاس پذیری

از آنجا که رگرسیون خطی از نظر محاسباتی ارزان است ، می تواند در مواردی که مقیاس بندی لازم است ، مانند برنامه هایی که داده های بزرگ را کنترل می کنند ، اعمال شود.

3. تفسیر پذیری

رگرسیون خطی به راحتی تفسیر می شود و برای آموزش بسیار کارآمد است. این برخلاف شبکه های عصبی یادگیری عمیق که به داده ها و زمان بیشتری برای آموزش کارآمد نیاز دارند ، نسبتاً ساده است.

4- کاربرد در زمان واقعی

از آنجا که مدلهای رگرسیون خطی به راحتی آموزش می بینند و به قدرت محاسباتی زیادی احتیاج ندارند ، می توان آنها را با داده های جدید به سرعت بازآفرینی کرد و از این رو می توان در سناریوهایی که پیش بینی های زمان واقعی مهم است ، استفاده کرد.

از C ases از رگرسیون خطی استفاده کنید

رگرسیون خطی برنامه هایی را در چندین حوزه مانند کشاورزی ، بانکداری و امور مالی ، آموزش ، بازاریابی و موارد دیگر پیدا می کند. رگرسیون خطی در سناریوهای دنیای واقعی کاربرد دارد که در آن می توان از مشکلات یادگیری ماشین برای پیش بینی خروجی به عنوان یک متغیر مداوم استفاده کرد.

در کشاورزی ، از رگرسیون خطی می توان برای پیش بینی میزان بارندگی و عملکرد محصول استفاده کرد ، در حالی که در بانکداری ، برای پیش بینی احتمال پیش فرض وام اجرا می شود. برای بخش مالی ، از رگرسیون خطی برای پیش بینی قیمت سهام و ارزیابی خطرات مرتبط استفاده می شود. در بخش مراقبت های بهداشتی ، رگرسیون خطی در مدل سازی هزینه های مراقبت های بهداشتی ، پیش بینی مدت اقامت در بیمارستان ها برای بیماران و غیره مفید است. در حوزه تجزیه و تحلیل ورزشی ، می توان از رگرسیون خطی برای پیش بینی عملکرد بازیکنان در بازی های آینده استفاده کرد. به همین ترتیب ، می توان از آن در آموزش برای پیش بینی عملکرد دانش آموزان در دوره های مختلف استفاده کرد. مشاغل همچنین از رگرسیون خطی برای پیش بینی خواسته های محصول ، پیش بینی فروش محصول ، تصمیم گیری در مورد استراتژی های بازاریابی و تبلیغات و غیره استفاده می کنند.

بهترین روشها برای رگرسیون خطی

موفقیت هر تلاش برای استفاده از هر مدل یادگیری ماشین برای یک مشکل خاص بستگی به بهترین روش اجرای دارد. بهترین شیوه ها به معنای چسبیدن به ویژگی های الگوریتم های انتخاب شده ، نوع مناسب داده های مورد استفاده و برخی دلایل خاص مربوط به مشکل مورد نظر است. برخی از نکات مربوط به بهترین شیوه ها در زیر ذکر شده است:

1. فرضیات را دنبال کنید

فرضیات مختلف در استفاده از رگرسیون خطی در یادگیری ماشین قبلاً در بالا مورد بحث قرار گرفته است. هنگام استفاده از الگوریتم رگرسیون ، فرضیات باید در نظر گرفته شود.

2. ابتدا با یک مدل ساده شروع کنید

ساخت و اجرای یک مدل ساده آسان است ، زمان کمتری می گیرد و می تواند در مجموعه داده های مختلف مشابه اعمال شود.

3. از تجسم استفاده کنید

استفاده از تجسم برای تجزیه و تحلیل و ارزیابی عملکرد مدل ها اغلب به درک صحت مدل کمک می کند و می تواند با از بین بردن هرگونه کاستی ، برای بهبود همان مورد استفاده شود.

4- با مجموعه داده های نمونه شروع کنید

هنگامی که در یک مجموعه داده بزرگ اعمال می شود ، این مدل برای رسیدن به دقت و قدرت محاسباتی بالا زمان بیشتری می برد. اگر عملکرد در یک مجموعه داده بزرگ رضایت بخش نباشد ، زمان و قدرت صرف شده فایده ای ندارد. از این رو ، شروع با یک مجموعه داده نمونه کوچک در ابتدا بهتر است مدل را امتحان کنید.

برآورد به دست آمده در این مجموعه داده نشانگر خوبی از پیشرفت صحیح یا موارد دیگر است. یافته های این رویکرد در صورت لزوم به انجام اقدامات اصلاحی در مدل جدید کمک می کند.

5. انتقال به رگرسیون چند خطه

اگر شرایط بازار در موعد مقرر تغییر کند ، پارامترهای کنترل کننده الگوریتم نیز باید تغییر کنند. در چنین شرایطی ، بهتر است به دنبال یک مدل چند خطی بروید تا پارامترهای جدید تأثیرگذار برای ساخت مدل گنجانده شود.

6. استفاده از مدل رگرسیون خطی برای مشکلات زندگی واقعی

همیشه اعمال رگرسیون خطی برای مشکلات زندگی واقعی مانند پیش بینی سهام ، احتمال احتمال ارتقاء ، درصد رشد عملکرد محصول و غیره است. نتایج به دست آمده می تواند با برخی از نتایج قبلی برای به دست آوردن اعتماد به نفس مطابقت داشته باشد.

7. انتخاب داده های مناسب

موفقیت هر الگوریتم به اندازه داده های مورد استفاده خوب است. می توان بر اساس نتیجه پروژه در ذهن ، داده های مناسبی را انتخاب کرد که به مدل داده شود. بسیاری از وب سایت های منبع باز انواع مجموعه داده های مناسب برای استفاده از الگوریتم های رگرسیون در یادگیری ماشین را ارائه می دهند.

پروژه های مبتدی رگرسیون خطی را امتحان کنید

در حالی که از تجزیه و تحلیل رگرسیون در هر زمینه ای تقریباً استفاده می شود ، از امور مالی گرفته تا آموزش و از بانکداری تا تبلیغات ، برخی از پروژه های یادگیری ماشین مبتدی برای رگرسیون خطی همانطور که در زیر ذکر شد وجود دارد:

پروژه 1: پیش بینی پیش فرض وام

بانک ها برای پیش بینی پیش فرض وام از یادگیری ماشین استفاده می کنند و در مورد برنامه های وام تصمیم می گیرند. وام در قالب وام منبع اصلی درآمد برای بانک ها ، اتحادیه های اعتباری و سایر سازمان های مالی است که بخش قابل توجهی از دارایی های بانک را تشکیل می دهد. با این حال ، هنگامی که این وام ها به طور پیش فرض ، موسسات مالی عواقب شدیدی را متحمل می شوند. دانلود پایگاه داده پیش فرض پیش فرض LONA.

پروژه 2: پیش بینی قیمت خانه

پیش بینی قیمت خانه ممکن است در تعیین قیمت فروش یک ملک در یک مکان خاص و در تعیین بهترین زمان برای خرید خانه کمک کند. مجموعه داده پیش بینی قیمت خانه را بارگیری کنید.

پروژه 3: پیش بینی بازار سهام

تجزیه و تحلیل و پیش بینی بازار سهام وظایف بسیار چالش برانگیز است. قیمت سهام پویا است و تحت تأثیر عوامل مختلفی قرار دارد. هنگام پیش بینی سهام ، بیشتر کارگزاران سهام از تجزیه و تحلیل روش شناختی و اساسی و تجزیه و تحلیل سری زمانی استفاده می کنند. مجموعه داده های پیش بینی سهام Markert را بارگیری کنید.

پروژه 4: پیش بینی فروش بازار

پیش بینی فروش بسیار مهم است زیرا به شرکتها کمک می کند تا در کدام استراتژی ها به طور مؤثر کار کنند و برای اطمینان از موفقیت آینده ، یک استراتژی خاص اصلاح شود. مجموعه داده های پیش بینی فروش بازار را بارگیری کنید.

پروژه 5: تبلیغات

مشاغل معمولاً محصولات خود را از طریق وب سایت ها و کانال های رسانه های اجتماعی تبلیغ می کنند. با این حال ، چالش اصلی آنها در یافتن جمعیتی صحیح برای هدف قرار دادن بازاریابی اینترنتی است. از آنجا که تبلیغات گران است ، هدف قرار دادن تبلیغات به مخاطبی که بعید به نظر می رسد محصولات را خریداری کند می تواند ضرر برای این شرکت باشد. مجموعه داده های تبلیغاتی را بارگیری کنید.

نتیجه

در این مقاله ، ما در مورد رگرسیون خطی برای یادگیری ماشین ، مفاهیم آن ، اصطلاحات و انواع رگرسیون خطی بحث کردیم. ما فرضیات و همچنین مزایا و مضرات رگرسیون خطی را درک کردیم. علاوه بر این ، ما یاد گرفتیم که چگونه رگرسیون خطی با نمونه ای از رگرسیون چند خطی در مجموعه داده های قیمت خودرو کار می کند. و سرانجام ، بهترین شیوه ها را به همراه برخی از پروژه های سطح مبتدی برای تلاش و اطمینان به مشکلات رگرسیون خطی مورد بررسی قرار داد. هزینه Bootcamp Science DilegniledHut را بررسی کنید ، جایی که به شما انواع آموزش علوم داده ارائه می شود که تجربه مورد نیاز شما را برای ایجاد نقش دانشمند برتر داده به شما می دهد.

سوالات متداول (سؤالات متداول)

1. خروجی رگرسیون خطی در یادگیری ماشین چیست؟

خروجی یک مقدار مداوم ، عدد صحیح یا درصد احتمال بر اساس مشکلات انتخاب شده است. بنابراین ، می تواند مبلغ فروش ، درصد سود ، احتمال موفقیت یا عدم موفقیت در برخی فعالیت ها مانند امکان پذیرش ، پیروزی در انتخابات و غیره باشد. با بهترین خط مناسب رگرسیون ، مقدار خروجی برای هر مقدار جدید متغیر ورودی می تواند باشدبه راحتی محاسبه می شود.

2. مزایای استفاده از رگرسیون خطی چیست؟

فواید بسیاری از رگرسیون خطی وجود دارد ، از جمله سادگی درک و اجرای. این می تواند برای به دست آوردن روابط در پارامترهای خطی یا چند خطی اعمال شود و از این رو می توان در مورد مشکلات مختلف تجاری استفاده کرد.