پیپ: یادگیری نمونه اولیه قابل تفسیر برای طبقه بندی سری زمانی

طبقه بندی کننده های سری زمانی نه تنها برای طراحی چالش برانگیز هستند ، بلکه استقرار آن برای برنامه های مهم نیز بسیار دشوار است زیرا کاربران نهایی ممکن است به مدل های جعبه سیاه و سفید اعتماد نکنند یا اعتماد نکنند. با وجود تلاش های جدید ، توضیحات حاصل از سایر مدل های سری زمانی قابل تفسیر برای درک غیر مهندسان پیچیده است. هدف PIP ارائه توضیحات سری زمانی است که متناسب با کاربران نهایی خاص است. برای پرداختن به این چالش ، این مقاله PIP ، یک معماری جدید یادگیری عمیق است که به طور مشترک مدل های طبقه بندی و نمونه های نمونه کلاس بصری معنی دار را می آموزد. PIP به کاربران اجازه می دهد تا مدل را در انتخاب تصاویر کلاس خود آموزش دهند. بنابراین ، PIP می تواند با تکیه بر تعاریف کاربران نهایی ، توضیحی کاربر پسند ایجاد کند. ما فرض می کنیم که یک توصیف تصویری یک روش مؤثر برای برقراری یک مفهوم آموخته شده به کاربران غیر متخصص است. بر اساس یک آزمایش کاربر نهایی با شرکت کنندگان از چندین زمینه ، PIP ترکیبی بهبود یافته از دقت و تفسیر نسبت به روشهای پایه را برای طبقه بندی سری زمانی ارائه می دهد.

مقدمه

سیستم هایی که از یادگیری ماشین (ML) برای پردازش داده های سری زمانی استفاده می کنند ، به طور فزاینده ای در زندگی روزمره ما ، از تشخیص صدا در بسیاری از محصولات مصرفی [1] گرفته تا ابزارهای پزشکی کمک می کنند [2]. با این حال ، پیچیدگی رو به رشد الگوریتم های ML استدلال پیش بینی های آنها را برای کاربران نهایی و حتی توسعه دهندگان الگوریتم [3] دشوار کرده است. کیفیت مبهم الگوریتم های ML محبوب برای برنامه های مهم ، مانند شبکه های عصبی عمیق (DNN) برای برنامه های پزشکی ، ممکن است باعث تجربه کاربری زیر بهینه شود زیرا اشتباهات انجام شده توسط این الگوریتم ها غیرقابل درک هستند. به عنوان نمونه ای از خطای تهدید کننده ایمنی ، یک DNN با چند نوار نوار سیاه اضافه شده به عنوان یک علامت "محدودیت سرعت 45" ، علامت "توقف" را برچسب گذاری کرد [4].

اخیراً در جامعه ML ، تحقیقات در حال رشد در تلاش برای توسعه تکنیک های تفسیر وجود داشته است. دو روش متداول وجود دارد: 1) مدل های ML با جعبه شیشه ای که ذاتاً قابل تفسیر هستند (به عنوان مثال ، Prosenet [5] ، و GAM [6]) و 2) تکنیک های توضیح پس از تعقیب که برای تفسیر پیش بینی جعبه سیاه طراحی شده اندمدل ها (به عنوان مثال ، Shap [7] ، و Leftist [8]). با وجود این تکثیر تکنیک ها ، کمبود روش هایی برای توضیح کلاس های آموخته شده ML برای کاربران غیر متخصص ، به ویژه برای طبقه بندی سری زمانی وجود دارد. علاوه بر این ، یک کاربر غیر آزمایشی به شخصی که دارای حداقل تخصص در ML است ، مراجعه می کند و درک درستی از داده های سری زمانی خام دارد که در حوزه کاربرد آنها جمع آوری می شود. به عنوان مثال ، پرستاران ممکن است بخواهند یک مدل ML را درک کنند که داده های ساعت هوشمند را برای تشخیص خودکار فعالیت پردازش می کند. با درک داده ها و مدل تولید شده ، این ارائه دهندگان مراقبت می توانند وضعیت سلامتی بیمار را بهتر ارزیابی کرده و به موقع مداخله کنند. مشاهده داده های سری زمانی خام (به ویژه داده های چند متغیره) ممکن است مفهومی را که آنها برای یک کاربر غیر متخصص ارائه می دهند ، ایجاد نکند. در نتیجه ، کلاس های سری زمانی تشخیص برای غیر متخصصان دشوار است.

در حالی که داده های سری زمانی مانند داده های سنسور خام ممکن است برای کارشناسان دامنه دشوار باشد ، بیشتر افراد می توانند مفهوم ارائه شده توسط یک تصویر توصیفی را درک کنند. در این کار ، ما یک معماری شبکه با تفسیر داخلی-PIP (یادگیری نمونه اولیه قابل تفسیر) را معرفی می کنیم ، که به طور مشترک مجموعه ای از نمونه های اولیه و عملکردی را برای تبدیل نمونه های اولیه به تصاویر معنی دار می آموزد. در پیپ ، تصاویر نمونه اولیه کلاسهای آموخته شده را نشان می دهد ، همانطور که در شکل 1 نشان داده شده است. یک کاربر ممکن است قبل از شروع آموزش PIP ، تصویری را برای هر کلاس ترسیم کند. ما فرض می کنیم که تصاویر نمونه اولیه حاصل از چنین طرح هایی ، درک کاربر از داده ها ، مدل آموخته شده و پیش بینی های حاصل را تقویت می کند. در حالی که از تصاویر دستی برای انتقال بصری اطلاعاتی استفاده شده است که ممکن است بیان کتبی یا گفتار دشوار باشد ، از آنها برای توضیح پیش بینی های مدل سری زمانی استفاده نشده است. کار قبلی در روانشناسی شناختی و آموزشی نشان می دهد که طراحی مفاهیم باعث افزایش یادگیری می شود و منجر به قضاوت های واقع گرایانه می شود [9].

(سمت چپ) توطئه های سری زمانی از خواندن شتاب سنج و ژیروسکوپ (بالا: راه رفتن در طبقه بالا ، پایین: قدم زدن در طبقه پایین).(سمت راست) نمونه های اولیه آموخته شده و نمرات شباهت مربوطه. PIP مفاهیم را از داده های سری زمانی چند متغیره می آموزد ، بنابراین نمرات شباهت بر اساس ترکیبی از خطوط نشان داده شده در نمودار است. مربع های قرمز پیش بینی های PIP را برجسته می کنند.

به جای اینکه صریح توضیح دهد که چگونه یک مدل آموخته پیش بینی ایجاد می کند ، PIP در عوض مجموعه ای از نمونه های اولیه را برای هر کلاس می آموزد و به تفسیر تصویری کاربران از آن کلاس ها می پردازد. طبقه بندی PIP از یک نمونه می تواند بر اساس شباهت آن با نمونه های اولیه بصری تفسیر شود. شکل 1 دشواری تفسیر داده های سری زمانی خام را نشان می دهد. در این مثال ، از داده های سنسور پوشیدنی برای شناسایی فعالیت فعلی شخص استفاده می شود. برای کمک به تفسیر کلاسهای آموخته ، PIP شباهت ورودی را با مجموعه نمونه های اولیه آموخته مقایسه می کند و بر اساس نمره شباهت پیش بینی می کند. علاوه بر این ، کاربران نهایی نمونه های اولیه تصویری را طراحی می کنند و از این طریق توضیحات مدل را متناسب با نیازهای آنها متناسب می کنند. از آنجا که پیپ مجموعه نهایی نمونه های اولیه را می آموزد ، تصاویر حاصل ممکن است ترکیبی از طرح های اصلی کاربر را نشان دهد. این نمایش های تصویری آموخته بینش رمان را به کاربر نهایی ارائه می دهد. به عنوان مثال ، هنگامی که یک نمونه اولیه دو طرح را مخلوط می کند ، این نشان می دهد که نقاط داده مربوطه در مرز بین دو کلاس مشابه قرار دارند. این فرآیند به کاربران کمک می کند تا استنتاج های الگوریتم را درک و آینه کنند.

برای ارزیابی اثربخشی توضیحات بصری PIP ، ما با مقایسه توضیحات PIP با یک مدل یادگیری نمونه اولیه دیگر و یک درخت تصمیم ، یک تجربه کاربر نهایی را ارزیابی کردیم. بر اساس نتیجه 35 کاربر ، دریافتیم که تجربه کاربر نهایی در ابعاد دقت طبقه بندی ، زمان پاسخ و درک مدل با استفاده از توضیحات PIP در مقایسه با درخت تصمیم و سایر مدل های نمونه اولیه افزایش یافته است. همانطور که یکی از پزشکان اظهار داشت ، نمونه های اولیه PIP می تواند به آنها کمک کند تا بر اساس داده های سنسور تصمیمات به موقع بگیرند ، بنابراین باعث بهبود زمان پاسخ در شرایط بحرانی و ارائه برنامه های درمانی آگاه تر می شوند. این نتایج حاکی از آن است که رویکرد PIP برای تولید خودکار توضیحات تصویری بر اساس طرح های کاربر نهایی یک مکانیسم توضیحی مفید برای داده های سری زمانی ارائه می دهد. مشارکتها: (1) ما یک روش جدید را برای یادگیری مشترک نمونه ها و مدل های بصری برای طبقه بندی سری زمانی معرفی می کنیم.(2) الگوریتم ما برای تقویت تفسیر مدل از طرح های ارائه شده توسط کاربر استفاده می کند.(3) ما اثربخشی بهبود یافته رویکرد خود را نسبت به روشهای قبلی برای انواع کاربران نهایی برای تفسیر کلاسهای فعالیت از داده های سری زمانی مبتنی بر سنسور نشان می دهیم.

ii. کار مرتبط

کار ما با تحقیقات قبلی در تضاد است که به دنبال بهبود درک پیش بینی های سری زمانی با استفاده از تفسیرهای پس از تعقیب است [8] ، [10]-[13]. این رویکردها در یک مرحله زمانی معین اهمیت ویژگی یا ارتباط را ارائه می دهند. اگرچه لیست کردن تبعیض آمیز ترین ویژگی ها روشنگری است ، توضیحات حاصل اغلب به عنوان گمراه کننده و غیرقابل اعتماد تلقی می شوند [14]. در مقابل ، PIP تفسیر را به روند آموزش خود می پیوندد. در حالی که دانش دامنه برای درک تجسم های پس از تعقیب لازم است ، تصاویر PIP بر اساس پیشینه کاربران نهایی است. به عنوان مثال ، روشهای پس از تعقیب می توانند بخش هایی از یک سیگنال شتاب سنج را که باعث می شود مدل آموخته شده برای پیش بینی فعالیت انسانی باشد ، جدا کند. با این حال ، اطلاعات ارائه شده ممکن است برای یک پرستار و آموزنده مفید نباشد. از طرف دیگر ، PIP توضیحی در مورد طبقه بندی ارائه می دهد ، و به بیماران و مراقبان توضیحات بصری در مورد این یافته ارائه می دهد.

ایجاد مدل های جعبه شیشه ای برای طبقه بندی های سری زمانی نیز قبلاً مورد توجه قرار گرفته است. IETNET [15] نمودار یک نقشه گرما از کانال های با نفوذ در کلاس در طول طبقه بندی سری زمانی چند منظوره است. DPSN [16] با استفاده از یک شبکه نمونه اولیه [17] برای یادگیری یک نمونه اولیه برای هر کلاس از یک تغییر تقریب نمادین فوریه داده ها ، با یادگیری چند عکس استفاده می کند. گی و همکاران.[18] و Prosenet [5] از شبکه های نمونه اولیه استفاده می کنند. این مدل ها برای یادگیری نمونه های اولیه ، یک لایه طراحی شده را در معماری شبکه ادغام می کنند.

رویکرد Gee و همکاران.[18] و الگوریتم Prosenet [5] را می توان رویکردهای مبتنی بر مورد برای تفسیر در نظر گرفت. این روشها نمونه های قابل توضیح را می آموزند و داده های جدید را بر اساس شباهت به نمونه های اولیه طبقه بندی می کنند. این نوع شبکه شامل یک رمزگذار و یک لایه نمونه اولیه است. رمزگذار می تواند هر ساختار شبکه ای باشد که داده های ورودی را رمزگذاری می کند ، مانند یک شبکه عصبی حلقوی (CNN) یا یک شبکه عصبی بازگشتی (RNN). لایه نمونه اولیه با هدف یادگیری یک نمونه اولیه نزدیک به حداقل یکی از ورودی های رمزگذاری شده است. گی و همکاران.[18] طبقه بندی کننده نمونه اولیه تصویر را که توسط لی و همکاران معرفی شده است ، سازگار کنید.[19] با اجبار داده های سری زمانی به عنوان تصاویر نمودار ظاهر می شود. طبقه بندی کننده نمونه اولیه تصویر حاوی رمزگشایی است که داده ها و نمونه های رمزگذاری شده را به تصویر اصلی تبدیل می کند. به همین ترتیب ، Gee و همکاران.[18] از یک رمزگشایی برای تبدیل نمونه های اولیه به نمودارهای سری زمانی استفاده می کند. از آنجا که سری های زمانی به راحتی قابل تفسیر نیستند ، Gee et al.[18] ورودی های آموزش خوراک را به مدل پس از آموزش وارد کنید تا مشخص شود که هر نمونه اولیه کدام کلاس را نشان می دهد. Prosenet [5] شامل رمزگشایی در معماری آن نیست و نمونه های اولیه را همانطور که می آموزد نشان می دهد. نمونه های اولیه آموخته Prosenet نامحسوس هستند زیرا مبتنی بر ورودی های رمزگذاری شده هستند. مثل جی و همکاران.[18] ، Prosenet [5] یک مرحله پس از آموزش را برای تعیین کلاس هر نمونه اولیه اضافه می کند.

PIP نمایانگر یک یادگیرنده نمونه اولیه است که از این آثار قبلی کمک های متفاوتی ارائه می دهد. بر خلاف رویکردهای قبلی ، پیپ تفسیرهای بصری را بر اساس طرح های ارائه شده خارجی می آموزد. بنابراین ، آنها نیازی به برچسب زدن پس از آموزش ندارند. علاوه بر این ، نمونه های اولیه PIP نیازی به تخصص قابل توجهی برای درک ندارند. از آنجا که این روش ها معیارهای متعدد را بهینه می کنند (به عنوان مثال ، دقت طبقه بندی و تفسیر) ، آنها به عملکردهای از دست دادن چند دوره ای متکی هستند. در حالی که روش های قبلی از یک مرحله اعتبار سنجی متقاطع برای تنظیم نسبت بین این شرایط ضرر استفاده می کنند ، PIP مستقیماً این نسبت ها را در طول آموزش می آموزد.

iiiمواد و روش ها

مدل های پیچیده مانند گروه های عصبی و عمیق ، توانایی دستیابی به دقت بالا را در داده های سری زمانی [20] ، [21] نشان داده اند ، اما تفسیر آنها دشوار است. برای پرداختن به این دوگانگی بین عملکرد و تفسیر [7] ، PIP مجموعه ای از نمونه های اولیه را با تکیه دادن به توضیحات تعریف شده توسط کاربر (طرح های دستی) یاد می گیرد. قبل از آموزش ، کاربران تصویری را برای هر یک از کلاسهای C ترسیم می کنند. این سفارشی سازی به PIP اجازه می دهد تا نمونه های اولیه خود را متناسب با نیازهای هر مخاطب تطبیق دهد. به عنوان مثال ، یک پزشک ممکن است برای مجموعه ای از داده های سنسور پوشیدنی علائم مختلفی را نسبت به مهندس طراحی کند.

الف) معماری PIP:

شکل 2 معماری PIP را نشان می دهد. مدل ما از چهار مؤلفه اصلی تشکیل شده است: یک رمزگذار ، یک لایه نمونه اولیه ، ژنراتور و یک لایه کاملاً متصل. رمزگذار F (x) سری زمان ورودی را به یک بردار با طول ثابت ، Z نقشه می کند. رمزگذار می تواند هر نوع شبکه عصبی باشد که داده های ورودی سری زمانی را پردازش می کنند. ما به دلیل توانایی نشان داده شده در رسیدگی به داده های سری زمانی ، از 1D-CNN به عنوان رمزگذار در مطالعه خود استفاده می کنیم [20]. لایه نمونه اولیه حاوی نمونه های اولیه M است ، که در آن تعداد نمونه های اولیه حداقل به اندازه تعداد کلاس ها ، m ≥ c است. هدف از لایه نمونه اولیه یادگیری مجموعه ای از بردارها است که نزدیک به داده های ورودی رمزگذاری شده قرار دارند. بنابراین ، طول هر نمونه اولیه p_منبرابر با طول ورودی رمزگذاری شده Z است. لایه نمونه اولیه فاصله اقلیدسی مربع بین ورودی Z رمزگذاری شده و هر نمونه اولیه را محاسبه می کند ، d i 2 = ‖ z - p i ‖ 2 2. برای عادی سازی این مقادیر ، ما نمره نهایی را به عنوان یک محاسبه می کنیم_من= (D_من- min (d))/(حداکثر (d) - min (d)). نمره یک به معنای نمونه اولیه P است_منبا ورودی Z رمزگذاری شده یکسان است ، و صفر به این معنی است که آنها کاملاً متفاوت هستند. سرانجام ، یک لایه کاملاً متصل (FC) مبلغ وزنی از این نمرات υ = WA را محاسبه می کند ، جایی که W یک ماتریس وزن C × M است. سپس یک لایه softmax برای محاسبه توزیع احتمال در کلاس های C اعمال می شود. نمونه های اولیه به تنهایی قابل تفسیر نیستند زیرا اندازه گیری فاصله بین نمونه های اولیه و مشاهده در یک فضای نهفته انعطاف پذیر اندازه گیری می شود. ژنراتور ورودی رمزگذاری شده Z را به تصویر مربوطه y تبدیل می کند_عکسبا تغییر شکل وکتور رمزگذاری شده Z به یک ماتریس N × N و استفاده از 2D-CNN. مزیت از جمله ژنراتور این است که می تواند نمونه های اولیه آموخته شده را به بازنمودهای تصویری آنها پس از آموزش تبدیل کند.

معماری PIP. این مدل از چهار مؤلفه تشکیل شده است: یک رمزگذار f (x) که ورودی را به فضای نهفته Z تبدیل می کند ، یک لایه نمونه اولیه با نمونه های اولیه ، یک لایه کاملاً متصل FC با یک لایه softmax برای طبقه بندی چند طبقه و ژنراتور g(Z) برای تبدیل فضای نهفته به یک طرح صحیح از داده ها. پیپ نمونه های P را با به حداقل رساندن فاصله بین ورودی Z تعبیه شده و هر نمونه اولیه p می آموزد_منبشرعلاوه بر این ، PIP فاصله بین هر نمونه اولیه P را به حداقل می رساند_منو داده های جاسازی شده Z ، بنابراین هر نمونه اولیه را به خوشه ای در اطراف یک کلاس تشویق می کند. ورودی به لایه کاملاً متصل FC فاصله عادی A بین داده های رمزگذاری شده Z و هر نمونه اولیه p است. PIP به طور همزمان از ژنراتور برای تبدیل داده های رمزگذاری شده G (Z) به تصویر مربوطه استفاده می کند_عکسبشراز آنجا که نمونه های اولیه مبتنی بر داده های رمزگذاری شده است ، ژنراتور نمونه های اولیه آموخته شده را پس از آموزش به تصاویر مربوطه تبدیل می کند.

ب) بهینه سازی:

هدف PIP دستیابی به همزمان با دقت بالا و تفسیر بالا است. برای به دست آوردن این هدف ، ما به طور مشترک پارامترهای تمام اجزای مدل را با استفاده از نزول شیب تصادفی ، به طور مشابه به کار توصیف شده توسط Gee و همکاران به حداقل می رسانیم.[18] و لی و همکاران.[19]بگذارید D =< ( x k t ) t = 1 T , y , y p i c >be a labeled time series dataset having k dimensions. Throughout the remainder of the paper we use x t to denote the set of k values observed at time t . Here, T is the length of multivariate sequence x , y ∈ C >برچسب واقعی است ، و y_عکس ∈ C >یک تصویر مربوطه برای کلاس واقعی است. مشکل بهینه سازی موارد زیر را به حداقل می رساند:

جایی که θ مجموعه ای از تمام پارامترهای مدل قابل آموزش را نشان می دهد و λ = λ_اشمیه، λ_مگس، λ₁، و λ₂>اصطلاح نسبت ها را نشان می دهد. E از دست دادن آنتروپی متقاطع به عنوان:

و m میانگین خطای مربع ژنراتور است ، به شرح زیر:

ما یک تنظیم کننده را معرفی می کنیم ، r₁، این باعث می شود که هر نمونه اولیه نزدیک به حداقل یکی از نمونه های آموزش قرار بگیرد. علاوه بر این ، تنظیم کننده r₂تضمین می کند که ورودی های ورودی مشابه در اطراف یک نمونه اولیه:

PIP وزن را برای شرایط از دست دادن فردی در طول آموزش مدل می آموزد. برای هر یک از تعداد مشخصی از دوره ها ، ما نسبت ، λ را برای یک اصطلاح انتخاب شده ، ℓ ∈ (e ، m ، r تنظیم می کنیم.₁، r₂). اگر مقدار مربوطه از آستانه τ بیشتر باشد ، اصطلاح انتخاب شده مجازات می شود. این اصطلاح با افزایش نسبت آن مجازات می شود ، λ_ℓبشربه همین ترتیب ، اگر با پایین آمدن λ مربوطه ، این اصطلاح را بهتر از آستانه τ پاداش می دهیم_ℓبشراین روش با الهام از روشهای نظری بازی که توسط آروا و همکاران معرفی شده است ، که از یادگیری داده محور پارامترها پشتیبانی می کند [22]. برای آزمایشات ما ، τ = 0. 1 را تنظیم می کنیم. ما همه λ S را به یک نرخ یادگیری ثابت ϵ 0. 5 ≤ تنظیم می کنیم. در پایان هر دوره E ، ما یک اصطلاح را برای تنظیم در دوره بعدی انتخاب می کنیم. نسبت λ با احتمال متناسب با مقادیر p (e) انتخاب می شوند =< λ E ( e ) / Φ ( e ) , λ M ( e ) / Φ ( e ) , λ 1 ( e ) / Φ ( e ) , λ 2 ( e ) / Φ ( e ) >، جایی که φ (e) = λ e (e) + λ m (e) + λ 1 (e) + λ 2 (e). ما λ انتخاب شده را بر اساس مقدار عملکرد آن M به روز می کنیم ، به شرح زیر:

ما این روش را پس از تعداد مشخصی از دوره هایی که در آن به طور مداوم کاهش می یابد ، خاتمه می دهیم زیرا به روزرسانی های نامشخص از λ S می تواند آموزش مدل را ناپایدار کند. ما مشاهده می کنیم که به روزرسانی λ S برای 20 دوره متوالی کاهش مقادیر L برای یادگیری λ S کافی است. الگوریتم 1 جزئیات روند آموزش PIP را شرح می دهد. 1

یک سوال مهم این است که چگونه می توان تعداد نمونه های اولیه را برای یادگیری انتخاب کرد. کار قبلی [5] ، [18] ، [19] ، [23] تعدادی نمونه اولیه را مشخص می کند که بیشتر از تعداد کلاس ها است. این به مدل اجازه می دهد تا حداقل یک نمونه اولیه را برای هر کلاس بیاموزد .. وقتی کلاس ها پیچیده هستند ، چنین توضیحات مفصلی می تواند مفید باشد. در عین حال ، ممکن است کاربران وقتی یک کلاس واحد توسط چندین تصویر نشان داده می شوند اشتباه گرفته شوند. در کار قبلی ، مشاهدات حکایتی این تجارت را مورد تجزیه و تحلیل قرار داد. در مورد ما ، ما نتایج را برای تعداد جایگزین نمونه های اولیه گزارش می دهیم. برای انتخاب نهایی ، ابتدا تعداد نمونه های اولیه را با تعداد کلاس ها برابر می دانیم. سپس با افزایش تعداد تا زمانی که عملکرد (به حداقل رساندن ضرر) همگرا شود ، تعداد نهایی نمونه های اولیه را انتخاب می کنیم.

در حالی که ما فرایند یادگیری را با استفاده از تصاویر Greyscale نشان می دهیم ، PIP همچنین می تواند نمونه های رنگی را یاد بگیرد. در مواردی که حاوی تعداد زیادی کلاس است ، تصاویر ورودی رنگی باعث افزایش بیشتر تفسیر نمونه های مخلوط شده که پیپ می آموزد ، بیشتر می شود. چنین رنگهایی را می توان بر اساس دانش دامنه توسط کاربر انتخاب کرد. به عنوان مثال ، در شکل 3 کاربر رنگهای گرمتر را برای فعالیتهای حرکتی پویا (به عنوان مثال ، راه رفتن از پله های بالا/پایین ، پیاده روی) و رنگ های خنک تر برای فعالیت های استاتیک تعریف می کند (به عنوان مثال ، نشستن ، ایستاده ، دراز کشیدن). از طرف دیگر ، یک کاربر ممکن است رنگ ها را در انتهای مخالف طیف برای کلاس هایی که به کمک در تمایز آنها کمک می کنند اختصاص دهد. در کار بعدی ، PIP به طور اختیاری این رنگ ها را به طور خودکار برای تقویت بیشتر تفسیر اختصاص می دهد.

نمونه نمونه های اولیه رنگ آموخته شده برای مجموعه داده HAR.

به طور خلاصه ، PIP نه تنها مجموعه ای از نمونه های اولیه را می آموزد بلکه برای هر نمونه اولیه نیز تصاویر ایجاد می کند. این نمونه های اولیه به درک کلاسهای آموخته شده و همچنین طبقه بندی برای یک نمونه خاص کمک می کنند. با یادگیری نمونه های اولیه و تصاویر مربوطه ، PIP می تواند بینش در مورد داده ها و مفاهیم آموخته شده ارائه دهد که در غیر این صورت در دسترس کاربران نهایی نبود. PIP صرفاً هر کلاس هدف را بر روی یک تصویر تعریف شده توسط کاربر تنظیم نمی کند. در عوض ، PIP نمونه های جدید را یاد می گیرد که ممکن است یک تصویر ورودی واحد یا ترکیبی منحصر به فرد از این تصاویر باشد. با در نظر گرفتن شکل 4 ، تصاویر از فعالیت های مشابه مانند "پیاده روی" و "راه رفتن در طبقه بالا" به یک نمونه اولیه تولید شده منحصر به فرد که جنبه های هر تصویر اصلی را نشان می دهد ، ترکیب می شوند. چنین ترکیبی برای مواردی که در مرز بین کلاسهای هدف ظاهر می شوند رخ می دهد.

نمونه ای از ترکیبی از تصاویر.

IVآزمایش

هدف از این کار ایجاد یک طبقه بندی سری زمانی است که هم دقیق و هم قابل تفسیر است. برای ارزیابی عملکرد PIP برای هر دو هدف ، ما الگوریتم را بر اساس ارزیابی کاربر نهایی از سری زمانی خام و مدل های ML جایگزین ارزیابی می کنیم. تفسیر مدل با کمیت تخمین زده می شود:

الف) مجموعه داده ها:

ما سه مجموعه داده سری زمانی را برای ارزیابی PIP انتخاب کردیم. مجموعه داده ها UCI-HAR (تشخیص فعالیت انسانی) [24] ، UCR-FORDA (تشخیص خودرو) [25] و UEA-skokenarbaicdigits (رقم های گفتاری عربی) هستند [25]. اینها از چندین حوزه با پیچیدگی متفاوت برای ارزیابی کاربرد گسترده PIP انتخاب شده اند (جدول I را ببینید). ما برای هر کلاس یک تصویر مقیاس خاکستری 28 28 طراحی کردیم (شکل 5 را ببینید). هر کاربر می تواند یک تصویر را طراحی کند و پیپ را آموزش دهد تا یک توضیح شخصی دریافت کند. از آنجا که شرکت کنندگان در مطالعه ما از طیف متنوعی از پیشینه ها آمده اند ، ما تصاویری ایجاد کردیم که درک عمومی را فراهم می کند. آزمایش های آینده که یک گروه کاربر خاص را هدف قرار می دهد ، از تصاویر طراحی شده توسط آن گروه استفاده می کنند.