توضیحی بر شبکه عصبی GMDH
مدلهاي شبکه هاي رشديابنده (يا افزايشي) داراي ساختار از پيش تعيين شده نيستند. در مقابل، آنها توسط افزايش متوالي (و گاهي اوقات حذف) عناصر تشکيل دهنده، ايجاد ميشوند. در نگاه اول اين شبکهها ممکن است قدري پيچيدهتر از شبکههاي داراي ساختار ثابت مانند شبکه عصبي پرسپتروني چند لايه و يا نقشههاي خودسامانده (که توپولوژي آنها از ابتدا معلوم است و در طي يادگيري تغيير نميکند) برسند. براي رشد دادن اين نوع از شبکهها بايستي استراتژيهاي درج مناسب و نيز معياري براي چگونگي توقف رشد آنها تعيين شود.
آيا براي اين پيچيدگي مضاعف، بايستي کاري اضافهتر از شبکههاي معمولي انجام دهيم؟ آيا هيچ دليل عملي يا حتي دليل موجهي براي استفاده از شبکههاي رشديابنده وجود دارد؟ اصولا چرا بايد از شبکه هاي خودسامانده رشديابنده استفاده کرد؟
در اين قصل سعي بر آن است که سئوالات مطرح شده فوق را بهمراه چند مثال عملي تشريح کنيم تا به مزاياي شبکه هاي خودسامانده رشديابنده پي ببريم.
در اين فصل دو مثال ارائه ميکنيم تا بتوانيم شبکههاي رشديابنده و غير رشديابنده را با هم مقايسه کنيم .
1-9 مثال اول: دستهبندي الگوها
يکي از خصوصيات مهم شبکههاي رشديابنده امکان تعيين يک معيار خطاي دلخواه براي درج واحدهاي جديد است. در مورد دسته بندي الگو يک معيار خطاي واضح، خطاي دسته بندي است. در شکل 9.1 يک شبکه RBF که توسط روش با نظارت GNG ايجاد شده، نمايش داده شده است. مسئله در اينجا يک دستهبندي دو کلاسه و دادهها شامل دو خوشه بزرگ است که به خوبي از هم جدا شدهاند و همچنين چهار خوشه کوچکتر است که تقريبا به يکديگر نزديک هستند و از نظر شکل زياد فشرده نيستند.
روند رشد مبتني بر خطا باعث توزيع مراکز ميشود که با توزيع دادهها بطورقابل ملاحظهاي متفاوت است. در شبکه نهايي خوشههاي بزرگ توسط تعداد کمي از گاوسيهاي نسبتا بزرگ دسته بندي ميشوند، درحاليکه اکثر گاوسيها در مناطقي با خوشههاي کوچکتر که جداکردن آنها سختتر است، تجمع يافتهاند.
شکل 9.1 – دسته بندي با شبکه GNG با نظارت. اين شکل يک شبکه RBF را نشان ميدهد که توسط روش GNG با نظارت و با خطاي دسته بندي بعنوان معيار درج توليد شده است. (الف) گرهها و لبههاي ايجاد شده (ب) انحراف معيارهاي گاوسي (که توسط ميانگين طول لبه محاسبه شدهاند) (ج) خروجي خام شبکه (د) مناطق تصميم بدستآمده که توسط آستانهسازي خروجي خام بدست آمده است.
در مقابل يک شبکه RBF مرسومتر در شکل 9.2 نشان داده شده است. اين شبکه در ابتدا با توزيع تعداد معيني از مراکز در فضاي بردار ورودي با يک روش دسته بندي (در اين مثال از روش NG همراه با قانون يادگيري رقابتي هب استفاده شده است). سپس موقعيت مراکز تثبيت شدهاند. توابع فعالسازي گاوسي با مراکز داراي يک عرض انتخاب شده، برابر ميانگين طول لبه مرکز مربوطه متناظر هستند. سپس براي آموزش وزنها به واحد خروجي خطي منفرد که وظيفه تفکيک دو کلاس را دارد، از قانون دلتا استفاده ميشود. اگرچه در اين مثال اندازه اين دو شبکه برابر است، ولي الگوهاي آموزشي کاملا آموزش نديدهاند. دليل اين امر اختصاص تعداد زيادي از واحدها به خوشههاي بزرگ ولي ساده است که نتيجه آن کمبود واحدهاي مورد نياز براي دسته بندي خوشههاي دشوارتر است.
چرا نتايج اين دو شبکه GNG با نظارت و RBF سنتي اينقدر متفاوت است؟ روش خوشه بندي مورد استفاده در شبکه RBF سنتي تنها از بخش ورودي دادههاي آموزشي استفاده ميکند (و از برچسبهاي کلاسها صرفنظر ميکند) بنابراين اين شبکه نميتواند ميزان سختي دسته بندي قسمت خاصي از فضاي ورودي را در نظر گيرد. از آنجا که همه دادهها مشابه هستند، بيشترين کاري که يک روش خوشهبندي کننده ميتواند انجام دهد آن است که مراکز را بگونهاي توزيع کند که هر مرکز قسمتي از داده ورودي را تحت پوشش قرار دهد. در فاز دوم مراکز انتقال نمييابند بلکه وزنهاي لبههاي واحدهاي گاوسي به واحد خروجي خطي با استفاده از دادههاي برچسب خورده موجود، آموزش ميبينند. نقاط داده کلاسهاي مختلف که در منطقه يک گاوسي قرار ميگيرند، يک بردار فعال سازي مشابه را تحريک ميکنند و واحد خروجي خطي حتي در فضاي 33-بعدي فعال سازي واحد گاوسي نيز نميتواند آنها را از هم تفکيک کند (در اين مثال بعد هر دو شبکه برابر 33 است) اين احتمالا اتفاقي است که در شبکه دوم رخ داده است.
در مقابل شبکه GNG با نظارت تنها با چند واحد کار خود را شروع ميکند و بسرعت آموزش وزنها به واحد(هاي) خروجي شروع مي شود در حاليکه در همان زمان موقعيت مراکز نيز تطبيق داده مي شوند (اين ميزان تطبيق بسيار ناچيز است زيرا پارامترهاي تطبيق بسيار کوچک هستند). اگر خطاي دسته بندي رخ دهد، اين خطا در نزديکترين واحد گاوسي که آن قسمت از فضاي ورودي را تحت پوشش دارد، انباشته مي شود. پس از مدت کوتاهي واحد گاوسي که بيشترين ميزان خطا را دارد، q تعيين شده (اين واحد بيشترين مشکل را براي دسته بندي دادههاي موجود در فضاي ورودي مربوط به خود دارد) و يک واحد جديد به آن قسمت از فضاي ورودي اضافه مي شود که قسمتي از دادههاي مربوط به واحد q را تحت پوشش قرار مي دهد. اين مراحل تا آنجا تکرار ميشود که شبکه به ميزان کافي خوب عمل کند. اگر در يک منطقه از فضاي ورودي خطاي دسته بندي رخ ندهد حتي اگر چگالي داده در آن منطقه بسيار زياد باشد، هيچ واحد جديدي به آن منطقه اضافه نخواهد شد. بنابراين شبکه منابع خود را تنها در مناطقي که عمل دسته بندي مشکلتر است متمرکز ميکند.
نکته مهم در اين نوع از شبکهها و بلکه در تمامي شبکههاي عصبي مشکل “برازش زيادي” است. اين مشکل براي هر دو نوع از شبکهها بحراني ميباشد. اگر تعداد مراکز مورد استفاده در شبکه RBF سنتي را افزايش دهيم، شبکه به نقطهاي خواهد رسيد که تمامي دادههاي آموزشي بطور صحيح دسته بندي خواهد شد. از آنجا که روش خوشه بندي بدون نظارت مراکز را بدون توجه به برچسبهاي آنها توزيع مي کند، در مناطقي که عمل دسته بندي دادهها به آساني انجام ميشود، مراکز بيشتري قرار مي گيرند که اين امر باعث برازش زيادي در آن مناطق ميشود. از طرف ديگر در شبکه GNG با نظارت بايستي معياري براي توقف رشد تعيين شود، زيرا در غير اينصورت شبکه به رشد ادامه خواهد داد و واحدهاي جديد تا آنجا به شبکه اضافه ميشوند که باعث برازش زيادي دادهها شود. يک روش ساده براي جلوگيري از اين امر مشاهده ميزان کارايي شبکه برروي يک مجموعه ارزيابي مجزا است که در آموزش استفاده نميشود. هنگاميکه ميزان کارايي اين مجموعه ارزيابي پيشرفت نکند، آموزش در آن نقطه متوقف ميشود.
شکل 9.2 – دسته بندي با استفاده از يک شبکه RBF سنتي. در شکل يک شبکه RBF با 33 واحد نشان داده شده است که در دو فاز تشکيل مي شود (Moody و Darken). در ابتدا مراکز به روش بدون نظارت توزيع ميشوند. در اين مورد از روش گاز عصبي Martinez بهمراه قانون يادگيري رقابتي هب براي ايجاد ارتباطات استفاده شده است ولي استفاده از روش خوشه بندي ديگري مانند k-means نيز نتايج مشابهي را توليد ميکند. در فاز دوم موقعيت مراکز ثابت است، و براي آموزش وزنها به واحد خروجي خطي منفرد، از قانون دلتا استفاده ميشود. (الف) گرهها و لبهها (ب) انحراف معيارهاي گاوسيها (که توسط ميانگين طول لبه محاسبه شدهاند) (ج) خروجي خام شبکه (د) مناطق تصميم که نشان مي دهد چگونه شبکه براي دادههاي جديد تعميم پيدا ميکند. اگرچه اين شبکه داراي اندازهاي برابر شبکه GNG است ولي قادر به دسته بندي تمامي دادههاي آموزشي نيست.
2-9 مثال دوم: نمايش دادهها
به تصوير کشيدن (نمايش) دادههاي پيچيده و با ابعاد زياد هر روز از اهميت بيشتري برخوردار ميشود. از آنجا كه نقشههاي ويژگي خودسامانده نگاشتي از فضاي با ابعاد بالاي ورودي به ساختار با ابعاد کم (توپولوژي شبکه) انجام ميدهند، اغلب از نقشههاي ويژگي خودسامانده براي به تصوير کشيدن داده استفاده ميشود. اين ساختار اغلب يک شبکه توري 2-بعدي مستطيل شکل (و گاهي مربع شکل) از واحدها است. شبکه SOM اين عمل نگاشت و کاهش ابعاد را انجام ميدهد ولي سئوال اين است که تا چه حد ارتباط توپولوژيک دادههاي اصلي را حفظ مي کند؟ اخيرا تعريف دقيقي براي معيار حفظ توپولوژي توسط Villmann و همکارانش با نام تابع توپوگرافيک ارائه شده که مقايسه عيني بين معماريهاي مختلف را امکان پذير ساخته است.
در اين مثال هدف آن است که نمايش يک مجموعه داده ساده را توسط روشهاي (الف) نقشه ويژگي خودسامانده و (ب) روش شکبه توري رشديابنده، بررسي کنيم. اين دادهها از يک ناحيه مستطيلي 1×9 بدست آمده است که براي نمايش سادهتر برنگ سياه و سفيد درآمده است.
براي SOM از يک آرايه 15×15 و از روند خودساماندهي با پارامترها و توابع نزولي که Ritter ارائه کرده است، استفاده شده است. نتايج اين آزمايش در شکل 9.3 نشان داده شده است. تصوير (projection) شبکه در فضاي ورودي در شکل 9.3 (الف) و نمايش داده برروي نقشه در شکل 9.3 (ب) آمده است. از شکل نشان داده شده متوجه ميشويم که اين نقشه دادهها را بصورت اريب نمايش ميدهد. از آنجا که شکل مانيفولد شامل داده (مستطيل باريک و دراز) و شکل نقشه (مربع) تقريبا متفاوت است، نتيجه بدست آمده زياد عجيب نيست. نگاشتي از يکي از آنها به ديگري صورت گرفته است ولي توپولوژي بصورت جزئي حفظ شده است.
اگر از همين دادهها براي توسعه يک شبکه توري رشديابنده استفاده شود، نتايج همانطور که در شکل 9.4 نشان داده شده است، کاملا متفاوت است. در اين شبکه بين نمايش برروي نقشه و فواصل حقيقي در فضاي ورودي تناظر بهتري برقرار است.
شکل 9.3 – نقشه ويژگي خودسامانده که به يک ناحيه با توزيع يکنواخت تطبيق 1×9 دوبعدي يافته است. اين شبکه شامل 15×15 واحد است. بدليل تفاوت بين ساختار شبکه و شکل مانيفولد داده نتيجه حاصل داراي نمايشي اريب است.
يکي ديگر از خصوصيات روش شبکه توري رشديابنده در به تصوير کشيدن داده از اهميت زيادي برخوردار است. اگر پس از مشاهده نتايج به تفکيک بيشتري نياز باشد، ميتوان به شبيهسازي ادامه داد و اجازه داد تا نقشه بيشتر و بيشتر رشد کند. با توجه به ثابت بودن تمام متغيرهاي مدل، اين عمل بسيار ساده است. ولي نقشه ويژگي خودسامانده که در شکل قبل آمده است در يک نقطه به اتمام ميرسد. در اين شبکه پارامترها (بازه همسايگي و قدرت تطبيق) بتدريج و با زمانبدي خاصي کاهش مييابند و راه خاصي براي افزايش اندازه شبکه و ساماندهي مجدد آن بدون از دست دادن ترتيب بدست آمده فعلي وجود ندارد. تنها راه حل براي افزايش تفکيک تکرار تمامي مراحل با يک شبکه بزرگتر است. حتي در اينصورت نيز نميتوان مطمئن بود که اندازه شبکه به اندازه کافي بزرگ است و ممکن است لازم باشد تا شبکههاي بزرگتري نيز امتحان شود. ولي با استفاده از شبکه توري رشديابنده ميتوان از همه نتايج بدست آمده در مرحله قبلي استفاده کرد.
شکل 9.4 – يک شبکه توري خودسامانده رشديابنده که مانند به يک توزيع مشابه شبکه قبلي تطبيق يافته است. شبکه با يک ساختار 2×2 شروع شده و بصورت خودکار به يک شبکه 6×43 گسترش مييابد. نسبت عرض/ طول شبکه برابر 17/7 است که تقريبا مشابه نسبت مانيفولد داده است.
3-9 نتيجه
در قسمتهاي قبل سعي کرديم تا انگيزه از استفاده از شبکههاي خودسامانده رشديابنده را بوضوح بيان کنيم. در ابتدا مروري بر انواع مدلهاي افزايشي داشتيم که همه آنها بر اساس قوانين ”درج مبتني بر اطلاعات خطاي انباشته محلي“ و تنها تفاوت آنها در محدوديتهاي اعمال شده بر توپولوژي آنها است. ما اين مدلهاي افزايشي را به روشهاي ديگر مرتبط ساختيم و با دو مثال (يکي از يادگيري با نظارت و ديگري از يادگيري بي نظارت) مزاياي خاص روشهاي افزايشي را نشان داديم.
اين مزايا بطور خلاصه عبارتند از:
- امکان استفاده از معيار خطاي وابسته به مسئله که به اين طريق مي توان موقعيت واحدهاي جديد را معين کرد (هر گاه درج لازم باشد).
- از آنجا که در اين مدلها از پارامترهاي ثابت استفاده شده است، فازهاي متفاوتي در روال خودساماندهي وجود ندارد لذا امکان قطع روال خودساماندهي و يا ادامه يک روال خودساماندهي که قبلا متوقف شده است، وجود دارد.
- اعداد کمتري بايستي تعيين شوند: تعيين اندازه شبکه پيش از شروع روال خودساماندهي لازم نيست اما ميتوان آنرا بوسيله يک معيار کارايي بصورت غيرمستقيم تعيين کرد. براي هر پارامتر نيازي به تعيين مقدار اوليه، نهايي و تابع تغيير آن با زمان نميباشد بلکه تنها مقدار آن بايستي تعيين شود.
مقاله متلب,مطلب,متلب,مقاله برق,مقاله قدرت,مقاله مطلب,مقاله سیمولینک,دانلود متلب,دانلود مقاله متلب,مقالهmatlab ,آموزش متلب,مطلب,متلب,آموزش برق,آموزش قدرت,آموزش مطلب,آموزش سیمولینک,دانلود متلب,دانلود آموزش متلب,آموزشmatlab ,پروژه متلب,مطلب,متلب,پروژه برق,پروژه قدرت,پروژه مطلب,پروژه سیمولینک,دانلود متلب,دانلود پروژه متلب,پروژهmatlab ,
چرا به ايميلم فرستاده نميشه لينك؟؟؟؟؟؟