.

شکل ۲-۱۳: نرون شبکه پرسپترون

۲-۱۰-۲-۴- شبکه ­های پس­خور یا برگشتی^[۳۳]
تفاوت شبکه ­های پس­خور با شبکه ­های پیش­خور که در بخش قبل مورد بررسی قرار گرفت در این است که در شبکه ­های پس خور، حداقل یک سیگنال برگشتی از نرون به همان نرون یا نرون­های همان لایه و یا لایه قبل وجود دارد. جهت نمایش این­گونه شبکه­ ها، بلوک ساده شکل ۳-۹ را تعریف می­کنیم. این شکل، معرف تأخیر زمانی یک مرحله­ ای است. به عبارت واضح­تر خروجی بلوک (a) در لحظه زمانی t برابر با ورودی بلوک در یک واحد عقب­تر (یعنی مقدار u در لحظه t-1) است. واضح است که برای به­دست آوردن رابطه ورودی و خروجی این بلوک باید مقدار اولیه خروجی در لحظه اولیه (صفر) معلوم باشد این مقدار اولیه با a(0) در شکل نشان داده شده است.

.

شکل ۲-۱۴: بلوک تاخیر زمانی

اکنون می­توانیم شبکه ­های پس­خور رامعرفی کنیم. یک نوع متداول از شبکه پس­خور گسسته در حوزه زمان در شکل ۲-۱۵ ترسیم شده است.
برای این شبکه خاص، بردار ورودی P نشان­دهنده شریط اولیه شبکه است (به عبارت دیگر داریم a(0)=P) رفتار شبکه به وسیله معادله زیر بیان می­ شود.

.

شکل ۲-۱۵: شبکه تک لایه برگشتی

شبکه ­های پس­خور نسبت به شبکه ­های پیش­خور از توانایی بالقوه بیشتری برخوردارند و بهتر می­توانند رفتار مربوط به ویژگی­های زمانی سیستم­ها را نشان دهند.
۲-۱۱ مزیت­های استفاده از شبکه ­های عصبی
شبکه ­های عصبی، با قابلیت قابل توجه  آن­ها در استنتاج معانی از داده ­های پیچیده یا مبهم، می ­تواند برای استخراج الگوها و شناسایی روش­هایی که آگاهی از آن­ها برای انسان و دیگر تکنیک­های کامپیوتری بسیار  پیچیده و دشوار است  به کار گرفته شود. یک شبکه عصبی تربیت یافته می ­تواند به عنوان یک متخصص در مقوله اطلاعاتی­ای که برای تجزیه تحلیل به آن داده شده به حساب آید. از این متخصص می­توان  برای بر آورد وضعیت­های دلخواه جدید و جواب سؤال­های ” چه می­شد اگر “  استفاده کرد. از مزیت­های آن می­توان به موارد زیر اشاره کرد. یادگیری انطباق پذیر: قابلیت یادگیری نحوه انجام وظایف بر پایه اطلاعات داده شده برای تست و تجربه ­های مقدماتی. سازماندهی توسط خود: یک ANN می ­تواند سازماندهی یا ارائه­اش را، برای اطلاعاتی که در طول دوره یادگیری دریافت می­ کند، خودش ایجاد کند.
عملکرد به هنگام (Real time): محاسبات  ANN  می ­تواند بصورت موازی انجام شود و سخت­افزارهای مخصوصی طراحی و  ساخته شده است که می ­تواند از این قابلیت استفاده کند. تحمل اشتباه بدون ایجاد وقفه در هنگام کدگذاری اطلاعات: خرابی جزئی یک شبکه منجر به تنزل کارایی متناظر با آن می­ شود اگر چه تعدادی از قابلیت ­های شبکه ممکن است حتی با خسارت بزرگی هم باقی بماند.
۲-۱۱-۱- شبکه ­های عصبی در مقابل کامپیوترهای معمولی
شبکه ­های عصبی نسبت به کامپیوترهای معمولی مسیر متفاوتی را برای حل مسئله طی می­ کنند. کامپیوترهای معمولی یک مسیر الگوریتمی را استفاده می­ کنند، به این معنی که کامپیوتر یک مجموعه از دستورالعمل­ها را به قصد حل مسئله پی می­گیرد. بدون اینکه، قدم­های مخصوصی که کامپیوتر نیاز به طی کردن دارد، شناخته شده باشند کامپیوتر قادر به حل مسئله نیست. این حقیقت قابلیت حل مسئله کامپیوترهای معمولی را  به مسائلی، محدود می­ کند که ما قادر به درک آن­ها هستیم  و می­دانیم چگونه حل می­شوند. اما  اگر کامپیوترها می­توانستند کارهایی را انجام دهند که ما دقیقا نمی­دانیم چگونه انجام دهیم، خیلی  پرفایده­تر بودند.
شبکه های عصبی اطلاعات را به روشی مشابه با کاری که مغز انسان انجام می دهد پردازش می کنند. آنها از تعداد زیادی از عناصر پردازشی (سلول عصبی) که فوق­العاده به هم پیوسته­اند تشکیل شده است که این عناصر به صورت موازی با هم برای حل یک مسئله مشخص کار می­ کنند. شبکه ­های عصبی با مثال کار می­ کنند و نمی­ توان آن­ها را برای انجام یک وظیفه خاص برنامه­ ریزی کرد مثال­ها می­بایست با دقت انتخاب شوند در غیر این صورت زمان سودمند، تلف می­ شود و یا حتی بدتر از این شبکه ممکن است نادرست کار کند. امتیاز شبکه عصبی این است که خودش  کشف می­ کند که چگونه مسئله را حل کند، عملکرد آن غیرقابل پیش­گویی است.
از طرف دیگر، کامپیوترهای معمولی از یک مسیر مشخص برای حل یک مسئله استفاده می­ کنند. راه حلی که مسئله از آن طریق حل می­ شود  باید از قبل شناخته  شود و به صورت دستورات  کوتاه و غیر مبهمی شرح داده شود. این دستورات سپس به زبان­های برنامه نویسی سطح بالا برگردانده می­ شود و بعد از آن به کدهایی که کامپیوتر قادر به درک آن­ها است تبدیل می شود. به طور کلی این ماشین­ها قابل پیش­گویی هستند و اگر چیزی به خطا انجام شود به یک اشتباه سخت­افزاری یا نرم­افزاری بر می­گردد. شبکه ­های عصبی و کامپیوتر­های معمولی با هم در حال رقابت نیستند بلکه کامل­کننده یکدیگرند. وظایفی وجود دارد که بیشتر مناسب روش­های الگوریتمی هستند نظیر عملیات محاسباتی و وظایفی نیز وجود دارد که بیشتر مناسب شبکه ­های عصبی هستند. حتی فراتر از این، مسائلی وجود دارد که نیازمند به سیستمی است که از ترکیب هر دو روش بدست می ­آید (بطور معمول کامپیوترهای معمولی برای نظارت بر شبکه ­های عصبی به کار گرفته می­شوند) به این قصد که بیشترین کارایی بدست آید.
۲-۱۲- رگرسیون
در بسیاری از مسائل علمی و مهندسی لازم است رابطه ای بین مجموعه ای از متغیرها تعیین کنیم. مثلا در یک واکنش شیمیایی ممکن است بخواهیم رابطه ایی بین نتیجه آزمایش، درجه حرارتی که واکنش انجام گرفته و مقدار کاتالیزور به کار رفته را به دست آوریم. دانستن چنین رابطه ای کمک می کند که نتیجه را برای مقادیر مختلف درجه حرارت و میزان کاتالیزور پیش بینی کنیم.
در بسیاری از موارد یک متغیر جواب که به آن متغیر وابسته نیز گفته می شود وجود دارد که به مقدار مجموعه ایی از ورودیها یا متغیر های وابسته بستگی دارد. ساده ترین نوع رابطه بین متغیر وابسته و متغیرهای ورودی یک رابطه خطی است. یعنی برای مقادیر ثابت باید معادله