امروزه با پیچیدهتر شدن سیستمهای دیجیتال و مدرن، اهمیت تئوری تخمین (Estimation Theory) بیش از پیش آشکار شده است. همواره لازم است از روی چند اندازهگیری محدود، پارامترهای مختلفی تخمین زده شوند. به عنوان مثال، به منظور کنترل سرعت یک موتور جریان مستقیم لازم است مقاومت روتور و همچنین اندوکتانس آن تخمین زده شوند تا به کمک آنها پارامترهای کنترلکننده نیز به درستی تنظیم شوند. با استفاده از تئوری تخمین و از طریق اندازهگیری برخی از ویژگیهای موتور مانند سرعت موتور و یا موقعیت آن، میتوان پارامترهای مجهول را تخمین زد. در یک مثال دیگر برای اندازهگیری موقعیت یک هواپیما امواج الکترومغناطیس به سمت هدف تابیده میشود و سپس از طریق تخمین زمان پرواز موج میتوان موقعیت هدف را شناسایی کرد. مثالهای بیشمار دیگری نیز وجود دارد که در همه آنها لازم است که برخی از پارامترها و یا حتی بعضی از سیگنالها تخمین زده شوند. برای مثال، اغلب اندازهگیریهای عملی انجام شده توسط سنسورها، دارای نویزهای زیادی هستند و ما با استفاده از تئوری تخمین میتوانیم آن را نویززدایی کنیم و به اطلاعات دقیقتری برسیم. با توجه به اینکه در عمل، اغلب سیگنالها و نویزها تصادفی هستند، لذا برای تخمین موثر پارامترها باید از روشهای آماری استفاده کرد. از این رو در تئوری تخمین از طریق روشهای آماری سیگنالها پردازش میشوند. مباحث تئوری تخمین را در حالت کلی میتوان به دو بخش تخمینگرهای کلاسیک (Classic Estimators) و تخمینگرهای بیزین (Bayesian Estimators) تقسیمبندی کرد. گروه اول به تخمین پارامترهایی میپردازد که قطعی هستند ولی مشخص نیستند. به عنوان مثال فرض میشود که مقاومت روتور موتور جریان مستقیم ثابت است و سپس از طریق اندازهگیریهای تجربی آن را تخمین میزنیم. الگوریتمهایی مانند تخمینگرهای بدون بایاس حداقل واریانس (Minimum Variance Unbiased Estimators)، تخمینگرین احتمال (Maximum Likelihood)، بهترین تخمینگر خطی بدون بایاس (Best Linear Unbiased Estimator)، تخمینگرهای حداقل مربعات (Least Square Estimator) و تخمینگرهای مبتنی بر ممان جزو مهمترین تخمینگرهای کلاسیک هستند که در این آموزش مورد بررسی قرار خواهند گرفت اما در تخمینگرهای بیزین فرض میشود که پارامتر مجهول تصادفی و دارای یک توزیع چگالی احتمال مشخص است. به عنوان مثال فرض میکنیم که مقاومت روتور از یک توزیع نرمال با میانگین 1 اهم و واریانس 0.1 اهم تبعیت میکند و سپس از طریق اندازهگیریهای تجربی که خودشان نویزهای تصادفی را شامل میشوند، یک تحقق از مقاومت روتور تخمین زده خواهند شد. مهمترین تخمینگر بیزین، فیلترهای کالمن است که امروزه به وفور در سیستمهای: کنترلی، رباتیک، ناوبری، مخابرات و هوش مصنوعی استفاده میشود. بحث تخمینگرهای بیزین در یک آموزش مجزا مورد بررسی قرار خواهند گرفت و در این آموزش فقط به تخمینگرهای کلاسیک میپردازیم.