درک مبانی Confusion matrix در یادگیری ماشینی
با توانایی تجزیه و تحلیل و تفسیر مقادیر زیادی از داده ها، الگوریتم های یادگیری ماشین به طور فزاینده ای در صنایع مختلف محبوب شده اند.
یکی از مفاهیم مهم در یادگیری ماشین، ماتریس سردرگمی است که برای ارزیابی عملکرد یک مدل طبقه بندی استفاده می شود.
در این مقاله، ما اصول اولیه ماتریس سردرگمی را بررسی خواهیم کرد و اهمیت آن را در یادگیری ماشینی درک خواهیم کرد.
برای شروع، اجازه دهید تعریف کنیم که ماتریس سردرگمی چیست.
به زبان ساده، ماتریس سردرگمی جدولی است که برای توصیف عملکرد یک مدل طبقه بندی استفاده می شود.
خلاصه ای از پیش بینی های انجام شده توسط مدل را ارائه می دهد و آنها را با مقادیر واقعی مقایسه می کند.
ماتریس به چهار ربع تقسیم میشود که هر کدام یک نتیجه متفاوت را نشان میدهند: مثبت واقعی، منفی درست، مثبت کاذب و منفی کاذب.
ربع مثبت واقعی (TP) مواردی را نشان می دهد که مدل به درستی کلاس مثبت را پیش بینی کرده است.
به عنوان مثال، اگر ما در حال ساخت مدلی برای تشخیص سرطان هستیم، یک مثبت واقعی زمانی خواهد بود که مدل به درستی بیمار مبتلا به سرطان را شناسایی کند.
از سوی دیگر، ربع منفی واقعی (TN) مواردی را نشان می دهد که مدل به درستی کلاس منفی را پیش بینی کرده است.
در مثال تشخیص سرطان ما، یک منفی واقعی زمانی است که مدل به درستی بیمار بدون سرطان را شناسایی کند.
در ادامه، ما ربع مثبت کاذب (FP) را داریم که نشان دهنده مواردی است که مدل کلاس مثبت را به اشتباه پیش بینی کرده است.
در مثال تشخیص سرطان ما، مثبت کاذب زمانی است که مدل به اشتباه بیمار بدون سرطان را به عنوان مبتلا به سرطان شناسایی کند.
در نهایت، ما ربع منفی کاذب (FN) داریم که نشان دهنده مواردی است که مدل به اشتباه کلاس منفی را پیش بینی کرده است.
در مثال تشخیص سرطان ما، یک منفی کاذب زمانی خواهد بود که مدل به اشتباه بیمار مبتلا به سرطان را فاقد سرطان تشخیص دهد.
اکنون که ربع های مختلف ماتریس سردرگمی را درک می کنیم، بیایید در مورد چگونگی استفاده از آن برای ارزیابی عملکرد یک مدل طبقه بندی بحث کنیم.
یکی از معیارهای رایج که از ماتریس سردرگمی به دست میآید، دقت است که صحت کلی پیشبینیهای مدل را اندازهگیری میکند.
با تقسیم مجموع مثبت و منفی واقعی بر تعداد کل موارد محاسبه می شود.
با این حال، دقت ممکن است به تنهایی تصویر کاملی از عملکرد مدل ارائه نکند، به خصوص زمانی که با مجموعه داده های نامتعادل سروکار داریم.
در چنین مواردی، معیارهای دیگری مانند دقت، یادآوری و امتیاز F1 وارد عمل می شوند.
دقت نسبت مثبت واقعی را از همه پیش بینی های مثبت اندازه گیری می کند، در حالی که یادآوری نسبت مثبت واقعی را از همه موارد مثبت واقعی اندازه می گیرد.
امتیاز F1 میانگین هارمونیک دقت و یادآوری است که معیار متعادلی از عملکرد مدل را ارائه می دهد.
علاوه بر این معیارها، ماتریس سردرگمی نیز می تواند برای تجسم عملکرد یک مدل طبقه بندی استفاده شود.
با ترسیم ماتریس به عنوان یک نقشه حرارتی، میتوانیم به راحتی الگوها و مناطقی را که مدل ممکن است در آن مشکل دارد، شناسایی کنیم.
این تجسم می تواند به ویژه در شناسایی موارد مثبت کاذب یا منفی کاذب مفید باشد که بسته به کاربرد می تواند پیامدهای قابل توجهی داشته باشد.
در نتیجه، ماتریس سردرگمی ابزار ارزشمندی در ارزیابی عملکرد یک مدل طبقهبندی در یادگیری ماشین است.
خلاصهای جامع از پیشبینیهای مدل ارائه میکند و به ما امکان میدهد معیارهای مختلفی مانند دقت، دقت، یادآوری و امتیاز F1 را محاسبه کنیم.
با درک اصول اولیه ماتریس سردرگمی، میتوانیم بینشهایی در مورد نقاط قوت و ضعف مدلهایمان بهدست آوریم و تصمیمات آگاهانهای برای بهبود عملکرد آنها بگیریم.
ارزیابی عملکرد مدل با ماتریس سردرگمی در یادگیری ماشینی
ارزیابی عملکرد مدل با ماتریس سردرگمی در یادگیری ماشینی
یادگیری ماشینی یک زمینه جذاب است که روش حل مسائل پیچیده را متحول کرده است.
یکی از جنبههای مهم یادگیری ماشین، ارزیابی عملکرد مدلهایی است که میسازیم.
به هر حال، اگر یک مدل نتواند نتایج را به درستی پیش بینی کند، چه فایده ای دارد؟ اینجاست که ماتریس سردرگمی وارد عمل می شود.
ماتریس سردرگمی ابزاری ساده و در عین حال قدرتمند است که به ما کمک میکند تا بفهمیم مدل ما چقدر خوب عمل میکند.
این تصویر واضحی از توانایی مدل در طبقه بندی صحیح نمونه ها در کلاس های مختلف ارائه می دهد.
با تجزیه و تحلیل ماتریس سردرگمی، می توانیم نقاط قوت و ضعف مدل خود را شناسایی کرده و بهبودهای لازم را انجام دهیم.
بنابراین، ماتریس سردرگمی چگونه کار می کند؟ خوب، همه چیز با مفهوم مثبت واقعی، منفی واقعی، مثبت کاذب و منفی کاذب شروع می شود.
فرض کنید یک مشکل طبقه بندی باینری داریم که در آن می خواهیم پیش بینی کنیم که ایمیل هرزنامه است یا خیر.
یک مثبت واقعی زمانی رخ می دهد که مدل ما به درستی یک ایمیل را به عنوان هرزنامه پیش بینی کند و در واقع هرزنامه باشد.
از سوی دیگر، منفی واقعی زمانی رخ میدهد که مدل ما به درستی ایمیلی را بهعنوان اسپم پیشبینی کند، و در واقع هرزنامه نباشد.
حال به سراغ نکات مثبت کاذب و منفی های کاذب برویم.
مثبت کاذب زمانی رخ می دهد که مدل ما به اشتباه ایمیلی را به عنوان هرزنامه پیش بینی کند، اما در واقع هرزنامه نیست.
این اغلب به عنوان خطای نوع I شناخته می شود.
برعکس، منفی کاذب زمانی اتفاق میافتد که مدل ما به اشتباه یک ایمیل را بهعنوان اسپم پیشبینی کند، اما در واقع هرزنامه است.
این به عنوان خطای نوع II شناخته می شود.
ماتریس سردرگمی جدولی است که این چهار نتیجه را خلاصه می کند.
دارای دو سطر و دو ستون است که نشان دهنده کلاس های واقعی و پیش بینی شده است.
سلول بالا سمت چپ نشان دهنده تعداد منفی های واقعی، سلول بالا سمت راست تعداد مثبت های کاذب، سلول پایین سمت چپ تعداد منفی های کاذب و سلول های پایین سمت راست نشان دهنده تعداد مثبت های واقعی است.
اکنون که متوجه شدیم ساختار ماتریس سردرگمی چگونه است، بیایید در مورد چگونگی استفاده از آن برای ارزیابی عملکرد مدل خود بحث کنیم.
یکی از معیارهای رایج که از ماتریس سردرگمی به دست می آید، دقت است.
دقت صرفاً نسبت نمونه هایی است که به درستی طبقه بندی شده اند به تعداد کل نمونه ها.
این یک معیار کلی از عملکرد خوب مدل ما ارائه می دهد.
با این حال، دقت به تنهایی ممکن است همیشه کافی نباشد.
در برخی موارد، ممکن است بیشتر نگران به حداقل رساندن نکات مثبت کاذب باشیم، در حالی که در موارد دیگر، به حداقل رساندن موارد منفی کاذب ممکن است اولویت ما باشد.
اینجاست که سایر معیارهای به دست آمده از ماتریس سردرگمی وارد عمل می شوند.
یکی از این معیارها دقت است، که نسبت مثبت های واقعی به مجموع مثبت های واقعی و مثبت های کاذب است.
دقت به ما می گوید که چند نمونه از موارد مثبت پیش بینی شده در واقع مثبت هستند.
معیار دیگر یادآوری است که به عنوان حساسیت یا نرخ مثبت واقعی نیز شناخته می شود.
یادآوری نسبت مثبت های واقعی به مجموع مثبت های واقعی و منفی های کاذب است.
به ما می گوید که مدل ما چند نمونه از موارد مثبت واقعی را به درستی تشخیص می دهد.
علاوه بر دقت و یادآوری، معیار مهم دیگری به نام امتیاز F1 داریم.
امتیاز F1 میانگین هارمونیک دقت و یادآوری است.
این یک معیار متعادل از عملکرد مدل را با در نظر گرفتن هر دو مثبت کاذب و منفی کاذب ارائه می دهد.
در نتیجه، ماتریس سردرگمی ابزار ارزشمندی برای ارزیابی عملکرد مدلهای یادگیری ماشین است.
این به ما امکان می دهد تا نقاط مثبت واقعی، منفی های واقعی، مثبت های کاذب و منفی های کاذب را تجزیه و تحلیل کنیم و بینش هایی را در مورد نقاط قوت و ضعف مدل های خود ارائه دهیم.
با در نظر گرفتن معیارهایی مانند دقت، دقت، یادآوری و امتیاز F1 حاصل از ماتریس سردرگمی، میتوانیم تصمیمات آگاهانهای برای بهبود مدلهای خود و دستیابی به نتایج بهتر اتخاذ کنیم.
تفسیر ماتریس سردرگمی برای مشکلات طبقه بندی در یادگیری ماشین
ماتریس سردرگمی ابزار قدرتمندی در یادگیری ماشینی است که به ما در درک عملکرد یک مدل طبقه بندی کمک می کند.
خلاصه ای واضح و مختصر از پیش بینی های مدل و نتایج واقعی ارائه می دهد.
با تجزیه و تحلیل ماتریس سردرگمی، میتوانیم بینشی در مورد نقاط قوت و ضعف مدل به دست آوریم و درباره عملکرد آن تصمیمات آگاهانه بگیریم.
بنابراین، ماتریس سردرگمی چگونه کار می کند؟ خب، این جدولی است که تعداد مثبت های واقعی، منفی های درست، مثبت های کاذب و منفی های کاذب را نشان می دهد.
این مقادیر از مقایسه برچسب های پیش بینی شده با برچسب های واقعی داده ها به دست می آیند.
ماتریس سردرگمی به ویژه در هنگام برخورد با مجموعه داده های نامتعادل، که در آن تعداد نمونه ها در هر کلاس به طور قابل توجهی متفاوت است، مفید است.
بیایید اجزای ماتریس سردرگمی را تجزیه کنیم.
مثبت های واقعی (TP) تعداد نمونه هایی را نشان می دهد که به درستی مثبت پیش بینی شده اند.
به عبارت دیگر، اینها مواردی است که مدل به درستی طبقه مثبت را شناسایی کرده است.
از سوی دیگر، منفی های واقعی (TN) مواردی هستند که به درستی منفی پیش بینی شده اند.
اینها مواردی هستند که مدل به درستی کلاس منفی را شناسایی کرده است.
حالا بیایید به سمت مثبت کاذب (FP) و منفی کاذب (FN) برویم.
موارد مثبت کاذب مواردی هستند که در زمانی که واقعاً منفی بودند، به اشتباه به عنوان مثبت پیش بینی شده بودند.
اینها مواردی است که مدل خطای نوع I داده است.
برعکس، منفی های کاذب مواردی هستند که در زمانی که واقعاً مثبت بودند، به اشتباه به عنوان منفی پیش بینی شده بودند.
اینها مواردی است که مدل یک خطای نوع II داشته است.
با تجزیه و تحلیل این چهار مقدار، می توانیم معیارهای عملکرد مختلفی را محاسبه کنیم که درک عمیق تری از عملکرد مدل ارائه می دهد.
یکی از معیارهای رایج مورد استفاده دقت است که با تقسیم مجموع مثبت و منفی واقعی بر تعداد کل نمونه ها محاسبه می شود.
دقت به ما یک معیار کلی از عملکرد خوب مدل می دهد.
با این حال، دقت ممکن است به تنهایی در سناریوهای خاص کافی نباشد.
به عنوان مثال، در یک مشکل تشخیص پزشکی، که در آن هزینه منفی کاذب بالا است، ممکن است بیشتر به توانایی مدل برای شناسایی صحیح موارد مثبت علاقه مند باشیم.
در چنین مواردی، میتوانیم به معیارهایی مانند دقت، یادآوری و امتیاز F1 نگاه کنیم.
دقت با تقسیم تعداد مثبت های واقعی بر مجموع مثبت های واقعی و مثبت های کاذب محاسبه می شود.
نسبت موارد مثبت پیشبینیشده درست از همه نمونههای مثبت پیشبینیشده را به ما میگوید.
از سوی دیگر، یادآوری با تقسیم تعداد مثبت های واقعی بر مجموع مثبت های واقعی و منفی های کاذب محاسبه می شود.
نسبت موارد مثبت پیشبینیشده درست از همه نمونههای مثبت واقعی را به ما میگوید.
امتیاز F1 میانگین هارمونیک دقت و یادآوری است.
این یک معیار متعادل از عملکرد مدل را با در نظر گرفتن دقت و یادآوری ارائه می دهد.
امتیاز F1 بالا نشان می دهد که مدل تعادل خوبی بین دقت و یادآوری دارد.
علاوه بر این معیارها، ماتریس سردرگمی نیز می تواند به ما در شناسایی الگوهای خاص در پیش بینی های مدل کمک کند.
به عنوان مثال، اگر تعداد بالایی از مثبت های کاذب را متوجه شویم، ممکن است نشان دهنده این باشد که مدل در پیش بینی موارد مثبت بیش از حد آزاد عمل می کند.
از سوی دیگر، تعداد زیادی از منفی های کاذب ممکن است نشان دهد که مدل بیش از حد محافظه کارانه است.
در نتیجه، ماتریس سردرگمی یک ابزار ارزشمند در یادگیری ماشین برای تفسیر عملکرد مدلهای طبقهبندی است.
با تجزیه و تحلیل مثبت های واقعی، منفی های واقعی، مثبت های کاذب و منفی های کاذب، می توانیم معیارهای مختلف عملکرد را محاسبه کنیم و بینش هایی در مورد نقاط قوت و ضعف مدل به دست آوریم.
سپس می توان از این اطلاعات برای تصمیم گیری آگاهانه و بهبود عملکرد مدل استفاده کرد.
تکنیک های پیشرفته برای تجزیه و تحلیل ماتریس سردرگمی در ماشین یادگیری
ماتریس سردرگمی ابزار قدرتمندی در یادگیری ماشینی است که به ما در درک عملکرد یک مدل طبقهبندی کمک میکند.
خلاصه ای واضح و مختصر از پیش بینی های مدل و نتایج واقعی ارائه می دهد.
با تجزیه و تحلیل ماتریس سردرگمی، می توانیم بینش هایی در مورد نقاط قوت و ضعف مدل به دست آوریم و تصمیمات آگاهانه ای برای بهبود عملکرد آن اتخاذ کنیم.
برای درک ماتریس سردرگمی، اجازه دهید با اصول اولیه شروع کنیم.
این جدولی است که تعداد مثبت های واقعی (TP)، منفی های واقعی (TN)، مثبت های کاذب (FP) و منفی های کاذب (FN) تولید شده توسط یک مدل طبقه بندی را نشان می دهد.
این مقادیر از مقایسه پیشبینیهای مدل با نتایج واقعی به دست میآیند.
ماتریس سردرگمی اغلب در قالب جدول 2×2 نشان داده می شود که کلاس های پیش بینی شده در یک محور و کلاس های واقعی در محور دیگر نمایش داده می شود.
عناصر مورب ماتریس نشان دهنده پیش بینی های صحیح هستند، در حالی که عناصر خارج از مورب نشان دهنده پیش بینی های نادرست هستند.
یکی از معیارهای کلیدی به دست آمده از ماتریس سردرگمی دقت است که صحت کلی پیش بینی های مدل را اندازه گیری می کند.
با تقسیم مجموع مثبت ها و منفی های واقعی بر تعداد کل مشاهدات محاسبه می شود.
با این حال، دقت ممکن است به تنهایی تصویر کاملی از عملکرد مدل ارائه نکند، به خصوص زمانی که با مجموعه داده های نامتعادل سروکار داریم.
معیار مهم دیگر دقت است که نسبت مثبت های واقعی را از همه پیش بینی های مثبت اندازه گیری می کند.
با تقسیم تعداد مثبت های واقعی بر مجموع مثبت های واقعی و مثبت های کاذب محاسبه می شود.
دقت زمانی مفید است که هزینه مثبت کاذب بالا باشد، مانند تشخیص پزشکی.
یادآوری که به عنوان حساسیت یا نرخ مثبت واقعی نیز شناخته میشود، نسبت مثبتهای واقعی را از همه مثبتهای واقعی اندازهگیری میکند.
با تقسیم تعداد مثبت های واقعی بر مجموع مثبت های واقعی و منفی های کاذب محاسبه می شود.
یادآوری زمانی مهم است که هزینه منفی کاذب بالا باشد، مانند شناسایی تراکنش های تقلبی.
امتیاز F1 معیاری است که دقت و یادآوری را در یک مقدار واحد ترکیب می کند.
این میانگین هارمونیک دقت و یادآوری است و معیار متعادلی از عملکرد مدل ارائه می دهد.
امتیاز F1 زمانی مفید است که بخواهیم تعادلی بین دقت و یادآوری پیدا کنیم.
ماتریس سردرگمی همچنین میتواند برای محاسبه سایر معیارها مانند ویژگی، که نسبت منفیهای واقعی را از همه منفیهای واقعی اندازهگیری میکند، و ناحیه زیر منحنی مشخصه عملکرد گیرنده (AUC-ROC)، که توانایی مدل را در تشخیص اندازهگیری میکند، استفاده شود.
بین کلاس ها
تجزیه و تحلیل ماتریس سردرگمی می تواند به ما در شناسایی الگوهای خاص در خطاهای مدل کمک کند.
به عنوان مثال، اگر متوجه تعداد بالایی از موارد مثبت کاذب شویم، ممکن است نشان دهد که مدل بیش از حد حساس است و بسیاری از نمونه ها را به عنوان مثبت طبقه بندی می کند.
از سوی دیگر، تعداد بالای منفی کاذب ممکن است نشان دهنده این باشد که مدل به اندازه کافی حساس نیست و موارد مهمی را از دست داده است.
با درک این الگوها، میتوانیم بهبودهای هدفمندی را در مدل ایجاد کنیم.
این میتواند شامل تنظیم آستانه مدل برای طبقهبندی، جمعآوری دادههای بیشتر برای کلاسهای کمتر ارائهشده، یا استفاده از الگوریتمها یا تکنیکهای مختلف باشد.
در نتیجه، ماتریس سردرگمی ابزار ارزشمندی در یادگیری ماشینی است که دید جامعی از عملکرد یک مدل طبقهبندی ارائه میکند.
با تجزیه و تحلیل ماتریس و معیارهای مشتق شده از آن، میتوانیم بینشی در مورد نقاط قوت و ضعف مدل به دست آوریم و تصمیمات آگاهانهای برای بهبود عملکرد آن بگیریم.
بنابراین، دفعه بعد که با یک مدل طبقه بندی کار می کنید، فراموش نکنید که نگاه دقیق تری به ماتریس سردرگمی بیندازید.
کاربردهای عملی ماتریس سردرگمی در یادگیری ماشین
ماتریس سردرگمی ابزار قدرتمندی در یادگیری ماشینی است که به ارزیابی عملکرد یک مدل طبقه بندی کمک می کند.
خلاصهای واضح و مختصر از پیشبینیهای مدل ارائه میکند و به ما امکان میدهد بفهمیم که مدل چقدر خوب عمل میکند.
یکی از کاربردهای عملی ماتریس سردرگمی در ارزیابی دقت یک مدل طبقه بندی باینری است.
ماتریس سردرگمی پیشبینیهای مدل را به چهار دسته تقسیم میکند: مثبت واقعی، منفی واقعی، مثبت کاذب و منفی کاذب.
مثبت های واقعی مواردی هستند که مدل به درستی کلاس مثبت را پیش بینی می کند، در حالی که منفی های واقعی مواردی هستند که مدل به درستی کلاس منفی را پیش بینی می کند.
موارد مثبت کاذب زمانی اتفاق میافتد که مدل به اشتباه کلاس مثبت را پیشبینی کند و منفی کاذب زمانی رخ میدهد که مدل کلاس منفی را به اشتباه پیشبینی کند.
با تجزیه و تحلیل این چهار دسته، میتوانیم معیارهای عملکرد مختلفی را محاسبه کنیم که بینشهایی در مورد دقت مدل ارائه میدهد.
یکی از این معیارها دقت است، که نسبت پیش بینی های صحیح انجام شده توسط مدل است.
با تقسیم مجموع مثبت ها و منفی های واقعی بر تعداد کل پیش بینی ها محاسبه می شود.
دقت یک معیار مفید است زمانی که کلاس ها متعادل هستند، به این معنی که تعداد موارد مثبت و منفی برابر است.
با این حال، دقت ممکن است به تنهایی تصویر کاملی از عملکرد مدل ارائه نکند، به خصوص زمانی که کلاس ها نامتعادل هستند.
در چنین مواردی، معیارهای دیگر مانند دقت، یادآوری و امتیاز F1 مرتبط تر می شوند.
دقت نسبت مثبت های واقعی از تمام پیش بینی های مثبت انجام شده توسط مدل است.
این مدل به خوبی طبقه مثبت را شناسایی می کند.
از سوی دیگر، یادآوری نسبت مثبت های واقعی از همه موارد مثبت واقعی است.
این اندازه گیری می کند که چگونه مدل همه موارد مثبت را به خوبی ثبت می کند.
امتیاز F1 میانگین هارمونیک دقت و یادآوری است و معیار متعادلی از عملکرد مدل ارائه می دهد.
یکی دیگر از کاربردهای عملی ماتریس سردرگمی در شناسایی و درک انواع خطاهای ایجاد شده توسط مدل است.
با بررسی نکات مثبت کاذب و منفی کاذب، میتوانیم به بینشهایی در زمینههای خاصی که مدل در آن با مشکل مواجه است، دست پیدا کنیم.
برای مثال، اگر مدلی در حال پیشبینی موارد مثبت کاذب باشد، ممکن است نسبت به ویژگیهای خاص بیش از حد حساس باشد یا آستانه پایینی برای طبقهبندی یک مورد به عنوان مثبت داشته باشد.
از سوی دیگر، اگر مدلی منفی های کاذب را پیش بینی می کند، ممکن است الگوهای مهمی را از دست داده باشد یا آستانه بالایی برای طبقه بندی یک مورد به عنوان مثبت داشته باشد.
درک انواع خطاهای ایجاد شده توسط مدل می تواند به ما در بهبود عملکرد آن کمک کند.
ما میتوانیم پارامترهای مدل، انتخاب ویژگیها، یا حتی جمعآوری دادههای بیشتری را برای رسیدگی به مناطق خاصی که در آن مشکل دارد، تنظیم کنیم.
با تجزیه و تحلیل مکرر ماتریس سردرگمی و انجام تنظیمات، میتوانیم مدل را دقیق تنظیم کنیم و دقت آن را بهبود دهیم.
در نتیجه، ماتریس سردرگمی ابزار ارزشمندی در یادگیری ماشینی است که به ما امکان میدهد عملکرد یک مدل طبقهبندی را ارزیابی کنیم.
خلاصه ای جامع از پیش بینی های مدل ارائه می کند و به ما کمک می کند تا نقاط قوت و ضعف آن را درک کنیم.
با تجزیه و تحلیل ماتریس سردرگمی، میتوانیم معیارهای مختلف عملکرد را محاسبه کرده و زمینههای بهبود را شناسایی کنیم.
چه در ارزیابی دقت، دقت، یادآوری یا درک انواع خطاهای ایجاد شده توسط مدل باشد، ماتریس سردرگمی یک جزء ضروری در کاربرد عملی یادگیری ماشین است.
منبع » آکادمی اشکان مستوفی