منظور از Slot Duration در عبارت زیر چیست؟

Question

سلام دوستان، در مورد عبارت زیر که از یک مقاله در رابطه با هادوپ هست، سوال داشتم.

منظور از قسمتی که هایلایت کردم چی هست؟

In the theoretical model, the reduce functions start only if all map tasks are finished. However, in the Hadoop implementation, all copy actions of reduce tasks will start when the first map action is finished. But in a slot duration, if there is any map task still running, the copy actions will wait around.

ممنون میشم راهنمایی کنید.

Answer 1

با سلام

 همانطور كه مي دانيد يكي از مدل هاي نصب هادوپ مبتني بر اسلات روي كلاستري از گره ها است كه هر كدام منابع سخت افزاري خودشان را دارند. اسلات تعداد حداكثر وظايف نگاشت و كاهش براي اجرا شدن همزمان روي يك گره هستش كه يسته به ظرفيت هر گره مي تواند متغير باشد و البته مي توان با پيكربندي مناسب آنها به كارايي بهينه تخصيص منابع دست پيدا كرد.

برداشتي كه از اين متن مي توان داشت شايد تا حدودي شبيه به نحوه اجراي  نخ يا ريسمان در سيستم عامل باشد. تفاوتي كه در توالي يا ترتيب اجراي همزمان ريسمانها ،برخي مواقع اجراي يك ريسمان والد تا تمام شدن ريسمانهاي فرزند به تعويق مي افتاد . برخي موافع هم هر ريسمان به صورت همروند با ساير ريسمانها اجرا ميشد.

موفق باشيد

 

Comments

ممنون از پاسخ خوب و توضیح رسایی که دادین. اما راستش نکته ای رو نمیتونم درک کنم؛ اینکه از یه طرف توی همین متن گفته که توی پیاده سازی هادوپ، زمانی که اولین عمل نگاشت تمام می شود، تمام عمل های کپی مربوط به وظایف کاهش، شروع به کار می کنند. خب از طرفی هم میگه که توی مدت اسلات، اگر وظیفه نگاشتی وجود داشته باشد که هنوز در حال اجراست، عمل های کپی منتظر خواهند ماند.
دلیل این دوگانگی و تفاوت چی هست؟ خیلی ممنون.

---

سلام
امیدوارم با توضیح زیر متوجه مطلب شوید.
مشکل اساسی در درک این مطلب این است که شما تفاوتی بین Reduce Task و Reduce Function قائل نمی شوید.
Reduce Task از سه فاز زیر تشکیل شده است:
Shuffle Sort/Merge  Reduce
که منظور از Reduce همان Reduce Function است یعنی تابعی که کاربر نوشته است. و به مجموع فاز شافل و سورت/مرج ، فاز کپی هم می گویند.
در زمانی که برخی از مپ تسک ها در حال انجام هستند اما برخی دیگر از مپ تسک ها تاکنون نتایج خود را تولید کرده اند، فاز شافل می تواند انجام شود و داده را کپی کرده و به سمت ردیوسر بیاورد (ردیوسر همان ردیوس تسک است). اما تا زمانی که کل داده ها کپی نشوند یعنی  شافل آنها تمام نشود و مرج نشوند، فاز ردیوس نمی تواند آغاز شود.
در مورد عبارت هایلایت شده: اگر مپ تسکی هنوز در حال انجام است و داده خود را بر روی دیسک ننوشته است فاز شافل نمی تواند آن را کپی کند پس ناچار است منتظر بماند.