جامعه آزاد رایانش ابری
بورد جامعه آزاد رایانش ابری
حمایت مالی برای توسعه جامعه
دانشنامه آزاد رایانش ابری ایران
آرشیو وبینارها و جلسات آنلاین جامعه
در صورت ایجاد کاربر جدید در سایت حتما پوشه اسپم خود را چک کنید و برای دریافت ایمیل های بعدی از این سایت در خصوص پاسخ های مطرح شده، تنظیمات رفع اسپم در صندوق پست الکترونیک خود را انجام دهید.

همیشه توجه داشته باشیم که با رأی مثبت خود می توانیم از دوستانمان تشکر کنیم!

دسته بندی ها

883 سوال

854 پاسخ

363 نظر

1k کاربر


فعال ترین کاربران
این ماه:
    Gute Mathe-Fragen - Bestes Mathe-Forum
    +2 امتیاز

    سلام دوستان، در مورد عبارت زیر که از یک مقاله در رابطه با هادوپ هست، سوال داشتم.

    منظور از قسمتی که هایلایت کردم چی هست؟

    In the theoretical model, the reduce functions start only if all map tasks are finished. However, in the Hadoop implementation, all copy actions of reduce tasks will start when the first map action is finished. But in a slot duration, if there is any map task still running, the copy actions will wait around.

    ممنون میشم راهنمایی کنید.

    بوسیله ی (کاربر معمولی) (489 امتیاز)
    برای یافتن پاسخ های بیشتر، سئوال را به اشتراک بگذارید:

    1 پاسخ

    +1 امتیاز
     
    بهترین پاسخ

    با سلام

     همانطور كه مي دانيد يكي از مدل هاي نصب هادوپ مبتني بر اسلات روي كلاستري از گره ها است كه هر كدام منابع سخت افزاري خودشان را دارند. اسلات تعداد حداكثر وظايف نگاشت و كاهش براي اجرا شدن همزمان روي يك گره هستش كه يسته به ظرفيت هر گره مي تواند متغير باشد و البته مي توان با پيكربندي مناسب آنها به كارايي بهينه تخصيص منابع دست پيدا كرد.

    برداشتي كه از اين متن مي توان داشت شايد تا حدودي شبيه به نحوه اجراي  نخ يا ريسمان در سيستم عامل باشد. تفاوتي كه در توالي يا ترتيب اجراي همزمان ريسمانها ،برخي مواقع اجراي يك ريسمان والد تا تمام شدن ريسمانهاي فرزند به تعويق مي افتاد . برخي موافع هم هر ريسمان به صورت همروند با ساير ريسمانها اجرا ميشد.

    موفق باشيد

     

    بوسیله ی (کاربر معمولی) (804 امتیاز)
    انتخاب شده بوسیله ی
    ممنون از پاسخ خوب و توضیح رسایی که دادین. اما راستش نکته ای رو نمیتونم درک کنم؛ اینکه از یه طرف توی همین متن گفته که توی پیاده سازی هادوپ، زمانی که اولین عمل نگاشت تمام می شود، تمام عمل های کپی مربوط به وظایف کاهش، شروع به کار می کنند. خب از طرفی هم میگه که توی مدت اسلات، اگر وظیفه نگاشتی وجود داشته باشد که هنوز در حال اجراست، عمل های کپی منتظر خواهند ماند.
    دلیل این دوگانگی و تفاوت چی هست؟ خیلی ممنون.
    سلام
    امیدوارم با توضیح زیر متوجه مطلب شوید.
    مشکل اساسی در درک این مطلب این است که شما تفاوتی بین Reduce Task و Reduce Function قائل نمی شوید.
    Reduce Task از سه فاز زیر تشکیل شده است:
    Shuffle Sort/Merge  Reduce
    که منظور از Reduce همان Reduce Function است یعنی تابعی که کاربر نوشته است. و به مجموع فاز شافل و سورت/مرج ، فاز کپی هم می گویند.
    در زمانی که برخی از مپ تسک ها در حال انجام هستند اما برخی دیگر از مپ تسک ها تاکنون نتایج خود را تولید کرده اند، فاز شافل می تواند انجام شود و داده را کپی کرده و به سمت ردیوسر بیاورد (ردیوسر همان ردیوس تسک است). اما تا زمانی که کل داده ها کپی نشوند یعنی  شافل آنها تمام نشود و مرج نشوند، فاز ردیوس نمی تواند آغاز شود.
    در مورد عبارت هایلایت شده: اگر مپ تسکی هنوز در حال انجام است و داده خود را بر روی دیسک ننوشته است فاز شافل نمی تواند آن را کپی کند پس ناچار است منتظر بماند.
    ...