FiDoop: کنکاو برابر مجموعه اقلام تکرار شونده با استفاده از مپردیوس (مترجم تکتم شریفی)
نقش اصلی این مقاله مانند زیر سازماندهی شده است.
- ما یک تعمیر اساسی برای FIUT ساختیم (یعنی روش تکرار شوند درخت الترامتریک اقلام)، و مسایل عملکرد برابر سازی FIUT را بررسی کردیم.
- ما روش کاوی مجموعه اقلام تکرار شونده برابر را با استفاده از مدل برنامهنویسی مپردیوس توسعه دادیم.
- ما یک طرح توزیع داده را مطرح کردیم تا بارگذاری بین نودهای محاسباتی در یک دسته را بالانس کند.
- ما بیشتر عملکرد فیدوپ را بهینه کردیم و زمان اجرای پردازش مجموعه داده ابعاد بالا را کاهش دادهایم.
- ما آزمایشات وسیعی با استفاده از یک دامنه وسیع ترکیب مجموعه داده دنیای واقعی را اجرا کردیم، و نشان دادیم که فیدوپ کارا و مقیاس پذیر روی دستههای هادوپ است.
بقیه این مقاله مانند زیر سازماندهی شده است. بخش II سابقه اطلاعات را توصیف میکند. بخش III نگاه کلی بر فرایندهای فیدوپ روی مپردیوس میاندازد. بخش IV مسایل طرح فیدوپ ساخته شده روی چارچوب مپردیوس را ارائه میکند، و در ادامه جزئیات اجرا در بخش V بحث شده است، که توجه ویژهای بر بهینه سازی عملکرد کار آخر مپردیوس میکند. بخش VI تکنیک کاهش بعد را اجرا میکند تا فیدوپ را بهینه کند. بخش VII عملکرد فیدوپ روی دسته دنیای واقعی را ارزیابی میکند. بخش VIII درباره کارهای مربوطه بحث میکند. در نهایت، بخش IX این مقاله را نتیجهگیری میکند.
- II. مقدمات
در این بخش، ابتدا به طور خلاصه قوانین مرتبط را مرور میکنیم. بعد، ایده اصلی الگوریتم FIUT را همراه با ساختار اصلی دادهاش را خلاصه میکنیم. برای تسهیل ارائه فیدوپ، ما چارچوب برنامه نویسی مپردیوس را معرفی میکنیم.