فیلم آموزش مقدمات ورود به فضای کلان داده با اسپارک | دکتر امیرحسین پی براه | دانشگاه صنعتی شریف

فیلم آموزش مقدمات ورود به فضای کلان داده با اسپارک | دکتر امیرحسین پی براه | دانشگاه صنعتی شریف

در سالهای اخیر، شاهد افزایش چشمگیر تولید داده بودهایم. با تقریب میتوان گفت که  ٪۹۰کل دادههای ذخیره شده موجود در دنیا، در دو سال قبل تولید شده اند، و برای اولین بار در تاریخ، در سال  ۲۰۰۷بود که حجم دادههای تولیدی فراتر از فضای موجود برای ذخیره سازی آنها رفت. این دادههای بزرگ، که Big Data نامیده میشوند، دارای مشخصات مشترکی هستند که میتوان به حجم بالای داده، نرخ تولید بالا و تنوع محتوا اشاره کرد. برای ذخیرهسازی و پردازش این دادههای عظیم، ابزارهای متنوع و زیادی تولید شده است. بعضی از این ابزارها به صورت خاص تک منظوره و برای کار مشخصی طراحی شده اند، مانند Storm و GraphLab که برای پردازش دادههای جاری و پردازش گراف به کار میروند. دسته های دیگر از آنها، مانندHadoop  و Spark حالتی کلی تر دارند و برای انواع پردازشها میتوانند مورد استفاده قرار بگیرند. در این ارائه، بعضی از این ابزارها را مرور میکنیم و به صورت دقیق تر به  Spark میپردازیم.

 Workshop: We are observing an ever increasing trend in mass data production over the recent years. Interestingly, around 90% of the existing data in the world is produced only in the last two years. It was in 2007, when the size of data exceeded the available storage resources for the first time. This tremendous amount of data, largely known as Big Data, has certain characteristics: large volume, high velocity, and wide variety. There exist several tools for storing and processing Big Data. Some of them are special-purpose tools, like Storm and Graph Lab for data stream processing and graph processing, respectively. Some other, like Hadoop and Spark, are general-purpose tools, which are used for processing different data types. In this talk we will review some of these tools and work with Spark in more details

Personal photo - Amir Payberahآقای دکتر امیرحسین پی براه دکتری خود را در سال ۲۰۱۳ در زمینه سیستم های توزیع شده از دانشگاه KTH سوئد گرفتند و سپس پژوهش خود را در مقطع فوق دکتری در زمینه داده های حجیم در مؤسسه تحقیقاتی  SICS سوئد انجام دادند. در این بین بارها دوره و کارگاههای آموزشی در زمینه سیستم های توزیع شده و دادههای حجیم در مؤسسات پژوهشی و صنعتی مختلف ارائه کردند، به عناوین تعدادی از رویدادهایی که ایشان ارایه کردند در لینک ادامه اشاره شده است.

برای مشاهده فایل های اصلی به سایت رسمی مجموعه پراوید به نشانی paravid.com مراجعه کنید.

لینک مشاهده در سایت پراوید:

http://www.paravid.com/lecture/آموزش-an-introduction-to-data-intensive-computing-platforms

مشاهده و دانلود رایگان است. فقط کافیست ثبتنام کنید.

موفق و موید باشید/.

اشتراک گذاری پست

دیدگاه (2)

  • حسن پاسخ

    سلام لینک های دانلود کار نمیکند

    فروردین ۱۵, ۱۳۹۷ در ۳:۲۷ ق٫ظ
    • محمد خالوئی پاسخ

      باسلام وقت بخیر
      لینک اصلاح شد. در سایت پراوید ثبتنام کنید و رایگان مشاهده و دانلود کنید.
      موفق و موید باشید/.

      فروردین ۱۵, ۱۳۹۷ در ۷:۱۳ ق٫ظ

پاسخی بگذارید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *


CLOSE
CLOSE