Khóa học diễn ra trong vòng 5 ngày (40 giờ), sau khóa học Học viên sẽ đạt được trang bị kỹ năng và kiến thức sau:
- Tổng quan IBM BigInsights
• Hiểu mục đích của dữ liệu lớn và hiểu được tầm quan trọng của dữ liệu lớn.
• Mô tả các các nguồn dữ liệu IBM BigInsights
• Sử dụng các loại công cụ IBM BigInsights bao gồm Big SQL, BigSheets, Big R, Jaql và AQL cho nhu cầu dữ liệu lớn của bạn.
- IBM Open Platform (IOP) với Apache Hadoop
• Danh sách và mô tả các thành phần chính của các mã nguồn mở Apache Hadoop stack và phương pháp của các nền tảng dữ liệu mở.
• Quản lý và giám sát các cụm Hadoop với Apache Ambari và thành phần liên quan
• Khám phá hệ thống phân loại tệp tin Hadoop (HDFS) bằng cách chạy lệnh Hadoop.
• Hiểu được sự khác biệt giữa Hadoop 1 (với MapReduce 1) và Hadoop 2 (với YARN và MapReduce 2).
• Tạo và chạy các công việc cơ bản sử dụng dòng lệnh MapReduce.
• Giải thích Spark tích hợp Hadoop như thế nào.
• Thực thi thuật toán lặp đi lặp lại sử dụng Spark RDD.
• Giải thích vai trò điều phối, quản lý và quản trị trong sử dụng Apache Hadoop Zookeeper, Apache Slide, và Apache Knox.
• Khám phá các phương pháp phổ biến để thực hiện di chuyển dữ liệu
• Cấu hình cho các dữ liệu tải về các tập tin log
• Di chuyển dữ liệu HDFS int từ cơ sở dữ liệu quan hệ sử dụng Sqoop
• Hiểu khi sử dụng các định dạng lưu trữ dữ liệu khác nhau (các tập tin phẳng, CSV / giới hạn, các file Avro / Sequence, vv).
• Xem xét sự khác biệt giữa các ngôn ngữ lập trình mã nguồn mở có sẵn thường được sử dụng với Hadoop (Pig, Hive) và khoa học dữ liệu (Python, R)
• Truy vấn dữ liệu từ Hive.
• Thực hiện truy cập ngẫu nhiên trên các dữ liệu được lưu trữ trong HBase.
......
