18/05/2025
Random News

EzoitAI

Giới thiệu về Apache Spark

Quản trị1169 mins

Apache Spark là gì?

Apache Spark là một công cụ tính toán thống nhất và một tập hợp các thư viện được thiết kế để xử lý dữ liệu song song trên các cụm máy tính. Nó có thể quản lý các cụm máy tính bằng một trình quản lý cụm như trình quản lý cụm độc lập của Spark, YARN hoặc Mesos. Các ứng dụng Spark được nộp lên các trình quản lý cụm này, sau đó sẽ phân bổ các tài nguyên cần thiết để thực hiện các tác vụ.

Spark chủ yếu được viết bằng ngôn ngữ Scala và chạy trên Java Virtual Machine (JVM). Do đó, để chạy Spark trên máy tính cá nhân hoặc một cụm máy tính, bạn cần cài đặt Java. Nếu bạn muốn sử dụng API Python, cũng cần có một trình thông dịch Python.

Các thuật ngữ quan trọng trong PySpark

  • DataFrame: Một tập hợp dữ liệu phân tán được tổ chức thành các cột có tên.
  • Phân vùng (Partitioning): Phương pháp chia dữ liệu thành nhiều phân vùng, cho phép thực hiện các biến đổi song song, từ đó tăng tốc độ hoàn thành công việc.
  • Phân vùng (Partition): Một tập hợp các hàng nằm trên một máy vật lý trong một cụm. Các phân vùng của một DataFrame đại diện cho sự phân phối vật lý của dữ liệu trên các máy trong cụm.
  • Shuffle: Sự di chuyển dữ liệu giữa các phân vùng.
  • RDD (Resilient Distributed Dataset): Được sử dụng cho các tính toán cấp thấp và dữ liệu không có cấu trúc.
  • Biến đổi (Transformation): Một hàm tạo ra một RDD mới. Các biến đổi là lười biếng trong bản chất.
  • Hành động (Action): Đánh giá các biến đổi tương ứng và hành động để hiển thị kết quả.

Các thành phần của Ứng dụng Spark

  • Quá trình điều khiển (Driver Process):
    • Duy trì thông tin về Ứng dụng Spark.
    • Phản hồi chương trình hoặc đầu vào của người dùng.
    • Phân tích, phân phối và lập lịch công việc trên các trình thực thi.
  • Các quá trình thực thi (Executor Processes):
    • Thực thi mã được giao bởi trình điều khiển.
    • Báo cáo trạng thái tính toán lại cho nút điều khiển.

Kiến trúc của Spark

Trong một Ứng dụng Spark, trình quản lý cụm kiểm soát các máy vật lý và phân bổ tài nguyên cho các ứng dụng.

Bắt đầu một Ứng dụng Spark

  • Ứng dụng Spark tương tác:
    • ./bin/spark-shell để truy cập vào bảng điều khiển Scala.
    • ./bin/pyspark để truy cập vào bảng điều khiển Python.
  • Nộp một Ứng dụng Độc lập Đã Biên dịch Sẵn:
    • Lệnh spark-submit được sử dụng để nộp các ứng dụng.
    • Ví dụ:bashSao chép mã./bin/spark-submit \ --master local \ ./pyspark_folder/src/main/python/pi.py 10

Các chế độ chạy của Ứng dụng Spark

  • Chế độ cụm (Cluster Mode): Trình điều khiển và các trình thực thi chạy trên các máy khác nhau, được quản lý bởi một trình quản lý cụm như YARN hoặc Mesos.
  • Chế độ cục bộ (Local Mode): Trình điều khiển và các trình thực thi chạy dưới dạng các tiến trình, có thể nằm trên cùng một máy hoặc trên các máy khác nhau. Trong chế độ cục bộ, trình điều khiển và các trình thực thi chạy dưới dạng các luồng trên máy tính cá nhân của bạn thay vì trên một cụm.

116 thoughts on “Giới thiệu về Apache Spark”

  13. Hey! Do you know if they make any plugins to assist with SEO?
    I’m trying to get my blog to rank for some targeted keywords but I’m not seeing very good gains.
    If you know of any please share. Thank you! You can read similar art here: Change your life

    Bình luận

  18. I am really impressed along with your writing talents and also with the layout on your weblog. Is that this a paid subject matter or did you customize it your self? Either way stay up the excellent quality writing, it’s rare to see a great blog like this one nowadays. I like ezoit.com ! It’s my: Tools For Creators

    Bình luận

  19. I’m extremely inspired with your writing talents as smartly as with the layout in your blog. Is that this a paid subject matter or did you modify it your self? Anyway stay up the nice quality writing, it is rare to peer a nice blog like this one these days. I like ezoit.com ! Mine is: BrandWell

    Bình luận

  108. Эта статья полна интересного контента, который побудит вас исследовать новые горизонты. Мы собрали полезные факты и удивительные истории, которые обогащают ваше понимание темы. Читайте, погружайтесь в детали и наслаждайтесь процессом изучения!
    Подробнее тут – https://medalkoblog.ru/

    Bình luận

Để lại một bình luận

Email của bạn sẽ không được hiển thị công khai. Các trường bắt buộc được đánh dấu *

Related News