Giới Thiệu
Apache Hive là một hệ thống lưu trữ dữ liệu được xây dựng trên nền tảng của Hadoop, hỗ trợ phân tích các tập dữ liệu lớn được lưu trữ trong các hệ thống tệp phân tán của Hadoop (HDFS) hoặc S3 bằng cách sử dụng các truy vấn tương tự SQL.
Nó lưu trữ siêu dữ liệu (metadata) của schema trong một cơ sở dữ liệu (như Apache Derby, MySQL, Postgres hoặc MariaDB) và xử lý dữ liệu từ lưu trữ kết nối (như HDFS hoặc S3).
Nó cung cấp ngôn ngữ truy vấn giống SQL, HiveQL.
Hive Metastore
Hive metastore ghi lại tất cả thông tin cấu trúc (metadata) của một bảng Hive và các phân vùng của nó trong kho lưu trữ:
- Thông tin cột và định nghĩa kiểu dữ liệu
- Các serializer và de-serializer cần thiết để đọc và ghi dữ liệu
- Vị trí của dữ liệu liên quan trong HDFS hoặc S3
Các siêu dữ liệu trong Hive metastore được lưu trữ trong một hệ quản trị cơ sở dữ liệu mã nguồn mở là Apache Derby (MySQL/Postgres/MariaDB cũng có thể được sử dụng).
Hive metastore có thể có nhiều schema (cơ sở dữ liệu), và mỗi schema (cơ sở dữ liệu) có thể chứa nhiều siêu dữ liệu bảng Hive.
Bảng Hive
Loại bảng Hive
Hive hỗ trợ hai loại bảng: Bảng Quản lý (Bảng Nội bộ) & Bảng Ngoại bộ
Bảng Quản lý (Bảng Nội bộ)
Bảng Quản lý: còn được gọi là bảng nội bộ, các bảng này quản lý cả dữ liệu và siêu dữ liệu trong thư mục kho lưu trữ mặc định của Hive (được chỉ định bởi hive.metastore.warehouse.dir).
Bảng Ngoại bộ
Bảng Ngoại bộ: các bảng này tham chiếu đến các tệp dữ liệu được lưu trữ bên ngoài Hive, thường là trong HDFS hoặc S3.
Vì các tệp dữ liệu không được quản lý bởi Hive, nên việc thay đổi hoặc xóa một bảng Hive ngoại bộ không xóa dữ liệu ở dạng dưới lying. Bạn có thể cần xóa dữ liệu từ vị trí HDSF hoặc S3 phía dưới.
Cách Tạo Bảng Hive
Bước 1: Tạo SparkSession với cấu hình Hive
pythonSao chép mãspark = SparkSession.builder \
.appName("Hive Table Example") \
.config("spark.sql.warehouse.dir", "/user/hive/warehouse") \
.enableHiveSupport() \
.getOrCreate()
Bước 2: Có hai phương pháp để tạo bảng Hive
Phương pháp 1: Tạo bảng Hive bằng cách sử dụng API DataFrame với write.saveAsTable
pythonSao chép mã# Bảng Quản lý (Bảng Nội bộ)
df.write \
.mode("overwrite") \
.option("database", "your_database_name") \
.partitionBy("partition_col1", "partition_col2") \
.saveAsTable("hive_table_name")
# Bảng Ngoại bộ
df.write \
.mode("overwrite") \
.option("database", "your_database_name") \
.option("path", "s3a://your_bucket_name/your_folder_path/your_external_table_name") \
.partitionBy("partition_col1", "partition_col2") \
.format("parquet") \
.saveAsTable("hive_table_name")
Phương pháp 2: Tạo Bảng Hive bằng cách sử dụng Truy vấn SQL với spark.sql
pythonSao chép mã# Bảng Quản lý (Bảng Nội bộ)
spark.sql("""
CREATE TABLE IF NOT EXISTS your_database_name.your_managed_table_name (
id INT, name STRING, age INT
)
PARTITIONED BY (country STRING, city STRING)
USING PARQUET
""")
# Bảng Ngoại bộ
spark.sql("""
CREATE TABLE IF NOT EXISTS your_database_name.your_external_table_name (
id INT, name STRING, age INT
)
PARTITIONED BY (country STRING, city STRING)
STORED AS PARQUET
LOCATION 'hdfs://your_hdfs_path/your_external_table_name/'
""")
Cách chèn dữ liệu vào Bảng Hive
Phương pháp 1: Ghi trực tiếp thông qua write.saveAsTable vào Bảng Hive
pythonSao chép mãdf.write \
.mode("overwrite") \
.partitionBy("partition_col1", "partition_col2") \
.format("parquet") \
.saveAsTable("your_database_name.your_hive_table_name")
Phương pháp 2: Ghi vào vị trí lưu trữ dưới lying & cập nhật lại siêu dữ liệu Hive
pythonSao chép mãtable_path = "s3a://your_bucket_name/your_folder_path/your_hive_table_name"
df.write \
.mode("overwrite") \
.partitionBy("partition_col1", "partition_col2") \
.parquet(table_path)
spark.sql("REFRESH TABLE your_database_name.your_hive_table_name")
spark.sql("MSCK REPAIR your_database_name.your_hive_table_name")
Cách Xem Chi Tiết Bảng Hive
Lấy thông tin chi tiết về bảng
pythonSao chép mãtable_metadata = spark.sql("DESCRIBE FORMATTED db.table_name")
table_metadata.show(truncate=False)
Lấy thông tin về phân vùng của bảng
pythonSao chép mãpartitions = spark.sql("SHOW PARTITIONS db.table_name")
partitions.show(truncate=False)
Đây là một cách sơ bộ để làm việc với Hive trong Spark. Có nhiều khía cạnh và tính năng hơn mà bạn có thể khám phá!
Bạn cần truy cập đúng trang chủ xn88 win , sau đó điền đủ các thông tin cần thiết. Hãy đảm bảo thông tin này được nhập chính xác đầy đủ, vì đây sẽ là những thông tin quan trọng để bạn có thể đăng nhập và thực hiện giao dịch sau này. TONY03-27O
Thank you for your sharing. I am worried that I lack creative ideas. It is your article that makes me full of hope. Thank you. But, I have a question, can you help me?
https://mypsyhealth.ru/%D0%bf%D1%81%D0%b8%D1%85%D0%be%D1%82%D0%b5%D1%80%D0%b0%D0%bf%D0%b8%D1%8f/2021/12/14/sociofobia
заказать еду с доставкой Мы постоянно обновляем наше меню, добавляя новые позиции и сезонные предложения. Попробуйте наши фирменные блюда, которые уже успели полюбиться многим нашим клиентам.
I don’t think the title of your article matches the content lol. Just kidding, mainly because I had some doubts after reading the article. https://accounts.binance.info/register-person?ref=IXBIAFVY
Автозапчасти Украина Такой подход исключает ошибки при покупке и экономит ваше время и средства, обеспечивая 100% уверенность в правильности выбора.
Установить кондиционер Уфа Мы предлагаем лучшие цены и выгодные условия покупки, делая климат-контроль доступным для каждого. Ищете, где купить кондиционер Уфа? Наша компания – ваш надежный поставщик климатической техники. У нас вы найдете всё: от компактных оконных моделей до мощных мульти-сплит систем.
Hello advocates of healthier breathing spaces !
Investing in the best home air purifier for allergies may improve your overall well-being and mood. <a href="https://best-air-purifiers-for-allergies.vercel.app/" rel="best air purifier for pollen allergies. Cleaner air can lead to better sleep, increased focus, and reduced stress levels. The right purifier not only addresses allergy symptoms but also contributes to a healthier lifestyle.
Keep in mind the maintenance required when selecting the best home air purifier for allergies. Regular filter changes and cleaning are necessary to keep the purifier functioning optimally. Choosing a model with easy maintenance features can save you time and ensure you continuously benefit from cleaner air.
Rethink Your Air Setup: Best Air Purifiers for Allergies – п»їhttps://best-air-purifiers-for-allergies.vercel.app/
May you enjoy incredible pollen-free air discoveries !
глэмпинг с едой подмосковье база отдыха лес подмосковье
подбор по вин коду Украина Мы предлагаем полный спектр моторных, трансмиссионных, гидравлических и специализированных масел от ведущих мировых производителей, гарантируя их подлинность и соответствие всем требованиям.
Тумба под телевизор Тумба под телевизор – это не просто подставка для вашей аппаратуры, а ключевой компонент оформления, способный задать общий стиль гостиной. Она бывает изготовлена из разнообразных материалов, таких как древесина, стекло или металл, и включает множество отсеков для медиа-устройств, пультов и прочих принадлежностей. Крайне важно подобрать гармонирующую с размерами экрана и общим дизайном комнаты модель. Пуфы, будучи универсальными и компактными предметами обстановки, могут выполнять функции сидения, подставки для ног или даже вспомогательного столика. Они придают уют и практичность любому помещению – будь то зал, спальня или детская. Многообразие форм, расцветок и обивочных тканей позволяет найти пуф, который безупречно впишется в ваш интерьер. Журнальные столики – незаменимые спутники в гостиной, предоставляющие удобную поверхность для напитков, снеков, книг и декора. Они выпускаются в широком спектре стилей, от сдержанных до изысканных, и изготавливаются из стекла, дерева, металла или натурального камня. Выбор журнального столика определяется вашими нуждами и общим дизайном помещения. Кухонные стулья – это не только практичный элемент, но и значимая деталь, формирующая атмосферу обеденной зоны. Они должны обеспечивать комфорт при длительном использовании и сочетаться с кухонным гарнитуром и столом. Доступны стулья из дерева, металла, пластика, а также модели с мягкой обивкой, что позволяет подобрать оптимальное решение для любого стиля и бюджета. Садовая мебель представляет собой способ преобразить сад, террасу или балкон в комфортное место для отдыха и общения на свежем воздухе. Она изготавливается из погодоустойчивых материалов, вроде ротанга, дерева, металла или пластика, и включает в себя широкий ассортимент – от стильных обеденных комплектов до удобных шезлонгов. Грамотно подобранная садовая мебель сделает ваше пребывание на природе максимально приятным и комфортным. Современная тумба под телевизор – это не только место для вашей техники, но и важный элемент дизайна, определяющий образ гостиной. Изготавливаемая из дерева, стекла или металла, она предлагает разнообразные решения для хранения медиа-устройств, пультов и аксессуаров. При выборе тумбы следует учитывать габариты телевизора и общий стиль помещения. Пуфы – это многофункциональная и миниатюрная мебель, которая может служить сиденьем, опорой для ног или журнальным столиком. Они обогащают любое пространство уютом и практичностью, будь то гостиная, спальня или детская. Большой выбор форм, оттенков и обивок позволяет подобрать пуф, идеально соответствующий вашему интерьеру. Журнальные столики – неотъемлемая часть гостиной, удобная площадка для напитков, легких закусок, книг и декоративных предметов. Существуют столики в разнообразных стилях, от минималистичных до роскошных, изготовленные из стекла, древесины, металла или камня. Выбор зависит от ваших предпочтений и общего оформления комнаты. Кухонные стулья – это не просто предметы мебели, а важная деталь, влияющая на атмосферу обеденной зоны. Они должны быть комфортными и гармонировать с кухонным гарнитуром и столом. Предлагаются стулья из дерева, металла, пластика, а также с текстильной или кожаной обивкой, удовлетворяющие различные стили и бюджеты. Садовая мебель позволяет создать на вашем участке, террасе или балконе зону для релаксации и досуга под открытым небом. Используются износостойкие материалы, такие как искусственный ротанг, дерево, металл или пластик, а ассортимент варьируется от элегантных обеденных групп до комфортных лежаков. Правильно подобранная садовая мебель сделает ваш отдых на природе максимально приятным.
домашний интернет в москве провайдеры возможность подключения домашнего интернета
ко ланта ко ланта
Thank you for your sharing. I am worried that I lack creative ideas. It is your article that makes me full of hope. Thank you. But, I have a question, can you help me? https://accounts.binance.com/register-person?ref=QCGZMHR6
ProDentim is a modern oral-health supplement formulated with specialized probiotics and naturally sourced ingredients to help maintain firm teeth
I am not sure where you are getting your information, but good topic. I needs to spend some time learning more or understanding more. Thanks for great info I was looking for this information for my mission.
AquaSculpt is a high-quality metabolic support supplement created to help the body utilize fat more efficiently while maintaining steady
Backbiome is an advanced daily wellness supplement formulated to help support spinal comfort, reduce feelings of built-up tension, and promote freer, smoother movement throughout everyday life.
PurDentix is a revolutionary oral health supplement designed to support strong teeth and healthy gums. It tackles a wide range of dental concerns, including gum inflammation and tooth decay
Boostaro is a modern mens wellness formula created to support daily vitality, stamina, and confidence through a practical, natural routine.
GL Pro is a natural dietary supplement formulated to help maintain steady, healthy blood sugar levels while easing persistent sugar cravings.
NerveCalm is a high-quality nutritional supplement crafted to promote nerve wellness, ease chronic discomfort, and boost everyday vitality.
Альтушка
Новости Журналисты Важные полезные данные информация ЧИТАЙТЕ СУПЕР ИНТЕРЕСНЫЕ ПОЛИТИЧЕСКИЕ ПОЛЕЗНЫЕ НОВОСТИ: , В ЭТИХ НОВОСТЯХ ОЧЕНЬ ВАЖНЕЙШАЯ ПОЛЕЗНАЯ ИНФОРМАЦИЯ.
Slot tại 888SLOT hỗ trợ cả chế độ chân dung và phong cảnh – bạn có thể xoay ngang điện thoại để xem toàn cảnh game, tăng tính tương tác và cảm giác nhập vai. TONY04-08
ProDentim is a distinctive oral-care formula that pairs targeted probiotics with plant-based ingredients to encourage strong teeth, comfortable gums, and reliably fresh breath.
Альтушка
sportaza lizenz sportaza erfahrungen
флексографическая печать на зип лок пакете с бегунком Для оптовых покупателей предложение “купить зип-лок пакеты оптом с бегунком” является привлекательным с точки зрения экономической выгоды. Производители предлагают решения для любых нужд, включая изготовление пакетов нестандартных размеров с бегунком, а также возможность нанесения флексографической печати или шелкографии на зип-лок пакеты, что позволяет создавать уникальный дизайн.
GL Pro is a natural dietary supplement formulated to help maintain steady, healthy blood sugar levels while easing persistent sugar cravings.
Backbiome is an advanced daily wellness supplement formulated to help support spinal comfort, reduce feelings of built-up tension, and promote freer, smoother movement throughout everyday life.
девушки Луганск ТГ Откройте для себя новый уровень онлайн-общения. Наши возможности простираются на всю территорию ЛНР, предлагая аналогичные сервисы для поиска.
mafia kasino slotmafia no deposit bonus
купить мужскую дорожную сумку В наши дни приверженность к дорогостоящим маркам сохраняется среди тех, кто ценит безупречное качество, оригинальный дизайн и проработанные мелочи. Особым спросом пользуются комплекты, позволяющие создать завершенный ансамбль: начиная с верхней одежды и обуви, и заканчивая сумками, очками и прочими дополнениями. Такой метод способствует отбору предметов, которые выглядят современно и надолго сохраняют свою релевантность в гардеробе.
виола фото Для земель, расположенных в пределах Санкт-Петербурга и Ленинградской области, решающее значение имеют корректно подобранные виды растений, профессионально выполненные посадочные работы и тщательно продуманный план по организации пространства. Принимая во внимание природно-климатические условия региона, необходимо заблаговременно анализировать характеристики участка, включая системы дренажа, уровень инсоляции, потребности в поливе и специфику сезонного ухода, дабы обеспечить поддержание привлекательного вида, здоровья растений и общего ухоженного состояния территории на протяжении всего года.
корреспондентский счет и расчетный счет Сегодня развитие продаж в e-commerce связано не только с выбором площадки, но и с умением управлять ассортиментом, рекламой, поставками, возвратами и экономикой товара. Именно поэтому особенно востребованы материалы и сервисы, которые помогают продавцам принимать более точные решения и выстраивать устойчивую модель роста.
гинеколог маммолог Актуальными предложениями в Самаре на сегодняшний день являются медицинские учреждения, позволяющие выбрать подходящего доктора, осуществить диагностические мероприятия и получить всестороннюю помощь. Для клиентов принципиально, чтобы процесс получения медицинских услуг был максимально комфортным, а консультация, обследование и последующие врачебные наставления воспринимались ясно и логично.
кресло бюрократ руководителя черный Хорошо продуманная мебель помогает сделать интерьер не только красивым, но и действительно удобным для жизни. При разработке проекта важно учитывать размеры помещения, стиль интерьера, сценарии использования и требования к хранению. Именно поэтому многие выбирают решения, которые можно адаптировать под свои задачи и получить результат, максимально подходящий под конкретное пространство.