統(tǒng)一觀測|借助 Prometheus 監(jiān)控 ClickHouse 數(shù)據(jù)庫

    來源: 博客園2023-08-02 09:19:18
      

    引言

    ClickHouse 作為用于聯(lián)機(jī)分析(OLAP)的列式數(shù)據(jù)庫管理系統(tǒng)(DBMS), 最核心的特點(diǎn)是極致壓縮率和極速查詢性能。同時,ClickHouse 支持 SQL 查詢,在基于大寬表的聚合分析查詢場景下展現(xiàn)出優(yōu)異的性能。因此,獲得了廣泛的應(yīng)用。本文旨在分享阿里云可觀測監(jiān)控 Prometheus 版對開源 ClickHouse 的監(jiān)控實踐。

    一、ClickHouse 簡介

    (一)技術(shù)特點(diǎn)

    • 列式存儲與數(shù)據(jù)壓縮:

    在執(zhí)行數(shù)據(jù)查詢時,列式存儲可以減少數(shù)據(jù)掃描范圍和數(shù)據(jù)傳輸大小,提高數(shù)據(jù)查詢的效率。

    • 完備的 DBMS 功能
      • DDL (數(shù)據(jù)定義語言):可以動態(tài)地創(chuàng)建、修改或刪除數(shù)據(jù)庫、表和視圖,而無須重啟服務(wù);
      • DML(數(shù)據(jù)操作語言):可以動態(tài)查詢、插入、修改或刪除數(shù)據(jù)。
    • 權(quán)限控制:

    可按照用戶粒度設(shè)置數(shù)據(jù)庫或表的操作權(quán)限,保障數(shù)據(jù)安全性。


    (資料圖)

    • 數(shù)據(jù)備份與恢復(fù)

    提供數(shù)據(jù)備份導(dǎo)出與導(dǎo)入恢復(fù)機(jī)制,滿足生產(chǎn)環(huán)境要求。

    • 分布式管理

    提供集群模式,自動管理多個數(shù)據(jù)庫節(jié)點(diǎn)。

    (二)ClickHouse 典型適用場景

    • 復(fù)雜查詢聚合的 OLAP 場景;
    • 需要支持穩(wěn)定大量數(shù)據(jù)寫入;
    • 不需要高頻查詢;
    • 不需要高級 DBMS 功能,如事務(wù)性;不需要經(jīng)常很復(fù)雜的表間操作,比如 join 操作。

    (三)ClickHouse 核心概念

    • ClickHouse 集群(Cluster)

    在物理構(gòu)成上,ClickHouse 集群是由多個 ClickHouse Server 實例組成的分布式數(shù)據(jù)庫。這些 ClickHouse Server 根據(jù)規(guī)格的不同可以包含 1 個或多個副本(Replica)、1 個或多個分片(Shard)。在邏輯構(gòu)成上,一個ClickHouse 集群可以包含多個數(shù)據(jù)庫(Database)對象。

    • 分片(Shard)

    在超大規(guī)模海量數(shù)據(jù)處理場景下,單臺服務(wù)器的存儲、計算資源會成為瓶頸。為了進(jìn)一步提高效率,ClickHouse 將海量數(shù)據(jù)分散存儲到多臺服務(wù)器上,每臺服務(wù)器只存儲和處理海量數(shù)據(jù)的一部分,在這種架構(gòu)下,每臺服務(wù)器被稱為一個分片(Shard)。

    • 副本(Replica)

    為了在異常情況下保證數(shù)據(jù)的安全性和服務(wù)的高可用性,ClickHouse 提供副本機(jī)制,將單臺服務(wù)器的數(shù)據(jù)冗余存儲在2臺或多臺服務(wù)器上。

    • 數(shù)據(jù)庫(Database)

    數(shù)據(jù)庫是云數(shù)據(jù)庫 ClickHouse 集群中的最高級別對象,內(nèi)部包含表(Table)、列(Column)、視圖(View)、函數(shù)、數(shù)據(jù)類型等。

    • 表(Table)

    表是數(shù)據(jù)的組織形式,由多行、多列構(gòu)成。

    二、ClickHouse Metrics 監(jiān)控參考模型

    我們從 Metrics 采集、監(jiān)控大盤、告警規(guī)則等三個方面定義 ClickHouse Metrics 監(jiān)控的參考模型,以便實現(xiàn)監(jiān)控閉環(huán)。

    (一)Metrics 采集

    • 主機(jī)節(jié)點(diǎn)監(jiān)控即硬件資源(Node-Exporter)
      • 處理器、內(nèi)存負(fù)載;
      • 磁盤存儲;
    • ClickHouse 服務(wù)指標(biāo)監(jiān)控(集成進(jìn) ClickHouse-Exporter)
      • 系統(tǒng)指標(biāo)(metrics): system.metrics 表用于統(tǒng)計 ClickHouse 服務(wù)在運(yùn)行時,當(dāng)前正在執(zhí)行的高層次的概要信息,包括了正在執(zhí)行的查詢總次數(shù)、正在發(fā)生的合并操作總次數(shù)等。具體指標(biāo)通過執(zhí)行select * from system.metrics
      • 系統(tǒng)事件(events):system.events 用于統(tǒng)計 ClickHouse 服務(wù)在運(yùn)行過程中已經(jīng)執(zhí)行過的高層次的 累積概要信息,包括查詢總次數(shù)、 SELECT 查詢總次數(shù)等,具體指標(biāo)通過執(zhí)行查詢select * from system.events--> 64個指標(biāo);
      • 系統(tǒng)異步指標(biāo)(asynchronous_ metrics):asynchronous_metrics 用于統(tǒng)計 ClickHouse 服務(wù)運(yùn)行過程時,當(dāng)前正在后臺 異步運(yùn)行的高層次的概要信息,包括當(dāng)前分配的內(nèi)存、執(zhí)行隊列中的任務(wù)數(shù)量等。 具體指標(biāo)通過執(zhí)行查詢select * from system.asynchronous_metrics--> 500個指標(biāo);
      • 查詢?nèi)罩荆翰樵內(nèi)罩灸壳爸饕?種類型,所有查詢?nèi)罩驹谀J(rèn)配置下都是關(guān)閉狀態(tài),需要在 config.xml文件配置,開啟日志后可以到對應(yīng)的日志表進(jìn)行日志查詢system.query_log

    (1)主機(jī)節(jié)點(diǎn)監(jiān)控

    該部分指標(biāo)主要來源于 Node-Exporter , 提供集群/ ECS 節(jié)點(diǎn) CPU、內(nèi)存、磁盤、inode 等監(jiān)控指標(biāo)。

    (2)ClikcHouse 服務(wù)指標(biāo)

    ClikckHouse 內(nèi)置 Metrics、events 和 asynchronous_metrics 三張系統(tǒng)表用于存放其監(jiān)控指標(biāo),通過預(yù)先安裝 clickhouse-exporter 將這三張系統(tǒng)表中的數(shù)據(jù)轉(zhuǎn)化、發(fā)送給阿里云可觀測監(jiān)控 Prometheus 版。

    ??注意: 以上列出的為關(guān)鍵指標(biāo),更多詳細(xì)指標(biāo)詳見: 應(yīng)用實時監(jiān)控服務(wù)ARMS控制臺-Prometheus監(jiān)控-Prometheus實例列表-選擇實例-集成中心-ClickHouse

    (二)ClickHouse 監(jiān)控大盤

    我們默認(rèn)提供了arms-clickhouse-ecsarms-clickhouse-k8s兩個大盤,分別針對 ClickHouse 安裝在ACK 集群/ ECS 中兩個場景,這兩個大盤中圖標(biāo)均來自于上述 Metrics 指標(biāo)。

    ??注意: 主機(jī)節(jié)點(diǎn)監(jiān)控需提前安裝 Node-Exporter,以下大盤圖示數(shù)值僅為展示作用,不具備參考價值,實際數(shù)值依 ClickHouse 環(huán)境而定

    (1)主機(jī)節(jié)點(diǎn)指標(biāo)

    (2)ClickHouse Server指標(biāo)

    (3)MergeTree 指標(biāo)

    (4)消息隊列指標(biāo)

    (三)告警規(guī)則

    參考前面對各項主要指標(biāo)介紹,針對 ClickHouse 可以重點(diǎn)配置以下告警項,這些告警項已內(nèi)置到arms-clickhouse告警規(guī)則中,可依據(jù)自身業(yè)務(wù)情況及經(jīng)驗調(diào)整告警閾值:

    • 【L0】CPU 超過 90%
    • 【L0】Mem 超過 90%
    • 【L0】Disk 超過 90%
    • 【L0】Inode 使用率超過 90%
    • 【L0】寫入失敗率超過 5%
    • 【L1】運(yùn)行 Query 個數(shù)超過 95
    • 【L1】連接數(shù)超過 4k
    • 【L1】失敗 Query 個數(shù)超過 10

    (四)相關(guān)實踐示例

    (1)CPU 過高

    • 確認(rèn) CPU 占用過高是由 ClickHouse 引起的。可以通過 top 命令top -H -p xxx查看系統(tǒng)的 CPU 占用率,找出占用 CPU 比較高的進(jìn)程。如果發(fā)現(xiàn) ClickHouse 進(jìn)程占用了大量 CPU 資源,那么就需要進(jìn)一步排查。
    • 使用 ClickHouse 內(nèi)置查詢來查看系統(tǒng)的狀態(tài)。可以使用以下查詢:
    SHOW PROCESSLIST query WHERE query NOT LIKE "%SYSTEM%" ORDER BY elapsed DESC LIMIT 10

    這個查詢可以列出最耗時的查詢,找到可能引起 CPU 占用過高的查詢語句。

    • 檢查 ClickHouse 配置。一些配置參數(shù)可能導(dǎo)致 ClickHouse 占用大量 CPU 資源。可以查看 ClickHouse 配置文件,確認(rèn)配置是否合理,是否需要調(diào)整。
    • 檢查 ClickHouse 日志。ClickHouse 日志中可能包含錯誤信息或警告信息,可以幫助找出問題所在。
    • 檢查硬件資源是否充足。如果系統(tǒng) CPU、內(nèi)存等硬件資源不足,那么 ClickHouse 可能會出現(xiàn) CPU 占用過高的情況。可以檢查系統(tǒng)的硬件資源使用情況,確認(rèn)是否需要升級硬件。
    • 升級 ClickHouse 版本。如果是 ClickHouse 版本的問題,可以考慮升級到更穩(wěn)定的版本。

    (2)內(nèi)存過高

    • 使用內(nèi)置查詢查看內(nèi)存占用情況。可以使用以下查詢來查看 ClickHouse 系統(tǒng)的內(nèi)存占用情況:
    SELECT * FROM system.metrics WHERE metric LIKE "%memory%";

    這個查詢會列出 ClickHouse 的各個內(nèi)存指標(biāo),包括總內(nèi)存、已用內(nèi)存、緩存內(nèi)存等。可以根據(jù)這些指標(biāo)來判斷內(nèi)存占用是否過高。

    • 檢查 ClickHouse 的配置。一些配置參數(shù)可能會導(dǎo)致 ClickHouse 占用大量的內(nèi)存資源。可以查看 ClickHouse 的配置文件,確認(rèn)配置是否合理,是否需要調(diào)整。
    • 檢查系統(tǒng)的內(nèi)存資源使用情況。如果系統(tǒng)的內(nèi)存資源不足,那么 ClickHouse 可能會出現(xiàn)內(nèi)存占用過高的情況。可以使用命令free -m查看系統(tǒng)的內(nèi)存使用情況。
    • 檢查 ClickHouse 的日志。ClickHouse 的日志中可能包含錯誤信息或警告信息,可以幫助找出問題所在。
    • 升級 ClickHouse 版本。如果是 ClickHouse 版本的問題,可以考慮升級到更穩(wěn)定的版本。
    • 減少查詢語句的數(shù)據(jù)量和計算量。如果查詢語句的數(shù)據(jù)量和計算量過大,那么 ClickHouse 可能會占用大量的內(nèi)存資源。可以考慮優(yōu)化查詢語句,減少數(shù)據(jù)量和計算量。

    (3)Disk 占用過高

    • 使用系統(tǒng)工具查看磁盤占用情況。可以使用命令 df -h來查看系統(tǒng)的磁盤使用情況,查看是否有磁盤空間不足的情況。
    • 檢查 ClickHouse 的配置。一些配置參數(shù)可能會導(dǎo)致 ClickHouse 占用大量的磁盤資源。可以查看 ClickHouse 的配置文件,確認(rèn)配置是否合理,是否需要調(diào)整。
    • 使用 ClickHouse 內(nèi)置的查詢來查看磁盤占用情況。可以使用以下查詢來查看 ClickHouse 的磁盤占用情況:
    SELECT database, table, sum(bytes) AS total_size FROM system.parts WHERE active GROUP BY database, table ORDER BY total_size DESC

    這個查詢會列出 ClickHouse 的各個表的占用磁盤空間情況,可以根據(jù)這個查詢來判斷磁盤占用是否過高。

    • 檢查 ClickHouse 的日志。ClickHouse 的日志中可能包含錯誤信息或警告信息,可以幫助找出問題所在。
    • 清理不必要的數(shù)據(jù)。如果 ClickHouse 中存在不必要的數(shù)據(jù),可以考慮進(jìn)行清理,釋放磁盤空間。

    三、如何使用阿里云可觀測監(jiān)控 Prometheus 版監(jiān)控ClickHouse 服務(wù)

    (一)安裝 Prometheus 監(jiān)控

    (1)前序條件:已根據(jù)安裝ClickHouse 安裝環(huán)境,創(chuàng)建對應(yīng)Prometheus 實例。

    根據(jù) ClickHouse 安裝方式:

    • 如果 ClickHouse 部署在 ACK 中, 并創(chuàng)建了Prometheus for 容器實例,創(chuàng)建請參考Prometheus for 容器服務(wù)
    • 如果 ClickHouse 部署在 ECS 中, 并創(chuàng)建了Prometheus for ECS 實例,創(chuàng)建請參考Prometheus for ECS

    (2)安裝方式一:Prometheus for 容器服務(wù)

    Prometheus for 容器服務(wù)實例中,ClickHouse 已經(jīng)默認(rèn)在集成中心中展示,用戶可以在應(yīng)用實時監(jiān)控服務(wù)ARMS控制臺-Prometheus監(jiān)控-Prometheus實例列表-選擇Prometheus for 容器服務(wù)實例-集成中心中找到入口,點(diǎn)擊 ClickHouse 圖標(biāo),可以看到常見的指標(biāo)列表和大盤縮略圖。點(diǎn)擊+安裝可以接入 ClickHouse 監(jiān)控,配置如下圖:

    • Exporter 名稱: 自定義 Exporter 名稱;
    • ClickHouse Scrape 地址: IP + Port, Exporter 能夠訪問的 ClickHouse 地址 ;
    • ClickHouse 用戶名: 登陸用戶名;
    • ClickHouse 密碼: 登陸密碼;
    • Metrics 采集間隔(秒): 默認(rèn) 30s 采集一次, 一般不需要更改。

    點(diǎn)擊確定后, clickhouse-exporter-填入的名稱的 Exporter 會被安裝到 arms-prom 命名空間下,并自動完成采集 job 的配置。

    可以在應(yīng)用實時監(jiān)控服務(wù)ARMS控制臺-Prometheus監(jiān)控-Prometheus實例列表-選擇Prometheus for 容器服務(wù)實例-集成中心-已安裝-ClikckHouse中快速瀏覽相關(guān)的 Target/指標(biāo)/大盤/告警/服務(wù)發(fā)現(xiàn)/ Exporter 等信息。

    (3)安裝方式二:Prometheus for ECS

    安裝 ClickHouse 相同 VPC 的Prometheus for ECS實例,由于Prometheus for ECS實例中 ClickHouse 的主機(jī)節(jié)點(diǎn)監(jiān)控來自于Node-Exportor,所以先安裝 Node-Exportor。用戶可以在

    應(yīng)用實時監(jiān)控服務(wù)ARMS控制臺-Prometheus監(jiān)控-Prometheus實例列表-選擇Prometheus for ECS實例-集成中心中找到入口,點(diǎn)擊Node-Exporter圖標(biāo),點(diǎn)擊+安裝可以接入 Node-Exporter 監(jiān)控,然后選擇對應(yīng) ECS 實例安裝即可。

    用戶可以在應(yīng)用實時監(jiān)控服務(wù)ARMS控制臺-Prometheus監(jiān)控-Prometheus實例列表-選擇Prometheus for ECS實例-集成中心中找到入口,點(diǎn)擊 ClickHouse 圖標(biāo),點(diǎn)擊+安裝可以接入 ClickHouse 監(jiān)控,配置與上述Prometheus for 容器服務(wù)相同。

    (4)指標(biāo)未采集的排查方法

    ??注意: 下面是Prometheus for 容器實例的排查方法,Prometheus for ECS實例請聯(lián)系Prometheus值班-美娜

    ClickHouse-Exporter 本身的主要工作是指標(biāo)映射,需要填入正確 ClickHouse 抓取 URL及登陸用戶名、密碼。如果出現(xiàn)指標(biāo)采集不到的問題,可以參考如下的排查思路。

    1. 檢查 Prometheus Target 狀態(tài),如果 Target 顯示為Unhealthy狀態(tài),請排查clickhouse-exporterPod 運(yùn)行狀態(tài);如果 Target 狀態(tài)正常,繼續(xù)下一步。
    1. 若 Target 狀態(tài)正常,但抓取指標(biāo)量很少且指標(biāo)全為go_相關(guān)查看clickhouse-exporterPod 日志,確認(rèn)日志中是否有報錯信息。
    1. 查看clickhouse-exporterPod 日志,確定 Exporter 抓取目標(biāo) URL 是否正常。

    (二)查看大盤

    如需要查看 ClickHouse 相關(guān)大盤,可以從應(yīng)用實時監(jiān)控服務(wù)ARMS控制臺-Prometheus監(jiān)控-Prometheus實例列表-實例詳情頁-集成中心-已安裝-ClikckHouse中點(diǎn)選大盤,列出兩類大盤arms-clickhouse-ecsarms-clickhouse-k8s,根據(jù)環(huán)境選擇對應(yīng)的大盤模板。

    以下是arms-clickhouse-k8sVariables 參數(shù)說明:

    • datasource : 數(shù)據(jù)源,選擇對應(yīng)的實例名稱;
    • job: 新建 clickhouse-exporter 對應(yīng) job 名稱,與 clickhouse-exporter 名稱一致,用于展示ClickHouseServer 指標(biāo)、MergeTree 指標(biāo)、消息隊列指標(biāo);
    • namespace: ClickHouse Pod 所在的命名空間,用于主機(jī)節(jié)點(diǎn)指標(biāo)篩選;
    • Pod: 可根據(jù)需要選擇對應(yīng)的 ClickHouse Pod,用于主機(jī)節(jié)點(diǎn)指標(biāo)篩選。

    以下是arms-clickhouse-ecsVariables參數(shù)說明:

    • datasource: 數(shù)據(jù)源,選擇對應(yīng)的實例名稱;
    • job: 新建的 clickhouse-exporter 對應(yīng) job 名稱,與clickhouse-exporter 名稱一致,用于展示ClickHouseServer 指標(biāo)、MergeTree 指標(biāo)、消息隊列指標(biāo);
    • instance: ecs 實例 IP,用于主機(jī)節(jié)點(diǎn)篩選。

    (三)配置告警

    在集成中心安裝 ClickHouse 監(jiān)控時,已經(jīng)默認(rèn)增加了arms-clickhouse告警分組的相關(guān)規(guī)則,但未啟用,您只需要簡單修改參數(shù)并確認(rèn)啟用即可。

    可以從應(yīng)用實時監(jiān)控服務(wù)ARMS控制臺-Prometheus監(jiān)控-Prometheus實例列表-實例詳情頁-集成中心-已安裝-ClikckHouse中選擇告警-創(chuàng)建告警規(guī)則進(jìn)入規(guī)則新增頁面,在其中告警分組選擇arms-clickhouse告警分組并根據(jù)環(huán)境選擇您需要啟用的告警指標(biāo),確認(rèn)參數(shù)閾值并保存,即可完成告警規(guī)則的創(chuàng)建。

    四、自建 Prometheus 與阿里云可觀測監(jiān)控 Prometheus 版監(jiān)控 ClickHouse 優(yōu)劣對比

    Prometheus 作為目前主流可觀測開源項目之一,已被眾多企業(yè)所廣泛應(yīng)用,但還會遇到不少困難與挑戰(zhàn):

    • 每套完整的自建觀測系統(tǒng)都需要安裝并配置 Prometheus、Grafana、AlertManager 等組件,部署過程復(fù)雜、實施周期長,并且每次升級都需要對每個組件進(jìn)行維護(hù);
    • 開源分享的相關(guān)大盤不夠?qū)I(yè),更新速度慢,缺少開箱即用的豐富指標(biāo);
    • 由于安全、組織管理等因素,用戶業(yè)務(wù)通常部署在多個相互隔離的 VPC,需要在多個 VPC 內(nèi)都重復(fù)、獨(dú)立部署 Prometheus,導(dǎo)致部署和運(yùn)維成本高。

    針對以上問題,阿里云可觀測監(jiān)控 Prometheus 版進(jìn)行了以下優(yōu)化:

    結(jié)束語

    阿里云可觀測監(jiān)控 Prometheus 版與阿里云容器服務(wù)無縫集成,提供了開源 ClickHouse 的指標(biāo)采集、用戶大盤、告警規(guī)則等項目的一鍵集成,用戶免運(yùn)維,開箱即用,目前 ClickHouse 指標(biāo)采集功能仍在不斷演進(jìn)中,歡迎大家試用和提出改進(jìn)意見。

    關(guān)鍵詞:

    責(zé)任編輯:sdnew003

    相關(guān)新聞

    版權(quán)與免責(zé)聲明:

    1 本網(wǎng)注明“來源:×××”(非商業(yè)周刊網(wǎng))的作品,均轉(zhuǎn)載自其它媒體,轉(zhuǎn)載目的在于傳遞更多信息,并不代表本網(wǎng)贊同其觀點(diǎn)和對其真實性負(fù)責(zé),本網(wǎng)不承擔(dān)此類稿件侵權(quán)行為的連帶責(zé)任。

    2 在本網(wǎng)的新聞頁面或BBS上進(jìn)行跟帖或發(fā)表言論者,文責(zé)自負(fù)。

    3 相關(guān)信息并未經(jīng)過本網(wǎng)站證實,不對您構(gòu)成任何投資建議,據(jù)此操作,風(fēng)險自擔(dān)。

    4 如涉及作品內(nèi)容、版權(quán)等其它問題,請在30日內(nèi)同本網(wǎng)聯(lián)系。