DATANOMIX.PRO // VELODB ОРТАЛЫҚ АЗИЯДАҒЫ ЭКСКЛЮЗИВТІ СЕРІКТЕС

VeloDB: UNIFIED DATA LAKEHOUSE

Біртұтас OLAP + Vector + Full-Text Search архитектурасы. ClickHouse + Elasticsearch + Spark + Trino орнына. MySQL протоколымен үйлесімді.

./демо_сұрау --full-access cat бенчмарктар.log

SYSTEM_ARCH_PREVIEW v3.0.3

> Loading VeloDB Core Engine...

> Init Vector Search (HNSW/IVPQ)

> Init Full-Text BM25 Index

> Star-Schema Join Mapping

> SUCCESS: UNIFIED ENGINE READY

-- Hybrid Search: 4 қозғалтқыш бір сұрауда
SELECT doc_id, title,
  1.0/(60 + v.rank) + 1.0/(60 + b.rank) AS rrf
FROM vector_search('quarterly report risk', top=50) v
JOIN bm25_search('KYC AML SOFR №2864', top=50) b
  USING (doc_id)
WHERE user_timezone = '__TZ__'
  AND user_lang = '__LANG__'
ORDER BY rrf DESC LIMIT 10;

> Іске қосуға дайын. EXECUTE_QUERY батырмасын басыңыз

Бірнеше жүйені біреуге біріктіру және деректер қайталануын жою арқылы үнемдеу

TCO төмендету

40-70%

Бір қозғалтқыш ClickHouse + Elasticsearch + Spark + Vector DB + Trino орнын басады

Жүйені ауыстырады

1 → 5

TPC-DS — 99 күрделі SQL сұраудан тұратын стандартты enterprise-бенчмарк. VeloDB барлық 99-ын орындайды

TPC-DS сұраулар

99/99

Apache Doris / VeloDB — ByteDance, Tencent, PSBC, UnionPay және мыңдаған басқа компанияларда

Enterprise production-да

4000+

ҚАЗІРГІ ШЕШІМДЕР МӘСЕЛЕЛЕРІ

// analysis_bottlenecks.log

Технология зоопаркі

pest_control

Аналитикаға ClickHouse, логтарға Elasticsearch, ETL-ге Spark, ML-ге бөлек жүйе. Деректер қайталануы, сынғыш конвейерлер, жоғары иелік құны.

Құны & Lock-in

money_off

Oracle Exadata мен Vertica ядро үшін үлкен лицензиялық төлемдерді талап етеді. Жабық код икемділікті шектейді.

> VeloDB лицензия құнын Oracle/Vertica-мен салыстырғанда 40-70%-ға азайтады

ПЛАТФОРМАНЫҢ НЕГІЗГІ АРТЫҚШЫЛЫҚТАРЫ

savings

Үнемді

Ядро бойынша ашық лицензиялау моделі. Oracle Exadata, Vertica және Snowflake-пен салыстырғанда айтарлықтай үнемдеу.

support_agent

24/7 Enterprise қолдау

Маңызды сұрауларға 30 минутта жауап. Architecture Optimization, Performance Tuning, Solution Consulting.

merge_type

Apache Doris үйлесімді

Apache Doris-пен 100% кері үйлесімділік. Бар құралдар мен көшірулерді өзгертусіз пайдаланыңыз.

layers

Біртұтас архитектура

OLAP + Векторлық іздеу (HNSW/IVPQ) + Full-Text Search (BM25) + Lakehouse бір қозғалтқышта.

VELODB ҚАНДАЙ МІНДЕТТЕРГЕ ҚОЛДАНЫЛАДЫ

speed

Петабайт деректеріндегі 100 мс-тен аз кідіріспен интерактивті OLAP-аналитика және BI-дашбордтар

BM25 инверттелген индексімен толық мәтінді іздеу және лог-аналитика — Elasticsearch ауыстыру

neurology

AI/RAG үшін векторлық іздеу: нативті HNSW/IVPQ индекстер, гибридті іздеу (vector + text + SQL)

hub

Data Lake-ке бірыңғай кіру нүктесі: Iceberg, Hudi, Delta Lake федеративті сұраулар

bolt

Нақты уақытта деректер жүктеу: MySQL/PostgreSQL-ден CDC, Kafka ағындары ~1 секунд кідіріспен

database

4-5 жүйені біреуге біріктіру: OLAP + іздеу + ML-мүмкіндіктер + Lakehouse бір қозғалтқышта

Open Data Lakehouse архитектурасы

Пакеттік және ағындық өңдеуге арналған біртұтас шешім

ЕСЕПТЕУ

Batch Processing Engine

(Spark, Flink)

Real-Time Analytics Engine

(VeloDB / Apache Doris)

ҚОЙМА

Data Lake

(Iceberg, Hudi, Delta Lake)

Catalog

(Polaris, Unity, Glue)

Real-Time Analytics Engine

VeloDB — нақты уақыттағы аналитика қозғалтқышы. Интерактивті аналитика, жеңіл ETL жүктемелер, гибридті іздеу.

Batch Processing Engine

Ұзақ ETL процестері мен ML есептеулер үшін Spark тәрізді қозғалтқыштар.

Open Lakehouse Storage

Iceberg, Hudi және Polaris / Unity каталогтары негізіндегі ашық қойма.

БЕНЧМАРК НӘТИЖЕЛЕРІ

// benchmark_results.log

CoffeeBench (Real-World)

vs ClickHouse

8× жылдамырақ

vs ClickHouse (құны) 8× арзанырақ

vs Snowflake 5× жылдамырақ

vs Snowflake (құны) 14× арзанырақ

TPC-H (100GB)

vs ClickHouse 3× жылдамырақ

vs ClickHouse (құны) 2.7× арзанырақ

vs Snowflake 6× жылдамырақ

vs Snowflake (құны) 5× арзанырақ

КЛИЕНТТЕР КЕЙСТЕРІ

> Бүкіл әлемде 4000+ enterprise-клиент

ByteDance

Tencent

ZTO Express

Netease

Postal Savings Bank of China

Қаржы / 650M+ клиент / Антифрод

Жазу vs ClickHouse 6×

Ad-hoc сұраулар < 2с 80%

Apache Doris негізіндегі антифрод-платформа. ClickHouse, Greenplum, Cassandra, Kylin салыстыру (5 раунд, 89 тест) — Doris таңдалды.

China UnionPay

Финтех / Ең ірі төлем жүйесі

Сұрауларды жылдамдату 100×

Импорт жылдамдығы 5×

Oracle OLAP ауыстыру. Транзакцияларды өңдеу және нақты уақыт аналитикасы.

Ping An Insurance

Сақтандыру / Fortune 500

Сұрау жылдамдығы 5-10×

Әзірлеу циклі 14×

Аналитика үшін Oracle ауыстыру. Жаңа есеп әзірлеу циклін 2 аптадан 1 күнге дейін қысқарту.

Hang Yin Bank

Қаржы / Банктік мониторинг

Алерттер 10×

Деректер инжест 10M/min

Транзакция мониторингі үшін Vertica ауыстыру. Минуттардың орнына секундтарда алерттер.

САЛАЛАР

account_balance

Қаржы & Банктер

Compliance-есеп, фрод-детекция, нақты уақыт транзакция аналитикасы

> Oracle / Vertica ауыстыру

shopping_cart

Бөлшек сауда & E-commerce

Ұсыныстар, A/B-тестілеу, сатып алушы мінез-құлық аналитикасы

> ClickHouse + Elasticsearch ауыстыру

cell_tower

Телеком & IoT

CDR-аналитика, желі мониторингі, IoT деректер ағындары

> Vertica / Teradata ауыстыру

ОРНАТУ МОДЕЛЬДЕРІ

lock

BYOC (Bring Your Own Cloud)

Сіздің бұлтыңызда орнату. Деректер сіздің бақылауыңызда.

domain

On-Premise / Air-Gapped

Толық оқшауланған орнату. Ақпараттық қауіпсіздік талаптары бар ұйымдар үшін.

ЖИІ ҚОЙЫЛАТЫН СҰРАҚТАР

Data Lakehouse дегеніміз не және ол Data Warehouse-тан неімен ерекшеленеді?

Data Lakehouse Data Lake (арзан сақтау, ашық форматтар) мен Data Warehouse (ACID-транзакциялар, SQL-аналитика) артықшылықтарын біріктіреді. VeloDB бұл архитектураны Apache Doris негізінде жүзеге асырады — деректерді қайталаусыз OLAP, іздеу және AI үшін бір қозғалтқыш. Классикалық DWH-тан айырмашылығы, Lakehouse ашық форматтармен (Iceberg, Hudi, Delta Lake) жұмыс істейді.

VeloDB Oracle Exadata мен Vertica-ны қалай ауыстырады?

VeloDB TCO-ны 40-70%-ға төмендетіп, enterprise деңгейінде аналитиканы қамтамасыз етеді. China UnionPay Oracle OLAP-ты ауыстырып, сұрауларды 100 есе жылдамдатты. PSBC антифрод-платформа үшін ClickHouse мен Greenplum орнына Doris-ті таңдады (650M клиент). VeloDB MySQL протоколын қолдайды. 30 минуттық жауап беру уақытымен 24/7 enterprise-қолдау.

Қандай орнату модельдері қол жетімді?

Екі модель: BYOC (Bring Your Own Cloud) — 30 күндік тегін сынақ кезеңімен сіздің бұлтыңызда орнату, деректер сіздің бақылауыңызда. On-Premise / Air-Gapped — ақпараттық қауіпсіздік талаптары бар ұйымдар үшін сіздің инфрақұрылымыңызда толық оқшауланған орнату.

VeloDB Apache Doris-пен қаншалықты үйлесімді?

VeloDB Apache Doris-пен 100% кері үйлесімді. VeloDB командасы — Apache Doris негізін қалаушылар: 1 PMC Chair, 9 PMC мүше, 26 коммиттер. Барлық бар құралдар, драйверлер және SQL-сұраулар өзгеріссіз жұмыс істейді. VeloDB enterprise-мүмкіндіктер қосады: жүктемені басқару, кеңейтілген қауіпсіздік және SLA-қолдау.

Деректер қауіпсіздігі қалай қамтамасыз етіледі?

BYOC және On-Premise модельдерінде деректер сіздің инфрақұрылымыңыздан ешқашан шықпайды. VeloDB RBAC, at-rest және in-transit деректерді шифрлау, аудит-логтау және LDAP/Kerberos интеграциясын қолдайды. Реттелетін салалар (банктер, мемлекеттік сектор) үшін интернетке қосылусыз Air-Gapped режимі қол жетімді.

Бәсекелестермен салыстырғанда бенчмарк нәтижелері қандай?

CoffeeBench бенчмаркінде (нақты жүктемелер): VeloDB ClickHouse-тан 8 есе жылдам және 8 есе арзан, Snowflake-тен 5 есе жылдам және 14 есе арзан. TPC-H (100GB): ClickHouse-тан 3 есе жылдам, Snowflake-тен 6 есе жылдам. VeloDB TPC-DS стандартты enterprise-бенчмаркінің барлық 99 сұрауын орындайды.

Ағымдағы платформадан көшу қанша тұрады?

Datanomix Орталық Азия кәсіпорындары үшін тегін архитектуралық аудит және POC (Proof of Concept) ұсынады. Көшу құны ағымдағы архитектураға және деректер көлеміне байланысты. VeloDB-нің MySQL-үйлесімділігі көшіруді айтарлықтай жеңілдетеді — көптеген SQL-сұраулар өзгеріссіз жұмыс істейді.

VeloDB және Apache Doris-ті production-да кім қолданады?

Бүкіл әлемде 4000+ enterprise-компания: ByteDance, Tencent, Postal Savings Bank of China (антифрод-платформа, 650M клиент), China UnionPay (Oracle OLAP ауыстыру), Ping An Insurance (Fortune 500), ZTO Express, Netease және басқалар. Қаржы секторында — транзакция аналитикасы, антифрод және compliance-есептілік.