[Part 4] Mọi thứ về Ảo hóa dữ liệu - Data Virtualization

01/10/2023

Ảo hóa dữ liệu

Nền tảng của công nghệ ảo hóa dữ liệu là việc thực thi các quy trình quản lý dữ liệu phân tán, chủ yếu là cho các truy vấn đối với nhiều nguồn dữ liệu khác nhau. Kết quả các truy vấn này sau đó được tổng hợp lại để tạo ra bản xem ảo (view virtual). Sau đó, các ứng dụng, công cụ truy vấn/báo cáo, phần mềm middleware hướng tin báo (message-oriented middleware) hoặc các phần khác của hạ tầng quản lý dữ liệu sẽ sử dụng các bản xem ảo này.

Thay vì thực hiện việc di chuyển dữ liệu và lưu trữ vật lý các bản xem ảo tích hợp trong một cấu trúc dữ liệu đích, công nghệ ảo hóa dữ liệu có thể được sử dụng để xây dựng các bản xem dữ liệu được ảo hóa và tích hợp trong bộ nhớ. Để làm cho logic truy vấn đơn giản hơn, nó cung cấp một lớp trừu tượng trong quá trình triển khai dữ liệu vật lý thực tế.

Đó là một phương pháp kết hợp dữ liệu từ nhiều nguồn và loại khác nhau thành một biểu diễn logic, toàn diện mà không cần di chuyển dữ liệu về mặt vật lý. Nói một cách đơn giản, về mặt lý thuyết, người dùng có thể truy cập và kiểm tra dữ liệu trong khi nó vẫn tồn tại trong nguồn ban đầu nhờ phần mềm trung gian chuyên dụng.

Khái niệm Data Virtualization - Ảo hóa dữ liệu

Các tính năng của Ảo hóa Dữ liệu

Tăng tốc thời gian ra thị trường từ dữ liệu đến sản phẩm cuối cùng: Đối tượng dữ liệu ảo có thể được tạo ra nhanh chóng hơn đáng kể so với các công cụ ETL hiện có và cơ sở dữ liệu vì chúng bao gồm dữ liệu tích hợp. Khách hàng hiện có thể dễ dàng có được thông tin mà họ cần.
Bảo mật tất cả trong một: Kiến trúc dữ liệu hiện đại cho phép truy cập dữ liệu từ một vị trí duy nhất. Dữ liệu có thể được bảo vệ đến mức hàng và cột nhờ vào lớp ảo cho phép truy cập vào tất cả dữ liệu của tổ chức. Bằng cách sử dụng masquerade dữ liệu, ẩn danh hóa và giấu tên dữ liệu, việc ủy quyền nhiều nhóm người dùng trên cùng một tập dữ liệu ảo là khả thi.
Kết hợp dữ liệu một cách rõ ràng từ các nguồn khác nhau: Lớp dữ liệu ảo làm cho việc tích hợp dữ liệu phân tán từ các Data Warehouse, Big Data Platforms, Data lakes, Cloud Solutions và Machine Learning vào các đối tượng dữ liệu mà người dùng cần trở nên đơn giản.
Tính linh hoạt: Dựa vào Ảo hóa dữ liệu, bạn có thể nhanh chóng phản ứng trước các tiến bộ mới trong nhiều lĩnh vực khác nhau. Điều này nhanh hơn đến mười lần so với các phương pháp ETL và lưu trữ dữ liệu truyền thống. Bằng cách cung cấp các đối tượng dữ liệu ảo tích hợp, Ảo hóa dữ liệu cho phép bạn đáp ứng ngay lập tức các yêu cầu dữ liệu mới. Điều này loại bỏ sự cần thiết sao chép dữ liệu vào các cấp độ dữ liệu khác nhau mà chỉ làm cho nó trở nên truy cập ảo.

Các lớp trong ảo hóa dữ liệu

Sau đây là các lớp làm việc trong kiến trúc ảo hóa dữ liệu.

Lớp kết nối: Với việc sử dụng các trình kết nối và giao thức truyền thông, lớp này chịu trách nhiệm truy cập dữ liệu phân chia trên nhiều hệ thống nguồn chứa khác nhau gồm cả của dữ liệu có tổ chức và của dữ liệu không có cấu trúc. Nền tảng ảo hóa dữ liệu có thể kết nối với nhiều nguồn dữ liệu khác nhau, chẳng hạn như cơ sở dữ liệu SQL và NoSQL và nền tảng dữ liệu như MySQL, Oracle và MongoDB, v.v.
Lớp trừu tượng: Lớp trừu tượng hay còn gọi là “lớp ảo” hoặc “lớp ngữ nghĩa”, đóng vai trò liên kết giữa tất cả các nguồn dữ liệu và tất cả người dùng doanh nghiệp, tạo thành xương sống của toàn bộ hệ thống ảo hóa. Tầng này chỉ chứa các điểm nhìn logic và thông tin cần thiết để truy cập vào các nguồn, bản thân nó không lưu trữ bất kỳ dữ liệu nào. Sự phức tạp của cấu trúc dữ liệu cơ bản bị ẩn khỏi người dùng cuối, những người chỉ nhìn thấy các mô hình dữ liệu sơ đồ nhờ lớp trừu tượng.
Lớp tiêu thụ: Một điểm truy cập duy nhất vào dữ liệu được lưu trữ trong các nguồn cơ bản được cung cấp bởi một tầng khác của kiến trúc ảo hóa dữ liệu. Tùy thuộc vào người tiêu dùng, một số giao thức và trình kết nối được sử dụng để cung cấp các biểu diễn dữ liệu trừu tượng. Họ có thể giao tiếp với lớp ảo bằng SQL và nhiều loại API, chẳng hạn như API REST và SOAP, cũng như các tiêu chuẩn truy cập như JDBC và ODBC. Nhiều người dùng, công cụ và ứng dụng doanh nghiệp đều có thể có quyền truy cập vào phần mềm ảo hóa dữ liệu, bao gồm cả những phần mềm nổi tiếng như Tableau, Cognos và Power BI.

Ứng dụng ảo hóa dữ liệu

Migration: Hãy nghĩ đến tình huống trong khi bạn di chuyển hệ thống CRM sang đám mây từ một hệ thống truyền thống. Hoặc di chuyển dần dần các hệ thống cũ sang đám mây. Bạn có thể thực hiện điều này bằng ảo hóa dữ liệu mà không cần tạm dừng hoạt động hoặc báo cáo về hoạt động.
Sử dụng trong hoạt động: Đối với các trung tâm cuộc gọi hoặc hệ thống hỗ trợ khách hàng, kho chứa dữ liệu là nguồn gốc gây ra sự khốn khổ lớn đã kéo dài trong một thời gian rất dài. Ví dụ, một ngân hàng sẽ chọn một trung tâm liên lạc cho thẻ tín dụng và một trung tâm khác cho các khoản vay mua nhà. Ảo hóa dữ liệu mở rộng các kho lưu dữ liệu cho phép tất cả mọi người, từ trung tâm liên lạc đến người quản lý cơ sở dữ liệu, có thể xem đầy đủ các kho lưu trữ dữ liệu từ một nơi truy cập duy nhất.
Agile BI: Với ảo hóa dữ liệu, bạn có thể sử dụng dữ liệu của mình cho khoa học dữ liệu, API hoặc liên kết hệ thống, được quản lý(quy định) và dịch vụ tự phục vụ BI. Ngoài ra, nó rất hoàn hảo cho BI “linh hoạt”, bao gồm việc phát triển bảng thông tin và báo cáo với tốc độ lặp lại cực nhanh bao gồm thử nghiệm, thí điểm và sản xuất. Bạn có muốn thêm nguồn mới vào luồng BI hiện tại của mình bằng cách kết nối các dịch vụ đám mây SaaS như Salesforce hoặc Google Analytics không? Bạn có thể! Bạn có thể kết hợp tất cả dữ liệu của mình với ảo hóa dữ liệu, ngay cả trong môi trường kết hợp. Ngoài ra, bạn không cần phải lo lắng về sự bảo mật vì nó luôn được tập trung quản lý ở mức cao độ.
Tích hợp dữ liệu: Đây là tình huống rất có thể bạn sẽ gặp phải vì thực tế mọi công ty đều chứa dữ liệu từ nhiều nguồn dữ liệu khác nhau. Việc kết nối nguồn dữ liệu khách hàng cũ/máy chủ lỗi thời với các nền tảng kỹ thuật số hiện đại như phương tiện truyền thông xã hội là cần thiết cho việc đó. Bạn sử dụng danh mục dữ liệu để tìm kiếm dữ liệu của mình sau khi kết nối bằng các phương thức như Java DAO, ODBC, SOAP hoặc các API khác. Bạn sử dụng danh mục dữ liệu để tìm kiếm dữ liệu của mình sau khi kết nối bằng các phương thức như Java DAO, ODBC, SOAP hoặc các API khác.
Truy cập dữ liệu thời gian thực: Truy cập dữ liệu thời gian thực: - Các thỏa thuận SLA của bạn có phải chịu áp lực không và với hệ thống nguồn không hoạt động đầy đủ trong truy cập (sát) với thời gian thực tế đối với những lượng dữ liệu khổng lồ chứ? Ảo hóa dữ liệu cho phép bạn kết hợp dữ liệu thời gian thực từ hệ thống nguồn với dữ liệu lịch sử đã được “tải” sang một nguồn khác. Nếu ban đầu không cần sao chép mọi loại dữ liệu bằng hoạt động ETL, thậm chí những phân tích sát thời gian thực với lượng dữ liệu khổng lồ cũng có thể thực hiện được. Ngoài ra, thật đơn giản để tạo một siêu thị dữ liệu ảo bằng cách kết hợp kho dữ liệu lỗi thời với nguồn dữ liệu mới.

Ưu điểm của ảo hóa dữ liệu

Ảo hóa dữ liệu cho phép truy cập và thao tác theo thời gian thực với dữ liệu nguồn thông qua lớp ảo/lớp logic mà không cần di chuyển dữ liệu đến một vị trí mới. ETL thường không bắt buộc.
So sánh việc triển khai ảo hóa dữ liệu với việc xây dựng một nơi tập trung dữ liệu riêng biệt, thì việc ảo hóa tốn ít kinh phí và nguồn lực hơn.
Không cần phải di dời tài liệu và mức độ truy cập có thể được kiểm soát.
Không cần lo lắng về loại dữ liệu hoặc vị trí lưu trữ dữ liệu, người dùng có thể xây dựng và thực hiện bất kỳ báo cáo và phân tích nào mà họ yêu cầu.
Thông qua một lớp ảo duy nhất, tất cả dữ liệu của công ty đều có thể truy cập được đối với tất cả người tiêu dùng và trường hợp sử dụng.

CMC Cloud - Giải pháp Điện toán đám mây Toàn diện & Linh hoạt nhất. Cho phép tùy biến sử dụng và quản trị 25+ dịch vụ