Canvas chức năng hệ thống IOC

Kho dữ liệu dùng chung

Thu thập, chuẩn hóa, quản lý chất lượng, metadata, bảo mật và vận hành dữ liệu toàn tỉnh.

PHẦN III. HỆ THỐNG KHO DỮ LIỆU DÙNG CHUNG

8. Mục tiêu

Kho dữ liệu dùng chung cung cấp năng lực lưu trữ, tích hợp, chuẩn hóa, quản trị và khai thác dữ liệu có cấu trúc, bán cấu trúc và phi cấu trúc từ nhiều nguồn khác nhau; hình thành nền tảng dữ liệu phục vụ IOC, phân tích dữ liệu, trợ lý ảo, báo cáo và cổng dữ liệu mở.

9. Các nhóm chức năng

9.1. Thu thập và tích hợp dữ liệu

Kết nối dữ liệu qua API, web service, cơ sở dữ liệu, file và message queue.
Thu thập dữ liệu theo lô, theo lịch, gần thời gian thực hoặc thời gian thực.
Hỗ trợ đồng bộ toàn bộ hoặc đồng bộ thay đổi CDC.
Tiếp nhận các định dạng Text, CSV, Excel, XML, JSON, Image, Video và dữ liệu không gian.
Quản lý connector, lịch thu thập và trạng thái kết nối.
Cảnh báo lỗi đồng bộ, thiếu dữ liệu hoặc chậm cập nhật.

9.2. Vùng dữ liệu và phân lớp lưu trữ

Vùng dữ liệu thô để lưu dữ liệu nguyên bản.
Vùng staging để kiểm tra và xử lý trung gian.
Vùng dữ liệu chuẩn hóa và tích hợp.
Vùng dữ liệu chuyên đề/data mart phục vụ từng lĩnh vực.
Vùng dữ liệu công bố phục vụ cổng dữ liệu mở.
Quản lý vòng đời dữ liệu và chính sách lưu trữ.

9.3. Chuẩn hóa và chuyển đổi dữ liệu

Chuẩn hóa tên trường, kiểu dữ liệu, mã dùng chung và đơn vị đo.
Làm sạch dữ liệu trùng lặp, thiếu, sai định dạng hoặc không hợp lệ.
Ánh xạ dữ liệu giữa các hệ thống nguồn.
Hợp nhất dữ liệu theo khóa định danh.
Xây dựng quy trình ETL/ELT bằng cấu hình.
Kiểm tra và ghi nhận kết quả chuyển đổi.

9.4. Quản lý chất lượng dữ liệu

Thiết lập bộ quy tắc kiểm tra chất lượng.
Đo lường mức độ đầy đủ, chính xác, nhất quán, kịp thời và duy nhất.
Cảnh báo dữ liệu không đạt ngưỡng chất lượng.
Quản lý danh sách lỗi và quy trình xử lý.
Theo dõi điểm chất lượng theo nguồn, bộ dữ liệu và thời gian.

9.5. Quản lý metadata và danh mục dữ liệu

Quản lý metadata kỹ thuật và metadata nghiệp vụ.
Xây dựng data catalog cho phép tìm kiếm bộ dữ liệu.
Quản lý định nghĩa chỉ tiêu, trường dữ liệu và thuật ngữ dùng chung.
Quản lý chủ sở hữu dữ liệu, đơn vị quản lý và mức độ phân loại.
Hỗ trợ data lineage để truy vết nguồn gốc và luồng biến đổi dữ liệu.

9.6. Quản lý dữ liệu chủ và dữ liệu tham chiếu

Quản lý danh mục địa bàn, cơ quan, lĩnh vực, đơn vị hành chính và các mã dùng chung.
Đồng bộ dữ liệu chủ từ nguồn có thẩm quyền.
Phát hiện, hợp nhất và xử lý bản ghi trùng lặp.
Quản lý phiên bản và lịch sử thay đổi dữ liệu chủ.

9.7. Khai thác và truy vấn dữ liệu

Cung cấp công cụ truy vấn dữ liệu theo quyền.
Hỗ trợ truy vấn dữ liệu lớn và truy vấn đa nguồn.
Cung cấp API hoặc dịch vụ dữ liệu cho hệ thống bên ngoài.
Hỗ trợ tạo tập dữ liệu phục vụ báo cáo và phân tích.
Giới hạn tài nguyên và theo dõi lịch sử truy vấn.

9.8. Quản lý dữ liệu phi cấu trúc

Lưu trữ và quản lý tài liệu, ảnh, âm thanh và video.
Trích xuất metadata của tệp.
Liên kết dữ liệu phi cấu trúc với hồ sơ nghiệp vụ.
Tìm kiếm theo thuộc tính, từ khóa và nội dung đã lập chỉ mục.
Quản lý quyền truy cập và thời hạn lưu trữ.

9.9. Bảo mật và phân quyền dữ liệu

Phân quyền theo người dùng, đơn vị, bộ dữ liệu, trường dữ liệu và bản ghi.
Mã hóa dữ liệu khi truyền và khi lưu trữ.
Che giấu hoặc ẩn dữ liệu nhạy cảm.
Ghi nhật ký truy cập, truy vấn, tải xuống và thay đổi dữ liệu.
Hỗ trợ cơ chế phê duyệt quyền khai thác dữ liệu.

9.10. Sao lưu, phục hồi và lưu trữ dài hạn

Sao lưu định kỳ và sao lưu theo chính sách.
Phục hồi dữ liệu theo thời điểm.
Quản lý bản sao, phiên bản và thời hạn lưu giữ.
Hỗ trợ đồng bộ sang hạ tầng dự phòng.
Kiểm tra khả năng phục hồi định kỳ.

9.11. Giám sát vận hành dữ liệu

Theo dõi trạng thái pipeline, dung lượng, tốc độ và lỗi.
Dashboard giám sát thu thập, xử lý và chất lượng dữ liệu.
Cảnh báo khi nguồn dữ liệu mất kết nối hoặc pipeline thất bại.
Quản lý nhật ký hệ thống và hỗ trợ phân tích sự cố.