S&P khai thác công nghệ AI của Snowflake để thu thập dữ liệu về SME hiệu quả gấp 5 lần

Trong thế giới đầu tư, một vấn đề lớn từ lâu vẫn chưa có lời giải: dữ liệu về các doanh nghiệp nhỏ và vừa (SME). Không phải do chất lượng hay độ chính xác – mà là do thiếu dữ liệu nghiêm trọng.

Công nghệ AI lan rộng trong lĩnh vực đầu tư

Việc đánh giá mức độ tín nhiệm của các SME luôn là một thách thức lớn vì thông tin tài chính của họ thường không công khai, khiến quá trình thu thập dữ liệu trở nên cực kỳ khó khăn.

Tuy nhiên, S&P Global Market Intelligence – một nhánh của S&P Global, chuyên cung cấp xếp hạng tín dụng và các chỉ số chuẩn – tuyên bố đã giải quyết được bài toán này bằng công nghệ AI.

Đội ngũ kỹ thuật của họ đã phát triển RiskGauge, một nền tảng ứng dụng công nghệ AI có khả năng thu thập dữ liệu “ẩn” từ hơn 200 triệu trang web, xử lý bằng hàng loạt thuật toán và tạo ra điểm rủi ro cho từng doanh nghiệp.

Nền tảng này được xây dựng trên kiến trúc Snowflake, cho phép mở rộng quy mô linh hoạt và xử lý khối lượng dữ liệu lớn. Nhờ đó, phạm vi dữ liệu SME mà S&P thu thập được đã tăng gấp 5 lần so với trước.

Chúng tôi hướng tới mục tiêu mở rộng và tối ưu hiệu quả. Dự án này đã giúp cải thiện đáng kể cả về độ chính xác và độ bao phủ dữ liệu, mang lại lợi ích thiết thực cho khách hàng.

Kiến trúc nền tảng của RiskGauge

Quản lý tín dụng đối tác là quá trình đánh giá mức độ tín nhiệm và rủi ro của một công ty dựa trên nhiều yếu tố như tình hình tài chính, xác suất vỡ nợ và mức độ chấp nhận rủi ro. S&P Global Market Intelligence cung cấp những phân tích này cho các nhà đầu tư tổ chức, ngân hàng, công ty bảo hiểm, nhà quản lý tài sản và nhiều đối tượng khác.

Các tập đoàn lớn thường cho các nhà cung cấp của họ vay, vì vậy họ cần theo dõi thường xuyên trong suốt thời gian có rủi ro liên quan. Họ có thể dựa vào các bên thứ ba để hỗ trợ đánh giá tín dụng.

Tuy nhiên, từ lâu vẫn tồn tại khoảng trống dữ liệu với các doanh nghiệp nhỏ và vừa (SME). Hadi chỉ ra rằng, trong khi các công ty niêm yết lớn như IBM, Microsoft, Amazon hay Google đều phải công bố báo cáo tài chính hàng quý, thì các SME tư nhân ở Mỹ không bị ràng buộc bởi nghĩa vụ này – khiến tính minh bạch tài chính trở nên hạn chế. Từ góc độ nhà đầu tư, cần lưu ý rằng Mỹ có khoảng 10 triệu SME, so với chỉ khoảng 60.000 công ty đại chúng.

Hiện nay, S&P Global Market Intelligence tuyên bố đã mở rộng đáng kể độ bao phủ, bao gồm 10 triệu SME tư nhân đang hoạt động tại Mỹ (không bao gồm hộ kinh doanh cá thể).

Nền tảng RiskGauge, chính thức đưa vào vận hành từ tháng 1/2025, được xây dựng bởi đội ngũ của Hadi. Hệ thống thu thập dữ liệu “firmographic” từ các nội dung web phi cấu trúc, kết hợp với dữ liệu ẩn danh từ bên thứ ba, rồi sử dụng học máy (ML) và các thuật toán tiên tiến để tính điểm tín dụng.

S&P sử dụng nền tảng Snowflake (cùng với các đối tác công nghệ khác) để quét các trang web doanh nghiệp, chuyển đổi dữ liệu thành các yếu tố phân loại thị trường (firmographic drivers) và đưa vào hệ thống RiskGauge.

Quy trình xử lý dữ liệu của nền tảng bao gồm các lớp: Trình thu thập dữ liệu (web crawlers/scrapers); Lớp tiền xử lý (pre-processing layer); Khai thác dữ liệu (miners); Chọn lọc dữ liệu (curators); Tính điểm tín dụng RiskGauge

Cụ thể, đội ngũ của Hadi sử dụng kho dữ liệu Snowflake và Snowpark Container Services ở các bước tiền xử lý, khai thác và chọn lọc.

Kết quả cuối cùng, các SME được chấm điểm tín dụng từ 1 đến 100, trong đó 1 là rủi ro cao nhất và 100 là thấp nhất.

Nhà đầu tư sẽ nhận được báo cáo phân tích từ RiskGauge, bao gồm: dữ liệu tài chính, firmographics, báo cáo tín dụng doanh nghiệp, hiệu suất hoạt động trong quá khứ và các sự kiện quan trọng.

Ngoài ra, họ còn có thể so sánh các SME với các đối thủ cùng ngành.

S&P thu thập dữ liệu doanh nghiệp có giá trị như thế nào?

Ông Moody Hadi giải thích rằng nền tảng RiskGauge sử dụng một quy trình thu thập dữ liệu nhiều lớp (multi-layer scraping) để trích xuất thông tin từ tên miền web của doanh nghiệp, bao gồm các trang cơ bản như “Liên hệ”, trang chủ, cũng như tin tức liên quan. Các “thợ đào dữ liệu” (miners) sẽ lần theo nhiều lớp URL khác nhau để truy xuất những thông tin có liên quan.

Bạn có thể hình dung rằng con người không thể làm việc này. Sẽ tốn quá nhiều thời gian nếu phải làm thủ công, nhất là khi bạn xử lý tới 200 triệu trang web.

Sau khi dữ liệu được thu thập, hệ thống sẽ áp dụng các thuật toán loại bỏ những yếu tố không phải văn bản – chẳng hạn như mã JavaScript hay thẻ HTML – vì hệ thống chỉ quan tâm đến nội dung có thể đọc được như văn bản thông thường. Dữ liệu sau đó được làm sạch, chuyển về định dạng dễ đọc, rồi nạp vào nền tảng Snowflake để tiến hành các bước phân tích sâu hơn bằng các thuật toán khai thác dữ liệu.

Một điểm quan trọng là RiskGauge sử dụng các thuật toán học tổ hợp (ensemble learning) – tức là kết hợp nhiều mô hình dự đoán riêng lẻ (thường được gọi là "người học yếu" – weak learners) để đưa ra kết quả chính xác hơn.

Các mô hình này xác thực các thông tin như tên doanh nghiệp, mô tả ngành nghề, lĩnh vực hoạt động, vị trí và hoạt động kinh doanh. Hệ thống cũng phân tích cả cảm xúc tích cực hay tiêu cực liên quan đến các thông báo được đăng tải trên website của doanh nghiệp.

Khi hệ thống thu thập xong dữ liệu từ một trang web, các thuật toán sẽ đánh giá từng phần nội dung, ‘bỏ phiếu’ và sau đó đưa ra đề xuất cuối cùng. Hoàn toàn không có con người can thiệp vào quy trình này – các thuật toán cạnh tranh lẫn nhau để nâng cao hiệu suất, giúp mở rộng phạm vi dữ liệu.

Sau quá trình thu thập ban đầu, hệ thống sẽ tiếp tục theo dõi hoạt động của trang web thông qua quét định kỳ hàng tuần. Tuy nhiên, dữ liệu sẽ chỉ được cập nhật nếu phát hiện có thay đổi. Khi hệ thống thực hiện quét lại, nó sẽ tạo một mã băm (hash key) cho trang chính và so sánh với mã cũ từ lần quét trước.

Nếu hai mã giống nhau, nghĩa là nội dung không thay đổi và không cần hành động gì. Nếu khác nhau, hệ thống sẽ tự động kích hoạt cập nhật thông tin doanh nghiệp.

Hadi nhấn mạnh rằng quy trình theo dõi liên tục này rất quan trọng để đảm bảo dữ liệu luôn được cập nhật mới nhất: “Nếu họ thường xuyên cập nhật trang web, điều đó cho thấy họ vẫn đang hoạt động, đúng không?”

Nhiều thách thức: tốc độ xử lý, dữ liệu khổng lồ và website ‘bẩn’

Tất nhiên, trong quá trình xây dựng hệ thống, nhóm của Hadi đã gặp không ít thách thức – đặc biệt là do quy mô dữ liệu quá lớn và yêu cầu xử lý nhanh chóng. Họ buộc phải cân bằng giữa độ chính xác và tốc độ.

Chúng tôi liên tục tối ưu thuật toán để chạy nhanh hơn. Một số thuật toán ban đầu có độ chính xác rất cao, nhưng lại tốn tài nguyên tính toán quá lớn.

Bên cạnh đó, không phải website nào cũng tuân thủ định dạng tiêu chuẩn, khiến cho việc thu thập dữ liệu càng thêm khó khăn.

“Khi bắt đầu, chúng tôi cứ nghĩ rằng mọi website phải có sơ đồ trang (sitemap) hoặc chuẩn XML. Nhưng thực tế là… không ai tuân theo cả,” ông cười nói.

Hệ thống cũng không sử dụng mã cứng (hard-code) hay robot tự động (RPA) vì mỗi trang web đều khác biệt. Thay vào đó, nhóm tập trung vào nội dung văn bản – nơi chứa thông tin giá trị nhất. Điều này dẫn đến việc phát triển một hệ thống chỉ thu thập những thành phần cần thiết từ trang web, loại bỏ hoàn toàn mã lập trình, JavaScript hay TypeScript.

Thách thức lớn nhất là hiệu suất, tối ưu hóa và thực tế là thiết kế website vốn dĩ không ‘sạch’ để dễ thu thập dữ liệu.