Công nghệ AI chạm giới hạn, buộc OpenAI phải tìm cách đột phá

OpenAI và các công ty công nghệ trí tuệ nhân tạo (công nghệ AI) khác đang tìm kiếm con đường mới để phát triển AI thông minh hơn khi các phương pháp hiện tại đạt tới giới hạn

Công nghệ AI chạm giới hạn

Các công ty công nghệ AI như OpenAI đang tìm cách vượt qua những thách thức và hạn chế hiện tại của AI trong quá trình phát triển các mô hình ngôn ngữ lớn. Các phương pháp thử nghiệm mới bao gồm việc phát triển các kỹ thuật huấn luyện, sử dụng phương pháp tư duy gần giống với cách suy nghĩ của con người.

OpenAI đang thử nghiệm nhiều phương pháp để vượt qua đã chững hiện tại của công nghệ AI. (Ảnh: Reuters)

Theo chia sẻ từ một tá nhà khoa học AI, nhà nghiên cứu và nhà đầu tư với Reuters, họ tin rằng nền tảng của mô hình O1 mà OpenAI vừa ra mắt có tiềm năng thay đổi cuộc "chạy đua" công nghệ về AI và tạo ra những ảnh hưởng đáng kể đến các nguồn tài nguyên mà các công ty AI đang khao khát, từ năng lượng cho đến loại chip sử dụng.

OpenAI từ chối bình luận về chủ đề này. Kể từ khi ChatGPT trở thành hiện tượng hai năm trước, các công ty công nghệ đã công khai ủng hộ việc "mở rộng quy mô" các mô hình AI bằng cách tăng thêm dữ liệu và tăng sức mạnh tính toán để không ngừng cải thiện mô hình AI. Tuy nhiên, giờ đây, nhiều nhà khoa học AI hàng đầu đang lên tiếng về những giới hạn của triết lý "càng lớn càng tốt".

Ilya Sutskever, đồng sáng lập các phòng thí nghiệm AI như Safe Superintelligence (SSI) và OpenAI, gần đây đã chia sẻ với Reuters rằng kết quả từ việc mở rộng quy mô giai đoạn huấn luyện sơ bộ (pre-training) – giai đoạn huấn luyện một mô hình AI sử dụng lượng lớn dữ liệu không có nhãn để hiểu các mẫu ngôn ngữ – đang dần đạt tới điểm bão hòa.

Sutskever là một trong những người tiên phong ủng hộ ý tưởng đạt được những bước tiến vượt bậc trong AI bằng cách sử dụng nhiều dữ liệu và sức mạnh tính toán hơn trong giai đoạn huấn luyện sơ bộ, phương pháp đã tạo ra ChatGPT. Sutskever đã rời OpenAI đầu năm nay để thành lập SSI.

Thập niên 2010 là thời đại của mở rộng quy mô, còn giờ đây chúng ta đang trở lại thời đại của sự tò mò và khám phá. Giờ đây, việc mở rộng quy mô đúng hướng mới là quan trọng hơn bao giờ hết.

Ilya Sutskever, đồng sáng lập các phòng thí nghiệm AI như Safe Superintelligence (SSI) và OpenAI, nhận định

Sutskever từ chối chia sẻ chi tiết về cách nhóm của ông đang giải quyết vấn đề này, chỉ cho biết rằng SSI đang nghiên cứu một phương pháp thay thế để phát triển quá trình huấn luyện sơ bộ.

Đằng sau "hậu trường", các nhà nghiên cứu tại các phòng thí nghiệm AI hàng đầu đang đối mặt với các giới hạn và kết quả không như mong đợi trong cuộc đua phát triển một mô hình ngôn ngữ lớn hơn, vượt trội hơn GPT-4 của OpenAI. Mô hình hiện đã ra mắt gần hai năm.

Các cuộc huấn luyện cho các mô hình lớn có thể tốn hàng chục triệu đô la vì phải chạy đồng thời hàng trăm con chip. Những hệ thống phức tạp như vậy dễ gặp lỗi phần cứng. Các nhà nghiên cứu có thể không biết rõ hiệu suất cuối cùng của mô hình cho đến khi quá trình chạy hoàn tất, có thể mất vài tháng.

Một vấn đề khác là các mô hình ngôn ngữ lớn tiêu thụ khối lượng dữ liệu khổng lồ, và các nguồn dữ liệu dễ tiếp cận trên thế giới dường như đã cạn kiệt. Thiếu hụt điện năng cũng cản trở các lần huấn luyện, vì quá trình này đòi hỏi năng lượng rất lớn.

Để khắc phục những thách thức này, các nhà nghiên cứu đang khám phá kỹ thuật “tính toán thời gian thử nghiệm,” một phương pháp cải thiện các mô hình AI hiện có trong giai đoạn “suy luận”. Ví dụ, thay vì chọn ngay một câu trả lời duy nhất, mô hình có thể tạo ra và đánh giá nhiều phương án cùng lúc và cuối cùng chọn ra hướng đi tốt nhất.

Phương pháp này cho phép mô hình dành nhiều sức mạnh xử lý hơn cho các nhiệm vụ khó như toán học, lập trình hoặc các thao tác phức tạp đòi hỏi khả năng suy luận và ra quyết định tương tự con người.

Mất chỉ 20 giây suy nghĩ trong một ván poker cũng đã cải thiện hiệu suất ngang bằng với việc tăng quy mô mô hình lên gấp 100.000 lần và huấn luyện trong thời gian dài gấp 100.000 lần.

Noam Brown, một nhà nghiên cứu tại OpenAI, chia sẻ tại hội nghị TED AI ở San Francisco vào tháng trước.

Phát triển chip suy luận thay vì chip huấn luyện

OpenAI đã áp dụng kỹ thuật này trong mô hình mới của mình, có tên là “O1” (trước đây gọi là Q* và Strawberry), mà Reuters đã đưa tin vào tháng 7. Mô hình O1 có khả năng “suy nghĩ” qua các vấn đề theo cách nhiều bước, tương tự như suy luận của con người. Mô hình cũng sử dụng dữ liệu và phản hồi từ các chuyên gia và tiến sĩ. Điểm độc đáo của loạt mô hình O1 là thêm một lớp huấn luyện bổ sung trên các mô hình “cơ bản” như GPT-4, và công ty cho biết họ dự định áp dụng kỹ thuật này với nhiều mô hình cơ bản lớn hơn nữa.

Trong khi đó, các nhà nghiên cứu tại những phòng thí nghiệm AI hàng đầu khác, bao gồm Anthropic, xAI và Google DeepMind, cũng đang phát triển các phiên bản kỹ thuật riêng của mình, theo năm nguồn tin am hiểu về những nỗ lực này.

“Chúng tôi nhận thấy có rất nhiều tiềm năng để cải thiện các mô hình này một cách nhanh chóng,” Kevin Weil, Giám đốc sản phẩm tại OpenAI, phát biểu tại một hội nghị công nghệ vào tháng 10. “Khi mọi người bắt kịp, chúng tôi sẽ cố gắng tiến xa hơn ba bước nữa.”

Google và xAI không phản hồi yêu cầu bình luận, trong khi Anthropic cũng chưa có phản hồi ngay lập tức. Những tác động từ sự chuyển đổi này có thể thay đổi cán cân cạnh tranh trong lĩnh vực phần cứng AI, lĩnh vực vốn đang bị chi phối bởi nhu cầu không ngừng đối với chip AI của Nvidia.

Các nhà đầu tư mạo hiểm nổi tiếng, từ Sequoia đến Andreessen Horowitz, đã đầu tư hàng tỷ đô la để phát triển các mô hình AI tại nhiều phòng thí nghiệm như OpenAI và xAI, cũng đang theo dõi sát sao sự chuyển đổi này và cân nhắc tác động đến các khoản đầu tư của họ.

Sự chuyển đổi này sẽ đưa chúng ta từ thế giới của những hệ thống máy chủ huấn luyện khổng lồ sang các hệ thống đám mây suy luận phân tán, hiểu đơn giản là các hệ thống máy chủ đám mây dành cho suy luận.

Sonya Huang, đối tác tại Sequoia Capital, cho biết trong một cuộc phỏng vấn với Reuters.

Nhu cầu về chip AI của Nvidia, loại chip tiên tiến nhất hiện nay, đã giúp công ty này trở thành công ty có giá trị lớn nhất thế giới, vượt qua Apple vào tháng 10. Khác với chip dùng cho huấn luyện, nơi Nvidia thống lĩnh thị trường, công ty có thể đối mặt với sự cạnh tranh cao hơn trong thị trường chip suy luận.

Khi được hỏi về tác động tiềm năng đối với nhu cầu sản phẩm của mình, Nvidia đã chỉ đến các buổi thuyết trình gần đây của công ty về tầm quan trọng của kỹ thuật đằng sau mô hình o1. CEO Jensen Huang của công ty cũng đã nhắc đến nhu cầu ngày càng tăng đối với việc sử dụng chip của Nvidia cho các tác vụ suy luận.

“Chúng tôi đã khám phá ra một quy luật mở rộng thứ hai, và đây là quy luật mở rộng trong thời kỳ suy luận… Tất cả những yếu tố này đã dẫn đến nhu cầu về chip Blackwell đang ở mức cực kỳ cao,” Huang nói vào tháng trước tại một hội nghị ở Ấn Độ, đề cập đến dòng chip AI mới nhất của Nvidia.

https://sohuutritue.net.vn/cong-nghe-ai-cham-gioi-han-buoc-openai-phai-tim-cach-dot-pha-d250763.html

Tin liên quan

Công nghệ AI hay lao động giá rẻ: Cái nào đắt đỏ hơn?

Công nghệ AI hay lao động giá rẻ: Cái nào đắt đỏ hơn?

Dù nhu cầu về trí tuệ nhân tạo (AI) đang tăng mạnh, việc phát triển các mô hình AI lớn hơn, cần nhiều chip và trung tâm dữ liệu để hỗ trợ, đang khiến chi phí của các công ty công nghệ tăng cao.

Các “gã khổng lồ” công nghệ trước  “cơn khát” năng lượng của AI

Các “gã khổng lồ” công nghệ trước “cơn khát” năng lượng của AI

Lộ diện nhà máy sản xuất linh kiện cho SpaceX của Elon Musk tại Việt Nam

Lộ diện nhà máy sản xuất linh kiện cho SpaceX của Elon Musk tại Việt Nam

Câu chuyện sáng tạo và bản quyền trong thời đại AI

Câu chuyện sáng tạo và bản quyền trong thời đại AI

Cùng chuyên mục

 Trung Nam Group lỗ gần 2.900 tỷ năm 2023, 'cõng' nợ hơn 65.000 tỷ

Trung Nam Group lỗ gần 2.900 tỷ năm 2023, 'cõng' nợ hơn 65.000 tỷ

Doanh nghiệp

Theo báo cáo tình hình tài chính định kỳ gửi đến Sở Giao dịch Chứng khoán Hà Nội (HNX), Trung Nam Group lỗ gần 2.9 nghìn tỷ đồng trong năm 2023. Hệ số nợ phải trả/vốn chủ sở hữu tăng lên 2,68 lần, tương ứng với khoản nợ khoảng 65.097 tỷ đồng, trong đó nợ trái phiếu chiếm khoảng 18.218 tỷ đồng.

FLC GAB thay Chủ tịch Hội đồng quản trị

FLC GAB thay Chủ tịch Hội đồng quản trị

Doanh nghiệp

HĐQT FLC Gab vừa ban hành hàng loạt Nghị quyết liên quan đến vấn đề nhân sự cấp cao của doanh nghiệp.

Ngân hàng TMCP Đông Nam Á - SeABank là gì? Quá trình hình thành và phát triển của SeABank

Ngân hàng TMCP Đông Nam Á - SeABank là gì? Quá trình hình thành và phát triển của SeABank

Doanh nghiệp

Ngân hàng TMCP Đông Nam Á - SeABank tiền thân là Ngân hàng TMCP Hải Phòng thành lập tháng 3/1994. Đến 2002, ngân hàng đổi tên thành Ngân hàng TMCP Đông Nam Á.

Cựu lãnh đạo Vingroup ứng cử vào HĐQT chứng khoán TCBS

Cựu lãnh đạo Vingroup ứng cử vào HĐQT chứng khoán TCBS

Doanh nghiệp

Theo thông tin từ TCBS, ứng cử viên thành viên HĐQT độc lập là bà Nguyễn Thị Dịu (SN 1973). Trước đây, bà từng có thời gian nhiều năm đảm nhiệm Phó Tổng Giám đốc tại Vingroup hay Thành viên Hội đồng quản trị Vincom Retail.

HDBank chuẩn bị phát hành cổ phiếu chia cổ tức tỷ lệ 20%

HDBank chuẩn bị phát hành cổ phiếu chia cổ tức tỷ lệ 20%

Doanh nghiệp

Ngân hàng TMCP Phát triển TP HCM (HDBank; HoSE: mã chứng khoán HDB) sẽ phát hành 582,5 triệu cổ phiếu để trả cổ tức với tỷ lệ thực hiện quyền là 20%, tương ứng cổ đông sở hữu 100 cổ phiếu sẽ nhận về 20 cổ phiếu mới. Ngày đăng ký cuối cùng là 12/12/2024.

Chủ đầu tư Palm City xin gia hạn tất toán 2.000 tỷ đồng trái phiếu thêm 24 tháng

Chủ đầu tư Palm City xin gia hạn tất toán 2.000 tỷ đồng trái phiếu thêm 24 tháng

Doanh nghiệp

Công ty TNHH Nam Rạch Chiếc chủ đầu tư dự án Palm City xin gia hạn tất toán 2 lô trái phiếu với tổng giá trị 2.000 tỷ đồng thêm 24 tháng.

Nhà và Đô thị Nam Hà Nội dừng phát hành 8,8 triệu cổ phiếu ra công chúng

Nhà và Đô thị Nam Hà Nội dừng phát hành 8,8 triệu cổ phiếu ra công chúng

Doanh nghiệp

Tổng Công ty Đầu tư Phát triển Nhà và Đô thị Nam Hà Nội (mã chứng khoán NHA: HOSE) dừng kế hoạch chào bán hơn 8,8 triệu cổ phiếu.

Bất động sản An Gia (AGG) bị phạt gần 400 triệu đồng do không công bố thông tin, giao dịch 'chui'

Bất động sản An Gia (AGG) bị phạt gần 400 triệu đồng do không công bố thông tin, giao dịch 'chui'

Doanh nghiệp

Ngày 2/12, Uỷ ban Chứng khoán Nhà nước công bố xử phạt Công ty cổ phần Đầu tư và Phát triển Bất động sản An Gia (mã chứng khoán AGG) tổng cộng gần 400 triệu đồng với hàng loạt sai phạm,vi phạm trong lĩnh vực chứng khoán.

Bảo hiểm Agribank chốt quyền trả cổ tức tiền mặt 10% lần hai vào dịp Noel 2024

Bảo hiểm Agribank chốt quyền trả cổ tức tiền mặt 10% lần hai vào dịp Noel 2024

Doanh nghiệp

CTCP Bảo hiểm Ngân hàng Nông nghiệp (ABIC - UPCoM: mã chứng khoán ABI) vừa công bố thông tin về việc chi trả cổ tức còn lại năm 2023 bằng tiền và ngày đăng ký cuối cùng hưởng quyền nhận cổ tức.

BAF Việt Nam bổ nhiệm 2 Phó Tổng Giám đốc mới

BAF Việt Nam bổ nhiệm 2 Phó Tổng Giám đốc mới

Doanh nghiệp

Công ty Cổ phần Nông nghiệp BAF Việt Nam (HoSE: mã chứng khoán BAF) vừa thông báo về việc thay đổi nhân sự. Ông Nguyễn Văn Minh và ông Ngô Cao Cường vừa được bổ nhiệm giữ chức vụ Phó Tổng Giám đốc BAF.

Vietcombank chuẩn bị trả cổ tức gần 50%

Vietcombank chuẩn bị trả cổ tức gần 50%

Doanh nghiệp

Với việc được Quốc hội thông qua chủ trương đầu tư bổ sung vốn Nhà nước, Vietcombank có thể sớm phát hành cổ phiếu để trả cổ tức với tỷ lệ 49,5%.

 Hải Phát (HPX) muốn thoái vốn toàn bộ khỏi Hải Phát Land?

Hải Phát (HPX) muốn thoái vốn toàn bộ khỏi Hải Phát Land?

Doanh nghiệp

Hải Phát (HPX) quyết định thoái toàn bộ 18% cổ phần tại Hải Phát Land với giá trị đầu tư 127,8 tỷ đồng.

ABBank chi 1.300 tỷ đồng mua lại trái phiếu trước hạn

ABBank chi 1.300 tỷ đồng mua lại trái phiếu trước hạn

Doanh nghiệp

ABBank đã tiến hành mua lại trái phiếu trước hạn toàn bộ mã ABBL2325005 trị giá 1.300 tỷ đồng vào ngày 27/11. Lô trái phiếu này phát hành ngày 27/11/2023, kỳ hạn 2 năm, đáo hạn ngày 27/11/2025.

Lộc Trời bổ nhiệm 2 Phó tổng giám đốc mới trước thềm ĐHCĐ bất thường

Lộc Trời bổ nhiệm 2 Phó tổng giám đốc mới trước thềm ĐHCĐ bất thường

Doanh nghiệp

CTCP Tập đoàn Lộc Trời (HoSE: mã chứng khoán LTG) vừa thông báo bổ nhiệm 2 phó tổng giám đốc mới. Đáng chú ý, cả 2 tân Phó tổng giám đốc nêu trên đều là những lãnh đạo chủ chốt tại các công ty thành viên của Lộc Trời.

CEO Thuduc House bất ngờ từ nhiệm sau 7 tháng, ban điều hành công ty đối mặt nguy cơ không còn ai

CEO Thuduc House bất ngờ từ nhiệm sau 7 tháng, ban điều hành công ty đối mặt nguy cơ không còn ai

Doanh nghiệp

Ông Nguyễn Hải Long - Tổng Giám đốc Công ty Cổ phần Phát triển Nhà Thủ Đức (HoSE: mã chứng khoán TDH) mới đây đã gửi đơn xin từ nhiệm đến HĐQT công ty. Hiện tại, người kế nhiệm ông Long chưa được doanh nghiệp công bố. Tuy nhiên, ngoài vị trí Tổng Giám đốc thì Ban điều hành công ty này không còn ai.

TCBS dự kiến chào bán hơn 118,8 triệu cổ phiếu tiếp tục tăng vốn điều lệ

TCBS dự kiến chào bán hơn 118,8 triệu cổ phiếu tiếp tục tăng vốn điều lệ

Doanh nghiệp

CTCP Chứng khoán Kỹ Thương (TCBS) vừa công bố văn bản lấy ý kiến cổ đông về phương án chào bán cổ phiếu riêng lẻ để tăng vốn điều lệ. Ngày cuối cùng chốt danh sách cổ đông lấy ý kiến bằng văn bản dự kiến là 6/12/2024.

Vàng bạc Đá quý Phú Nhuận (PNJ) bảo lãnh vay vốn ngân hàng cho hai công ty con

Vàng bạc Đá quý Phú Nhuận (PNJ) bảo lãnh vay vốn ngân hàng cho hai công ty con

Doanh nghiệp

Ngày 25/11/2024, HĐQT CTCP Vàng bạc Đá quý Phú Nhuận (HOSE: PNJ) thông qua việc bảo lãnh cho 2 công ty con vay vốn ngân hàng.

FLC GAB bị phạt 85 triệu đồng do không công bố thông tin

FLC GAB bị phạt 85 triệu đồng do không công bố thông tin

Doanh nghiệp

FLC GAB bị xử phạt hành chính do không công bố báo cáo tài chính trên hệ thống công bố thông tin của UBCKNN, HNX và trang thông tin điện tử của công ty.

Vinfast thoát lỗ, doanh thu quý III/2024 tăng hơn 49%

Vinfast thoát lỗ, doanh thu quý III/2024 tăng hơn 49%

Doanh nghiệp

Tổng doanh thu của VinFast đạt 12.326 tỷ đồng, đánh dấu mức tăng 42,2% so với quý II/2024 và 49,3% so với cùng kỳ năm 2023. Công ty ghi nhận lỗ gộp 2.957 tỷ đồng trong quý III/2024, giảm 45,6% so với quý liền kề trước đó.

Eximbank được chấp thuận tăng vốn điều lệ lên gần 18.700 tỷ đồng

Eximbank được chấp thuận tăng vốn điều lệ lên gần 18.700 tỷ đồng

Doanh nghiệp

Ngân hàng Eximbank (Mã chứng khoán EIB) vừa được Ngân hàng Nhà nước Việt Nam (NHNN) chấp thuận sửa đổi mức vốn điều lệ lên gần 18.700 tỷ đồng.

Top 500 doanh nghiệp tư nhân lớn nhất việt nam

ACV là gì và có vai trò như thế nào trong ngành hàng không Việt Nam?

ACV là gì và có vai trò như thế nào trong ngành hàng không Việt Nam?

ACV là viết tắt của Airports Corporation of Vietnam tên giao dịch quốc tế của Tổng công ty Cảng hàng không Việt Nam - CTCP trên cơ sở hợp nhất 3 tổng công ty. ACV được giao quản lý, điều phối hoạt động và đầu tư khai thác toàn bộ hệ thống 22 cảng hàng không trên toàn lãnh thổ Việt Nam bao gồm 9 sân bay quốc tế và 13 sân bay nội địa.

Chứng khoán Vietcap là gì? Công ty CP Vietcap uy tín không? Có nên mở tài khoản tại chứng khoán Bản Việt không?

Chứng khoán Vietcap là gì? Công ty CP Vietcap uy tín không? Có nên mở tài khoản tại chứng khoán Bản Việt không?

Công ty CP Vietcap đứng vị trí 196 trong danh sách 500 doanh nghiệp tư nhân lớn nhất Việt Nam. Chứng khoán Vietcap là gì? Công ty CP Vietcap uy tín không? Có nên mở tài khoản tại chứng khoán Bản Việt không?

Công ty TNHH Thương mại và Công nghiệp Mỹ Việt kinh doanh gì? Tấm lợp Olympic có tốt không?

Công ty TNHH Thương mại và Công nghiệp Mỹ Việt kinh doanh gì? Tấm lợp Olympic có tốt không?

Công ty TNHH Thương mại và Công nghiệp Mỹ Việt đứng ở vị trí số 195 trong danh sách 500 doanh nghiệp tư nhân lớn nhất Việt Nam. Công ty TNHH Thương mại và Công nghiệp Mỹ Việt kinh doanh gì? Tấm lợp Olympic có tốt không?

Top 500 doanh nghiệp tư nhân lớn nhất việt nam

ACV là gì và có vai trò như thế nào trong ngành hàng không Việt Nam?

ACV là gì và có vai trò như thế nào trong ngành hàng không Việt Nam?

ACV là viết tắt của Airports Corporation of Vietnam tên giao dịch quốc tế của Tổng công ty Cảng hàng không Việt Nam - CTCP trên cơ sở hợp nhất 3 tổng công ty. ACV được giao quản lý, điều phối hoạt động và đầu tư khai thác toàn bộ hệ thống 22 cảng hàng không trên toàn lãnh thổ Việt Nam bao gồm 9 sân bay quốc tế và 13 sân bay nội địa.

Chứng khoán Vietcap là gì? Công ty CP Vietcap uy tín không? Có nên mở tài khoản tại chứng khoán Bản Việt không?

Chứng khoán Vietcap là gì? Công ty CP Vietcap uy tín không? Có nên mở tài khoản tại chứng khoán Bản Việt không?

Công ty CP Vietcap đứng vị trí 196 trong danh sách 500 doanh nghiệp tư nhân lớn nhất Việt Nam. Chứng khoán Vietcap là gì? Công ty CP Vietcap uy tín không? Có nên mở tài khoản tại chứng khoán Bản Việt không?

Công ty TNHH Thương mại và Công nghiệp Mỹ Việt kinh doanh gì? Tấm lợp Olympic có tốt không?

Công ty TNHH Thương mại và Công nghiệp Mỹ Việt kinh doanh gì? Tấm lợp Olympic có tốt không?

Công ty TNHH Thương mại và Công nghiệp Mỹ Việt đứng ở vị trí số 195 trong danh sách 500 doanh nghiệp tư nhân lớn nhất Việt Nam. Công ty TNHH Thương mại và Công nghiệp Mỹ Việt kinh doanh gì? Tấm lợp Olympic có tốt không?

Chứng khoán

Tỷ giá

Ngoại tệ Mua Bán
Tiền mặt Chuyển khoản
Cập nhật: