阿里巴巴推出新人工智慧模型 QwQ-32B 力抗 OpenAI
阿里巴巴發布了一款新型人工智能（AI）模型 QwQ-32B，該模型的推理能力被認為能與 OpenAI 的 GPT-o1 系列模型相抗衡。這款大型語言模型（LLM）目前處於預覽階段，據稱在數學和邏輯推理相關的基準測試中超越了 GPT-o1-preview。儘管 QwQ-32B 已可在 Hugging Face 上下載，但它並未完全開源。
QwQ-32B 的特點
在官方部落格中，阿里巴巴詳細介紹了 QwQ-32B 的能力與限制。該模型基於 320 億個參數，擁有 32,000 個 token 的上下文窗口，並已完成預訓練和後訓練階段。其架構基於變壓器技術，並使用了旋轉位置嵌入（RoPE）、開關門線性單元（SwiGLU）、均方根正規化（RMSNorm）功能，以及注意力查詢-鍵-值偏差（Attention QKV）等技術。
內部推理過程
QwQ-32B 在評估用戶查詢時會顯示其內部思維過程，這種內部獨白的方式使其能夠測試各種理論並自我驗證，從而提供更準確的答案。在內部測試中，阿里巴巴聲稱該模型在 MATH-500 基準上獲得了 90.6% 的分數，而在 AI 數學評估（AIME）基準上則達到了 50%，超越了 OpenAI 的推理專注模型。
推理能力的局限性
值得注意的是，推理能力更強的 AI 模型並不意味著它們具備更高的智慧或能力。這是一種新的方法，稱為測試時計算（test-time compute），允許模型在處理任務時花費更多的計算時間。因此，AI 能夠提供更精確的回應並解決更複雜的問題。不過業內專家指出，新的 LLM 在進步速度上並未如舊版本般顯著，顯示現有架構已達飽和點。
儘管 QwQ-32B 在查詢上花費額外的處理時間，但它仍存在一些限制。阿里巴巴表示，該模型有時會混合語言或在語言之間切換，導致語言混合和代碼切換等問題。此外，該模型還可能進入推理循環，除了數學和推理技能外，其他領域仍需改進。
阿里巴巴的 QwQ-32B 模型的推出標誌著中國在 AI 領域的進一步發展，尤其是在推理能力方面的競爭。儘管仍有一些挑戰和限制，但這一新技術無疑將對未來的 AI 應用產生深遠影響。
