腾讯发布 Hy4 Preview：770B 参数开源大模型，上下文窗口达 100 万 token

介绍《Hy4》预览

中国腾讯今日发布的新开权文本输入（无视觉）大型语言模型：总参数770B，活跃参数49B，令牌上下文窗口100万，1.56TB在拥抱脸上.

这比之前的尺寸要大得多Hy37月，295B，21B活跃，256,000上下文，598GB。

我最近开始使用模型聊天模板，以更好地理解它们的功能。这是 Hy4 的chat_template·金贾在拥抱面上，其中包括以下部分：

{%- if not reasoning_effort is defined %}
    {%- set reasoning_effort = 'high' %}
{%- elif reasoning_effort not in ['high', 'no_think'] %}
    {%- if reasoning_effort is none %}
        {{- raise_exception('reasoning_effort error : None, should be no_think/high') }}
    {%- else %}
        {{- raise_exception('reasoning_effort error : ' + reasoning_effort + ', should be no_think/high') }}
    {%- endif %}
{%- endif %}

所以看起来只有两个推理努力等级：“高”（默认）和“no_think”（禁用原因）。

我尝试了“生成一只鹈鹕骑自行车的SVG”提示，默认的推理是高的通过OpenRouter以及明白了:

引用推理轨迹：

我们或许加个头盔？这可能会改善骑行主题，但可能会遮住头部。也许戴个小骑行帽或头盔？用户没问;可以加个红色头盔吗？可能会很可爱。但鹈鹕有大喙;头盔可能会遮挡。最好还是不行。也许加太阳镜？不行。加水？不行。

有趣的是，推理轨迹使用了略微缩略的英语，可能是因为完美的语法对隐藏推理文本来说既不实用，也不高效。

标签：前往,生成式人工智能,大型语言模型,鹈鹕骑自行车,LLM推理,LLM发布,中国的爱