独立研究项目此项目曾名为OpenJev与TypeSafe无关联也未获其认可无意侵权。[SemIf](./)在浏览器中使用开放模型实现语义判断。 清理网站这是一个实时的本地实验浏览器中的决策模型本地模型既可以在不进行解码的情况下读取你可选方案的概率也可以逐token地输出相同类型的分布。选择一个模型规模在你自己的GPU上同时运行这两种方式并比较差异。仅需浏览器无需后端记录你的运行时间使用1.56GB模型。无需等待列表立即试用 ↓默认选择MiniCPM5 2B模型。如果使用手机或较小的设备可根据需要在模型选择框中切换至Qwen3 0.6B模型。00 / 模型设置一次性加载模型Qwen3 0.6B推荐用于手机和小型设备MiniCPM5 2B推荐用于桌面设备Qwen3.5 4B适用于高内存桌面设备。下载并加载MiniCPM5 2B模型。模型越大加载可能越慢甚至可能无法在某些低端设备上加载。模型质量评估原生检查点包含自有和公开基准测试模型下载大小自有准确率扰动准确率TypeSafe准确率Qwen3 0.6B639 MB44.0%52.8%40.7%MiniCPM5 2B1.56 GB68.6%69.3%63.7%Qwen3.5 4B3.01 GB81.3%76.6%84.5%已发布的Jev托管——88.3%自有准确率列表示平衡准确率。TypeSafe是在相同的102行公开子集上的等例一致性Jev是已发布的值。浏览器量化可能会改变模型的准确率。下载/缓存仅在你点击“加载”时开始模型加载下载并准备模型预热为两种方法进行编译。模型权重来自Hugging Face会保留在你的浏览器缓存中。输入数据不会离开此页面。首次加载可能需要几分钟具体时间取决于所选模型、网络状况和GPU性能。01 / 决策选择给出真实选择点击播放箭头同时运行两种方法。尝试示例账户支持、邮件分类。场景客户表示密码重置成功但每次登录尝试仍返回“账户已锁定”。已请求两次解锁邮件但均未收到。问题可选方案。A B C。移除 移除 3 / 20 添加 添加。两种方式会得出相同的决策。一种直接读取选项概率另一种要求模型以JSON文本形式输出选项概率。你的决策场景 问题 选项 →相同的本地模型MiniCPM5 · 2B。↑ ↓读取logitsA…T概率写入tokens{选项 概率}02A / 直接读取选择概率无需解码。读取模型的选择logits并仅在你提供的选项范围内进行归一化处理。等待运行。总计—输入—输出1次读取。02B / 生成输出JSON概率逐token输出。要求模型估算相同的显示选项分布并以JSON形式输出。观察每个token的生成过程。等待运行。首个token—总计—输入—输出—。实测运行时间比在你的GPU上运行。这两种方法会在同一加载的模型上按顺序运行因此不会争抢同一个GPU的资源。先进行直接读取再进行生成输出。这些数据的含义与局限条件概率直接读取的分数是仅对显示的选项token进行的softmax计算结果。它们并非校准后的置信度也不包含模型可能倾向的所有答案。本地模型层级手机模型在准确性和模型大小之间进行了权衡。MiniCPM是桌面设备的默认选择。4B选项需要大量的内存。没有一个模型宣称能达到Jev的性能。真实本地运行时间使用 performance.now() 记录设置、预热、提示准备、直接执行、首个生成token和生成完成的时间。不使用预设结果。量化权重此演示通过wllama使用固定的GGUF构建。量化可能会改变模型的质量和速度。SemIf / 浏览器实验室 [实现说明](README.md) · [模型](https://huggingface.co/openbmb/MiniCPM5-2B-GGUF) · [wllama](https://github.com/ngxson/wllama)