Chat（图片分析） - 302.AI API文档

为所有模型增加图像识别能力，有两种打开的方法，任选其一即可：

在所有模型后缀加上-ocr，例如gpt-3.5-turbo-ocr（方便用于第三方软件）

在模型请求时指定ocr模型："ocr_model":"gpt-4o-mini"，如示例（方便用于API）

注意：如果多模态模型后缀加了-ocr，也会使用指定或默认的ocr模型进行图片分析，所以尽可能避免在多模态模型开启此功能

此功能原理是：每次请求前将用户图片传给多模态模型进行解析，然后将解析结果带入模型上下文中，作为模型的参考信息。具体过程可以在API调用时的日志中查看到。现在默认使用的ocr模型为gpt-4o-mini。
（可以和-web-search一起用，例如deepseek-r1-ocr-web-search）

图片分析提示词：
(可以通过ocr_prompt参数重新设置提示词)

价格：在原有模型基础上+多模态模型的费用

请求参数

Header 参数

Body 参数application/json

示例

{
  "model": "gpt-3.5-turbo-ocr",
  "ocr_model":"gpt-4o-mini",
  "stream": false,
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "type": "text",
          "text": "这张图片有什么"
        },
        {
          "type": "image_url",
          "image_url": {
            "url": "https://s2.loli.net/2024/02/01/QSWVdw9bX56gj7O.jpg"
          }
        }
      ]
    }
  ]
}

请求示例代码

Shell

JavaScript

Java

Swift

PHP

Python

HTTP

Objective-C

Ruby

OCaml

Dart

返回响应

🟢200成功

application/json

Body

示例

{
    "choices": [
        {
            "content_filter_results": {
                "hate": {
                    "filtered": false,
                    "severity": "safe"
                },
                "self_harm": {
                    "filtered": false,
                    "severity": "safe"
                },
                "sexual": {
                    "filtered": false,
                    "severity": "safe"
                },
                "violence": {
                    "filtered": false,
                    "severity": "safe"
                }
            },
            "finish_reason": "stop",
            "index": 0,
            "logprobs": null,
            "message": {
                "annotations": [],
                "content": "这张图片展示了一个办公室的场景，画面中有一位使用笔记本电脑的女性和一位坐在办公桌前的男性。背景中有一个带有物品的置物架，整体色调以蓝色、白色和绿色为主，采用插画风格，画面整洁且没有异常。",
                "refusal": null,
                "role": "assistant"
            }
        }
    ],
    "created": 1769163967,
    "id": "chatcmpl-D18ed3t2JtpSeiAwSLGMzmwaWTkv5",
    "model": "gpt-3.5-turbo",
    "object": "chat.completion",
    "prompt_filter_results": [
        {
            "prompt_index": 0,
            "content_filter_results": {
                "hate": {
                    "filtered": false,
                    "severity": "safe"
                },
                "self_harm": {
                    "filtered": false,
                    "severity": "safe"
                },
                "sexual": {
                    "filtered": false,
                    "severity": "safe"
                },
                "violence": {
                    "filtered": false,
                    "severity": "safe"
                }
            }
        }
    ],
    "system_fingerprint": "fp_3dcd5944f5",
    "usage": {
        "completion_tokens": 77,
        "completion_tokens_details": {
            "accepted_prediction_tokens": 0,
            "audio_tokens": 0,
            "reasoning_tokens": 0,
            "rejected_prediction_tokens": 0
        },
        "prompt_tokens": 70,
        "prompt_tokens_details": {
            "audio_tokens": 0,
            "cached_tokens": 0
        },
        "total_tokens": 147
    }
}