Codestral

Maakt een code-aanvulling met behulp van de Codestral-model van Mistral. Alle parameters van de Mistral fill-in-the-middle Completion-endpoint worden ondersteund volgens de Mistral-specificaties.

Voorbeeld — cURL

curl --request POST \
  --url https://api.langdock.com/mistral/{region}/v1/fim/completions \
  --header 'Authorization: <authorization>' \
  --header 'Content-Type: application/json' \
  --data '
{
  "model": "codestral-2501",
  "prompt": "function removeSpecialCharactersWithRegex(str: string) {",
  "max_tokens": 64
}
'

Voorbeeldantwoord (200)

{
  "data": "asd",
  "id": "245c52bc936f53ba90327800c73d1c3e",
  "object": "chat.completion",
  "model": "codestral",
  "usage": {
    "prompt_tokens": 16,
    "completion_tokens": 102,
    "total_tokens": 118
  },
  "created": 1732902806,
  "choices": [
    {
      "index": 0,
      "message": {
        "content": "\n  // Use a regular expression to match any non-alphanumeric character and replace it with an empty string\n  return str.replace(/[^a-zA-Z0-9]/g, '');\n}\n\n// Test the function\nconst inputString = \"Hello, World! 123\";\nconst outputString = removeSpecialCharactersWithRegex(inputString);\nconsole.log(outputString); // Output: \"HelloWorld123\"",
        "prefix": false,
        "role": "assistant"
      },
      "finish_reason": "stop"
    }
  ]
}

Snelheidslimieten

De snelheidslimiet voor het FIM Completion-endpoint is 500 RPM (aanvragen per minuut) en 60.000 TPM (tokens per minuut). Snelheidslimieten worden gedefinieerd op werkruimte-niveau — niet per API-sleutel. Elk model heeft zijn eigen snelheidslimiet. Als je je snelheidslimiet overschrijdt, ontvang je een 429 Too Many Requests antwoord.

Houd er rekening mee dat de snelheidslimieten onderhevig zijn aan verandering; raadpleeg deze documentatie voor de meest recente informatie. Als je een hogere snelheidslimiet nodig hebt, neem dan contact met ons op via [email protected].

Het gebruik van de Continue AI Code Assistant

Het gebruik van het Codestral-model, gecombineerd met chat-completionmodellen van de Langdock API, maakt het mogelijk om de open-source AI-codeassistent Continue (continue.dev) volledig via de Langdock API te gebruiken. Continue is beschikbaar als een VS Code-extensie en als een JetBrains-extensie.

Om de door Continue gebruikte modellen aan te passen, bewerk je het configuratiebestand op ~/.continue/config.json (macOS / Linux) of %USERPROFILE%\.continue\config.json (Windows). Voorbeeldconfiguratie die Codestral gebruikt voor autocomplete en andere modellen voor chats/bewerkingen:

{
  "models": [
    {
      "title": "GPT-4o",
      "provider": "openai",
      "model": "gpt-4o",
      "apiKey": "<YOUR_LANGDOCK_API_KEY>",
      "apiBase": "https://api.langdock.com/openai/eu/v1"
    },
    {
      "title": "Claude 3.5 Sonnet",
      "provider": "anthropic",
      "model": "claude-3-5-sonnet-20240620",
      "apiKey": "<YOUR_LANGDOCK_API_KEY>",
      "apiBase": "https://api.langdock.com/anthropic/eu/v1"
    }
  ],
  "tabAutocompleteModel": {
    "title": "Codestral",
    "provider": "mistral",
    "model": "codestral-2501",
    "apiKey": "<YOUR_LANGDOCK_API_KEY>",
    "apiBase": "https://api.langdock.com/mistral/eu/v1"
  }
  /* ... andere configuratie ... */
}

Eindpunt

POST /mistral/{region}/v1/fim/completions

Probeer het met het bovenstaande cURL-voorbeeld.

Headers

Autorisatie (string) — verplicht API-sleutel als Bearer-token. Formaat: "Bearer YOUR_API_KEY"

Padparameters

region (string, verplicht) De regio van de API die gebruikt moet worden.

Beschikbare opties:

  • eu

Body (application/json)

model (string) — verplicht, standaard: codestral-2501 ID van het te gebruiken model. Momenteel alleen compatibel met:

  • codestral-2501

prompt (string) — verplicht De tekst/code die aangevuld moet worden.

temperature (number) Welke sample-temperatuur te gebruiken; aanbevolen tussen 0.0 en 0.7. Hogere waarden (bijv. 0.7) maken de uitvoer willekeuriger; lagere waarden (bijv. 0.2) maken het meer gefocust/deterministisch. We raden over het algemeen aan om dit of top_p, maar niet beide te wijzigen. De standaardwaarde varieert per model. Roep het /models endpoint aan om de juiste standaard op te halen.

Vereist bereik: 0 <= x <= 1.5

top_p (number) — standaard: 1 Nucleus-sampling: het model beschouwt tokens die samen de bovenste top_p waarschijnlijkheidsmassa vormen. We raden over het algemeen aan om dit of temperature, maar niet beide te wijzigen.

Vereist bereik: 0 <= x <= 1

max_tokens (integer) Maximum aantal tokens om te genereren in de aanvulling. Het aantal tokens van je prompt plus max_tokens mag de contextlengte van het model niet overschrijden.

Vereist bereik: x >= 0

stream (boolean) — standaard: false Of gedeeltelijke voortgang gestreamd moet worden. Als ingesteld, worden tokens verzonden als data-only server-sent events zodra ze beschikbaar zijn, waarbij de stream wordt beëindigd door een data: [DONE] bericht. Anders retourneert de server het volledige resultaat als JSON wanneer het voltooid is.

stop (string | string[]) Stop met genereren als dit token wordt gedetecteerd. Of geef een array met tokens op.

random_seed (integer) De seed die gebruikt wordt voor willekeurige sampling. Als deze is ingesteld, zullen verschillende aanroepen deterministische resultaten genereren.

Vereist bereik: x >= 0

suffix (string) — standaard: "" Optionele tekst/code die meer context aan het model toevoegt. Wanneer zowel een prompt en een suffix, zal het model invullen wat ertussen staat. Wanneer suffix niet wordt opgegeven, zal het model gewoon beginnen met aanvullen beginnend met prompt.

min_tokens (integer) Het minimum aantal tokens om te genereren in de aanvulling.

Vereist bereik: x >= 0

Respons (200 — application/json)

Velden van een succesvolle respons:

  • model (string) — Voorbeeld: "mistral-small-latest"

  • id (string) — Voorbeeld: "cmpl-e5cc70bb28c444948073e77776eb30ef"

  • object (string) — Voorbeeld: "chat.completion"

  • usage (object) — verplicht

    • usage.prompt_tokens (integer) — Voorbeeld: 16

    • usage.completion_tokens (integer) — Voorbeeld: 34

    • usage.total_tokens (integer) — Voorbeeld: 50

  • choices (array of ChatCompletionChoice objects)

    • index (integer) — Voorbeeld: 0

    • message (object) — bevat de door de assistent gegenereerde inhoud

    • finish_reason (string enum) — Beschikbaar: stop, length, model_length, error, tool_calls. Voorbeeld: "stop"

  • created (integer) — Voorbeeld: 1702256327

Was deze pagina nuttig?

Ja / Nee

Antwoorden worden gegenereerd met AI en kunnen fouten bevatten.

VorigeGoogle Completion-APIVolgendeOpenAI Embeddings