NeboAI
NeboAI
Kom igång

App-sidecar

En sidecar är en binärfil som körs bredvid en app. Den serverar sidans API, sparar appens data och ger appens medarbetare verktyg. Nebo startar den, skickar anrop till den över en lokal socket och startar om den när den fallerar.

Kontraktet

En sidecar är en gRPC-server på en Unix-socket. Lyssna på sökvägen i NEBO_APP_SOCK och implementera apps.v0.UIService. Nebo anropar HandleRequest för varje anrop; HealthCheck och Configure ingår i tjänsten men anropas inte i dag. Socketen måste dyka upp inom manifestets startup_timeout, som är 10 sekunder som standard och får vara högst 120.

syntax = "proto3";
package apps.v0;

service UIService {
  rpc HealthCheck(HealthCheckRequest) returns (HealthCheckResponse);
  rpc Configure(SettingsMap) returns (Empty);
  rpc HandleRequest(HttpRequest) returns (HttpResponse);
}

message HttpRequest {
  string method = 1;               // GET, POST, PUT, DELETE, ...
  string path = 2;                 // relative to /apps/{id}/api/
  string query = 3;                // raw query string
  map<string, string> headers = 4;
  bytes body = 5;
}

message HttpResponse {
  int32 status_code = 1;
  map<string, string> headers = 2;
  bytes body = 3;
}

Sidecars körs på macOS och Linux.

Var Nebo hittar binärfilen

I appens mapp använder Nebo det första av följande som finns:

  1. En fil som heter binary
  2. En fil som heter app
  3. Den första filen i tmp/
  4. Den första filen i bin/
  5. Den första körbara filen i sidecar/target/release/, för lokal utveckling

Binärfilen måste vara en vanlig, körbar fil, inte en symbolisk länk, och högst 500 MB. Publicerade appar har den i bin/<name>. När filen ändras på disken startar Nebo om sidecaren.

Miljö

Sidecaren startar med en tom miljö och de här variablerna:

VariabelVärde
NEBO_APP_ID, NEBO_APP_NAME, NEBO_APP_VERSIONAppens identitet.
NEBO_APP_DIRAppens mapp.
NEBO_APP_SOCKSocketen att lyssna på, <app folder>/<id>.sock. Nebo sätter dess läge till 0600.
NEBO_DATA_DIRAppens datamapp, <data>/appdata/agents/<id>/. Även arbetskatalogen.
NEBO_API_URLBotens lokala API, http://127.0.0.1:<port>.
NEBO_APP_TOKENEn token för att anropa botens app-API.
PATH, HOME, TMPDIR, LANG, LC_ALL, TZSkickas vidare.

Standard ut och standard fel går till sidecar.log i datamappen. Standard in är en pipe; filslut betyder att Nebo har försvunnit och att sidecaren ska avslutas. Sidecaren körs i en egen processgrupp.

Anrop från sidan

Ett anrop till /apps/<id>/api/<path>, som sidan gör med neboFetch och en relativ sökväg, når HandleRequest med path satt till <path>. Sökvägar som börjar med _ nekas. Anropens innehåll är begränsat till 10 MB och svaren till 32 MB.

Verktyg för medarbetaren

Deklarera verktyg i appens agent.json. Varje verktyg får namnet app__<app>__<name> och läses in när medarbetaren behöver det. Ett anrop blir ett anrop till sidecaren på method och path.

"tools": [
  {
    "name": "list_deals",
    "description": "List open deals, optionally filtered by stage.",
    "method": "GET",
    "path": "/deals",
    "input_schema": { "type": "object", "properties": { "stage": { "type": "string" } } }
  }
]

Anropa Nebo

Sidecaren kan använda samma tjänster som sidan genom att anropa $NEBO_API_URL/api/v1/apps/$NEBO_APP_ID/... med huvudet Authorization: Bearer $NEBO_APP_TOKEN.

VägGör
GET /storage, GET|PUT|DELETE /storage/<key>Appens nyckel-värde-lager.
POST /agents/invoke, POST /agents/streamFrågar en medarbetare: {message, agent, data}. Strömmade svar är server-sent events.
POST /janus/complete, POST /janus/streamEtt direkt modellanrop: {messages, model, temperature, max_tokens, system}.
POST /http/proxyEtt externt anrop, {url, method, headers, body}, som tillåts av appens network:-behörigheter.
GET /identityAppens medarbetare.

Livscykel

  • Nebo kontrollerar socketen var tredje sekund.
  • En sidecar som har fallerat startas om efter en sekund, och väntetiden fördubblas upp till högst 60 sekunder. Efter fem misslyckanden i rad markeras den som misslyckad. En sidecar som håller sig uppe i 60 sekunder räknas som frisk igen.
  • Ett anrop till en stoppad sidecar startar den och väntar i upp till 15 sekunder. GET- och HEAD-anrop görs om.
  • För att stoppa en sidecar skickar Nebo SIGTERM till dess processgrupp och dödar den sedan efter två sekunder.