NeboAI
NeboAI
Kezdés

Alkalmazás-sidecar

A sidecar egy bináris, amely egy alkalmazás mellett fut. Kiszolgálja az oldal API-ját, tárolja az alkalmazás adatait, és eszközöket ad az alkalmazás munkatársának. A Nebo indítja el, helyi socketen keresztül irányítja hozzá a kéréseket, és újraindítja, ha meghibásodik.

A szerződés

A sidecar egy gRPC-szerver egy Unix-socketen. Figyeljen a NEBO_APP_SOCK változóban megadott elérési úton, és implementálja az apps.v0.UIService szolgáltatást. A Nebo minden kéréshez meghívja a HandleRequest metódust; a HealthCheck és a Configure a szolgáltatás része, de jelenleg nem hívódnak meg. A socketnek a manifest startup_timeout értékén belül kell megjelennie, amely alapértelmezés szerint 10 másodperc, és legfeljebb 120 lehet.

syntax = "proto3";
package apps.v0;

service UIService {
  rpc HealthCheck(HealthCheckRequest) returns (HealthCheckResponse);
  rpc Configure(SettingsMap) returns (Empty);
  rpc HandleRequest(HttpRequest) returns (HttpResponse);
}

message HttpRequest {
  string method = 1;               // GET, POST, PUT, DELETE, ...
  string path = 2;                 // relative to /apps/{id}/api/
  string query = 3;                // raw query string
  map<string, string> headers = 4;
  bytes body = 5;
}

message HttpResponse {
  int32 status_code = 1;
  map<string, string> headers = 2;
  bytes body = 3;
}

A sidecarok macOS-en és Linuxon futnak.

Hol találja a Nebo a binárist

Az alkalmazás mappájában a Nebo az alábbiak közül az elsőt használja, amely létezik:

  1. Egy binary nevű fájl
  2. Egy app nevű fájl
  3. Az első fájl a tmp/ mappában
  4. Az első fájl a bin/ mappában
  5. Az első futtatható fájl a sidecar/target/release/ mappában, helyi fejlesztéshez

A binárisnak szabályos, futtatható fájlnak kell lennie, nem szimbolikus linknek, és legfeljebb 500 MB méretűnek. A közzétett alkalmazások a bin/<name> helyen tartalmazzák. Ha a fájl a lemezen megváltozik, a Nebo újraindítja a sidecart.

Környezet

A sidecar üres környezettel és az alábbi változókkal indul:

VáltozóÉrték
NEBO_APP_ID, NEBO_APP_NAME, NEBO_APP_VERSIONAz alkalmazás identitása.
NEBO_APP_DIRAz alkalmazás mappája.
NEBO_APP_SOCKA figyelendő socket, <app folder>/<id>.sock. A Nebo 0600 módra állítja.
NEBO_DATA_DIRAz alkalmazás adatmappája, <data>/appdata/agents/<id>/. Egyben a munkakönyvtár is.
NEBO_API_URLA bot helyi API-ja, http://127.0.0.1:<port>.
NEBO_APP_TOKENToken a bot alkalmazás-API-jának hívásához.
PATH, HOME, TMPDIR, LANG, LC_ALL, TZVáltozatlanul továbbítva.

A szabványos kimenet és a szabványos hibakimenet az adatmappában lévő sidecar.log fájlba kerül. A szabványos bemenet egy cső; a fájlvége azt jelenti, hogy a Nebo leállt, és a sidecarnak ki kell lépnie. A sidecar saját folyamatcsoportban fut.

Az oldalról érkező kérések

A /apps/<id>/api/<path> címre küldött kérés, amelyet az oldal a neboFetch függvénnyel és relatív elérési úttal indít, úgy érkezik a HandleRequest metódushoz, hogy a path értéke <path>. Az _ karakterrel kezdődő elérési utakat elutasítjuk. A kéréstörzsek legfeljebb 10 MB, a válaszok legfeljebb 32 MB méretűek lehetnek.

Eszközök a munkatársnak

Az eszközöket az alkalmazás agent.json fájljában deklarálja. Mindegyikből egy app__<app>__<name> nevű eszköz lesz, amely akkor töltődik be, amikor a munkatársnak szüksége van rá. Egy hívásból kérés lesz a sidecar felé a method és a path szerint.

"tools": [
  {
    "name": "list_deals",
    "description": "List open deals, optionally filtered by stage.",
    "method": "GET",
    "path": "/deals",
    "input_schema": { "type": "object", "properties": { "stage": { "type": "string" } } }
  }
]

A Nebo hívása

A sidecar ugyanazokat a szolgáltatásokat használhatja, mint az oldal, ha meghívja a $NEBO_API_URL/api/v1/apps/$NEBO_APP_ID/... címet a Authorization: Bearer $NEBO_APP_TOKEN fejléccel.

ÚtvonalMit csinál
GET /storage, GET|PUT|DELETE /storage/<key>Az alkalmazás kulcs-érték tárolója.
POST /agents/invoke, POST /agents/streamMegkérdez egy munkatársat: {message, agent, data}. A streamelt válaszok szerver által küldött események.
POST /janus/complete, POST /janus/streamKözvetlen modellhívás: {messages, model, temperature, max_tokens, system}.
POST /http/proxyKülső kérés, {url, method, headers, body}, amelyet az alkalmazás network: engedélyei megengednek.
GET /identityAz alkalmazás munkatársa.

Életciklus

  • A Nebo hárommásodpercenként ellenőrzi a socketet.
  • A meghibásodott sidecar egy másodperc múlva újraindul, és a várakozás legfeljebb 60 másodpercig duplázódik. Öt egymást követő hiba után hibásként jelöljük. A 60 másodpercig működő sidecar újra egészségesnek számít.
  • A leállított sidecarhoz érkező kérés elindítja azt, és legfeljebb 15 másodpercig vár. A GET és HEAD kéréseket újrapróbáljuk.
  • A sidecar leállításához a Nebo SIGTERM jelet küld a folyamatcsoportjának, majd két másodperc után kilövi.