NeboAI
NeboAI
Kom i gang

App-sidecar

En sidecar er en binærfil som kjører ved siden av en app. Den serverer sidens API, tar vare på appens data og gir appens ansatt verktøy. Nebo starter den, ruter forespørsler til den over en lokal socket og starter den på nytt når den feiler.

Kontrakten

En sidecar er en gRPC-server på en Unix-socket. Lytt på stien i NEBO_APP_SOCK og implementer apps.v0.UIService. Nebo kaller HandleRequest for hver forespørsel; HealthCheck og Configure er en del av tjenesten, men kalles ikke i dag. Socketen må dukke opp innen manifestets startup_timeout, som er 10 sekunder som standard og kan være maks 120.

syntax = "proto3";
package apps.v0;

service UIService {
  rpc HealthCheck(HealthCheckRequest) returns (HealthCheckResponse);
  rpc Configure(SettingsMap) returns (Empty);
  rpc HandleRequest(HttpRequest) returns (HttpResponse);
}

message HttpRequest {
  string method = 1;               // GET, POST, PUT, DELETE, ...
  string path = 2;                 // relative to /apps/{id}/api/
  string query = 3;                // raw query string
  map<string, string> headers = 4;
  bytes body = 5;
}

message HttpResponse {
  int32 status_code = 1;
  map<string, string> headers = 2;
  bytes body = 3;
}

Sidecars kjører på macOS og Linux.

Hvor Nebo finner binærfilen

I appens mappe bruker Nebo den første av disse som finnes:

  1. En fil som heter binary
  2. En fil som heter app
  3. Den første filen i tmp/
  4. Den første filen i bin/
  5. Den første kjørbare filen i sidecar/target/release/, for lokal utvikling

Binærfilen må være en vanlig, kjørbar fil, ikke en symbolsk lenke, og maks 500 MB. Publiserte apper har den i bin/<name>. Når filen endres på disken, starter Nebo sidecaren på nytt.

Miljø

Sidecaren starter med et tomt miljø og disse variablene:

VariabelVerdi
NEBO_APP_ID, NEBO_APP_NAME, NEBO_APP_VERSIONAppens identitet.
NEBO_APP_DIRAppens mappe.
NEBO_APP_SOCKSocketen det skal lyttes på, <app folder>/<id>.sock. Nebo setter modusen til 0600.
NEBO_DATA_DIRAppens datamappe, <data>/appdata/agents/<id>/. Også arbeidsmappen.
NEBO_API_URLBotens lokale API, http://127.0.0.1:<port>.
NEBO_APP_TOKENEt token for å kalle botens app-API.
PATH, HOME, TMPDIR, LANG, LC_ALL, TZSendes videre.

Standard utdata og standard feil går til sidecar.log i datamappen. Standard inndata er et rør; slutt på filen betyr at Nebo har forsvunnet og at sidecaren skal avslutte. Sidecaren kjører i sin egen prosessgruppe.

Forespørsler fra siden

En forespørsel til /apps/<id>/api/<path>, som siden gjør med neboFetch og en relativ sti, når HandleRequest med path satt til <path>. Stier som starter med _, avvises. Forespørselsinnhold er begrenset til 10 MB og svar til 32 MB.

Verktøy for den ansatte

Erklær verktøy i appens agent.json. Hvert av dem blir et verktøy som heter app__<app>__<name>, og lastes inn når den ansatte trenger det. Et kall blir en forespørsel til sidecaren på method og path.

"tools": [
  {
    "name": "list_deals",
    "description": "List open deals, optionally filtered by stage.",
    "method": "GET",
    "path": "/deals",
    "input_schema": { "type": "object", "properties": { "stage": { "type": "string" } } }
  }
]

Kalle Nebo

Sidecaren kan bruke de samme tjenestene som siden ved å kalle $NEBO_API_URL/api/v1/apps/$NEBO_APP_ID/... med headeren Authorization: Bearer $NEBO_APP_TOKEN.

RuteGjør
GET /storage, GET|PUT|DELETE /storage/<key>Appens nøkkel-verdi-lager.
POST /agents/invoke, POST /agents/streamSpør en ansatt: {message, agent, data}. Strømmede svar er server-sent events.
POST /janus/complete, POST /janus/streamEt direkte modellkall: {messages, model, temperature, max_tokens, system}.
POST /http/proxyEn utgående forespørsel, {url, method, headers, body}, tillatt av appens network:-tillatelser.
GET /identityAppens ansatt.

Livssyklus

  • Nebo sjekker socketen hvert tredje sekund.
  • En sidecar som har feilet, starter på nytt etter ett sekund, med dobling opptil maks 60 sekunder. Etter fem feil på rad merkes den som feilet. En sidecar som holder seg oppe i 60 sekunder, er frisk igjen.
  • En forespørsel til en stoppet sidecar starter den og venter i opptil 15 sekunder. GET- og HEAD-forespørsler prøves på nytt.
  • For å stoppe en sidecar sender Nebo SIGTERM til prosessgruppen, og avslutter den etter to sekunder.