NeboAI
NeboAI
ይጀምሩ

የመተግበሪያ ተጓዳኝ ሂደት

sidecar ከመተግበሪያ ጎን የሚሠራ ተፈጻሚ ፋይል ነው። የገጹን API ያቀርባል፣ የመተግበሪያውን ውሂብ ይይዛል፣ ለመተግበሪያው ሰራተኛም መሣሪያዎችን ይሰጣል። Nebo ያስጀምረዋል፣ በአካባቢ socket ላይ ጥያቄዎችን ወደ እሱ ያስተላልፋል፣ ሲወድቅም እንደገና ያስጀምረዋል።

ውሉ

sidecar በUnix socket ላይ ያለ የgRPC አገልጋይ ነው። በNEBO_APP_SOCK ውስጥ ባለው ዱካ ላይ ያዳምጡና apps.v0.UIServiceን ይተግብሩ። Nebo ለእያንዳንዱ ጥያቄ HandleRequestን ይጠራል፤ HealthCheck እና Configure የአገልግሎቱ አካል ናቸው ግን ዛሬ አይጠሩም። socketው በማኒፌስቱ startup_timeout ውስጥ መታየት አለበት፣ ይህም በነባሪ 10 ሰከንዶች ሲሆን ቢበዛ 120 ሊሆን ይችላል።

syntax = "proto3";
package apps.v0;

service UIService {
  rpc HealthCheck(HealthCheckRequest) returns (HealthCheckResponse);
  rpc Configure(SettingsMap) returns (Empty);
  rpc HandleRequest(HttpRequest) returns (HttpResponse);
}

message HttpRequest {
  string method = 1;               // GET, POST, PUT, DELETE, ...
  string path = 2;                 // relative to /apps/{id}/api/
  string query = 3;                // raw query string
  map<string, string> headers = 4;
  bytes body = 5;
}

message HttpResponse {
  int32 status_code = 1;
  map<string, string> headers = 2;
  bytes body = 3;
}

Sidecars በmacOS እና በLinux ላይ ይሠራሉ።

Nebo ተፈጻሚ ፋይሉን የሚያገኝበት ቦታ

በመተግበሪያው አቃፊ ውስጥ Nebo ከእነዚህ ውስጥ መጀመሪያ ያለውን ይጠቀማል፡

  1. binary የሚባል ፋይል
  2. app የሚባል ፋይል
  3. በtmp/ ውስጥ ያለው የመጀመሪያው ፋይል
  4. በbin/ ውስጥ ያለው የመጀመሪያው ፋይል
  5. ለአካባቢ ልማት፣ በsidecar/target/release/ ውስጥ ያለው የመጀመሪያው ተፈጻሚ ፋይል

ተፈጻሚ ፋይሉ መደበኛ፣ ተፈጻሚ ፋይል መሆን አለበት፤ symbolic link ሳይሆን፣ ቢበዛም 500 MB። የታተሙ መተግበሪያዎች በbin/<name> ይይዙታል። ፋይሉ በዲስክ ላይ ሲለወጥ Nebo sidecarውን እንደገና ያስጀምራል።

አካባቢ

sidecarው በባዶ አካባቢና በእነዚህ ተለዋዋጮች ይጀምራል፡

ተለዋዋጭእሴት
NEBO_APP_ID, NEBO_APP_NAME, NEBO_APP_VERSIONየመተግበሪያው ማንነት።
NEBO_APP_DIRየመተግበሪያው አቃፊ።
NEBO_APP_SOCKየሚደመጥበት socket፣ <app folder>/<id>.sock። Nebo ሁነታውን ወደ 0600 ያዘጋጃል።
NEBO_DATA_DIRየመተግበሪያው የውሂብ አቃፊ፣ <data>/appdata/agents/<id>/። የሥራ ማውጫውም ነው።
NEBO_API_URLየቦቱ አካባቢያዊ API፣ http://127.0.0.1:<port>።
NEBO_APP_TOKENየቦቱን የመተግበሪያ API ለመጥራት የሚያገለግል ቶከን።
PATH, HOME, TMPDIR, LANG, LC_ALL, TZእንዳለ ይተላለፋል።

መደበኛ ውጤትና መደበኛ ስህተት በውሂብ አቃፊው ውስጥ ወደ sidecar.log ይሄዳሉ። መደበኛ ግብዓት pipe ነው፤ የፋይል መጨረሻ Nebo ሄዷል ማለት ነው፣ sidecarውም መውጣት አለበት። sidecarው በራሱ የሂደት ቡድን ውስጥ ይሠራል።

ከገጹ የሚመጡ ጥያቄዎች

ገጹ በneboFetchና በአንጻራዊ ዱካ የሚያደርገው ወደ /apps/<id>/api/<path> የሚሄድ ጥያቄ path ወደ <path> ተዘጋጅቶ HandleRequest ጋር ይደርሳል። በ_ የሚጀምሩ ዱካዎች ውድቅ ይደረጋሉ። የጥያቄ አካላት በ10 MB፣ ምላሾች ደግሞ በ32 MB የተገደቡ ናቸው።

ለሰራተኛው መሣሪያዎች

በመተግበሪያው agent.json ውስጥ መሣሪያዎችን ያውጁ። እያንዳንዱ app__<app>__<name> የሚባል መሣሪያ ይሆናል፣ ሰራተኛው ሲያስፈልገውም ይጫናል። ጥሪ በmethod እና በpath ወደ sidecarው የሚሄድ ጥያቄ ይሆናል።

"tools": [
  {
    "name": "list_deals",
    "description": "List open deals, optionally filtered by stage.",
    "method": "GET",
    "path": "/deals",
    "input_schema": { "type": "object", "properties": { "stage": { "type": "string" } } }
  }
]

Neboን መጥራት

sidecarው $NEBO_API_URL/api/v1/apps/$NEBO_APP_ID/...ን ከAuthorization: Bearer $NEBO_APP_TOKEN header ጋር በመጥራት ገጹ የሚጠቀማቸውን ያንኑ አገልግሎቶች መጠቀም ይችላል።

መስመርየሚሠራው
GET /storage, GET|PUT|DELETE /storage/<key>የመተግበሪያው የቁልፍ-እሴት ማከማቻ።
POST /agents/invoke, POST /agents/streamሰራተኛን ይጠይቃል፡ {message, agent, data}። የዥረት ምላሾች server-sent events ናቸው።
POST /janus/complete, POST /janus/streamቀጥተኛ የሞዴል ጥሪ፡ {messages, model, temperature, max_tokens, system}።
POST /http/proxyበመተግበሪያው network: ፈቃዶች የተፈቀደ ውጫዊ ጥያቄ፣ {url, method, headers, body}።
GET /identityየመተግበሪያው ሰራተኛ።

የሕይወት ዑደት

  • Nebo socketውን በየሦስት ሰከንዶች ይፈትሻል።
  • የወደቀ sidecar ከአንድ ሰከንድ በኋላ እንደገና ይጀምራል፣ እየተባዛ ቢበዛ እስከ 60 ሰከንዶች። ከአምስት ተከታታይ ውድቀቶች በኋላ እንደወደቀ ምልክት ይደረግበታል። ለ60 ሰከንዶች ሳይቋረጥ የቆየ sidecar እንደገና ጤናማ ይሆናል።
  • ወደ ቆመ sidecar የሚሄድ ጥያቄ ያስጀምረዋል፣ እስከ 15 ሰከንዶችም ይጠብቃል። የGET እና የHEAD ጥያቄዎች እንደገና ይሞከራሉ።
  • sidecarን ለማቆም Nebo ወደ ሂደት ቡድኑ SIGTERM ይልካል፣ ከሁለት ሰከንዶች በኋላም ያስገድለዋል።