NeboAI
NeboAI
தொடங்குங்கள்

App Sidecar

sidecar என்பது ஒரு ஆப்புக்கு அருகில் இயங்கும் பைனரி. அது பக்கத்தின் API-ஐ வழங்குகிறது, ஆப்பின் தரவை வைத்திருக்கிறது, ஆப்பின் பணியாளருக்குக் கருவிகளைத் தருகிறது. Nebo அதைத் தொடங்கி, உள்ளூர் சாக்கெட் மூலம் கோரிக்கைகளை அதற்கு வழிநடத்தி, அது தோல்வியடையும்போது மறுதொடக்கம் செய்கிறது.

ஒப்பந்தம்

sidecar என்பது Unix சாக்கெட்டில் உள்ள gRPC சர்வர். NEBO_APP_SOCK-இல் உள்ள பாதையில் கேட்டு, apps.v0.UIService-ஐச் செயல்படுத்துங்கள். Nebo ஒவ்வொரு கோரிக்கைக்கும் HandleRequest-ஐ அழைக்கிறது; HealthCheck மற்றும் Configure சேவையின் பகுதிகள், ஆனால் இன்று அழைக்கப்படுவதில்லை. மேனிஃபெஸ்டின் startup_timeout-க்குள் சாக்கெட் தோன்ற வேண்டும்; அதன் இயல்புநிலை 10 வினாடிகள், அதிகபட்சம் 120.

syntax = "proto3";
package apps.v0;

service UIService {
  rpc HealthCheck(HealthCheckRequest) returns (HealthCheckResponse);
  rpc Configure(SettingsMap) returns (Empty);
  rpc HandleRequest(HttpRequest) returns (HttpResponse);
}

message HttpRequest {
  string method = 1;               // GET, POST, PUT, DELETE, ...
  string path = 2;                 // relative to /apps/{id}/api/
  string query = 3;                // raw query string
  map<string, string> headers = 4;
  bytes body = 5;
}

message HttpResponse {
  int32 status_code = 1;
  map<string, string> headers = 2;
  bytes body = 3;
}

Sidecar-கள் macOS மற்றும் Linux-இல் இயங்குகின்றன.

Nebo பைனரியை எங்கே கண்டறிகிறது

ஆப்பின் கோப்புறையில், இவற்றில் முதலில் இருப்பதை Nebo பயன்படுத்துகிறது:

  1. binary என்ற பெயருள்ள கோப்பு
  2. app என்ற பெயருள்ள கோப்பு
  3. tmp/-இல் உள்ள முதல் கோப்பு
  4. bin/-இல் உள்ள முதல் கோப்பு
  5. உள்ளூர் மேம்பாட்டுக்காக, sidecar/target/release/-இல் உள்ள முதல் இயக்கக் கோப்பு

பைனரி ஒரு சாதாரண, இயக்கக்கூடிய கோப்பாக இருக்க வேண்டும், symbolic link அல்ல, அதிகபட்சம் 500 MB. வெளியிடப்பட்ட ஆப்கள் அதை bin/<name>-இல் கொண்டுள்ளன. வட்டில் கோப்பு மாறும்போது, Nebo sidecar-ஐ மறுதொடக்கம் செய்கிறது.

சூழல்

sidecar காலியான சூழலுடனும் இந்த மாறிகளுடனும் தொடங்குகிறது:

மாறிமதிப்பு
NEBO_APP_ID, NEBO_APP_NAME, NEBO_APP_VERSIONஆப்பின் அடையாளம்.
NEBO_APP_DIRஆப்பின் கோப்புறை.
NEBO_APP_SOCKகேட்க வேண்டிய சாக்கெட், <app folder>/<id>.sock. Nebo அதன் பயன்முறையை 0600 என அமைக்கிறது.
NEBO_DATA_DIRஆப்பின் தரவுக் கோப்புறை, <data>/appdata/agents/<id>/. இதுவே பணிக் கோப்பகமும்.
NEBO_API_URLபாட்டின் உள்ளூர் API, http://127.0.0.1:<port>.
NEBO_APP_TOKENபாட்டின் ஆப் API-ஐ அழைப்பதற்கான டோக்கன்.
PATH, HOME, TMPDIR, LANG, LC_ALL, TZஅப்படியே அனுப்பப்படும்.

நிலையான வெளியீடும் நிலையான பிழையும் தரவுக் கோப்புறையில் உள்ள sidecar.log-க்குச் செல்கின்றன. நிலையான உள்ளீடு ஒரு pipe; கோப்பின் முடிவு என்றால் Nebo போய்விட்டது, sidecar வெளியேற வேண்டும். sidecar தன் சொந்தச் செயல்முறைக் குழுவில் இயங்குகிறது.

பக்கத்திலிருந்து வரும் கோரிக்கைகள்

பக்கம் neboFetch மற்றும் சார்புப் பாதையுடன் செய்யும் /apps/<id>/api/<path>-க்கான கோரிக்கை, path = <path> என அமைக்கப்பட்டு HandleRequest-ஐச் சென்றடைகிறது. _-இல் தொடங்கும் பாதைகள் மறுக்கப்படும். கோரிக்கை உடல்கள் 10 MB-க்கும் பதில்கள் 32 MB-க்கும் வரம்புக்குட்பட்டவை.

பணியாளருக்கான கருவிகள்

ஆப்பின் agent.json-இல் கருவிகளை அறிவியுங்கள். ஒவ்வொன்றும் app__<app>__<name> என்ற பெயருள்ள கருவியாகி, பணியாளருக்குத் தேவைப்படும்போது ஏற்றப்படுகிறது. ஒரு அழைப்பு method மற்றும் path-இல் sidecar-க்கான கோரிக்கையாகிறது.

"tools": [
  {
    "name": "list_deals",
    "description": "List open deals, optionally filtered by stage.",
    "method": "GET",
    "path": "/deals",
    "input_schema": { "type": "object", "properties": { "stage": { "type": "string" } } }
  }
]

Nebo-வை அழைத்தல்

Authorization: Bearer $NEBO_APP_TOKEN தலைப்புடன் $NEBO_API_URL/api/v1/apps/$NEBO_APP_ID/...-ஐ அழைப்பதன் மூலம், பக்கம் பயன்படுத்தும் அதே சேவைகளை sidecar-உம் பயன்படுத்தலாம்.

வழிசெய்வது
GET /storage, GET|PUT|DELETE /storage/<key>ஆப்பின் key-value சேமிப்பகம்.
POST /agents/invoke, POST /agents/streamஒரு பணியாளரிடம் கேட்கிறது: {message, agent, data}. ஸ்ட்ரீம் பதில்கள் server-sent events.
POST /janus/complete, POST /janus/streamநேரடி மாடல் அழைப்பு: {messages, model, temperature, max_tokens, system}.
POST /http/proxyஆப்பின் network: அனுமதிகளால் அனுமதிக்கப்பட்ட வெளிப்புறக் கோரிக்கை, {url, method, headers, body}.
GET /identityஆப்பின் பணியாளர்.

ஆயுட்காலம்

  • Nebo ஒவ்வொரு மூன்று வினாடிக்கும் சாக்கெட்டைச் சோதிக்கிறது.
  • தோல்வியடைந்த sidecar ஒரு வினாடிக்குப் பிறகு மறுதொடக்கம் செய்யப்படும், இடைவெளி இரட்டிப்பாகி அதிகபட்சம் 60 வினாடிகள் வரை. தொடர்ந்து ஐந்து தோல்விகளுக்குப் பிறகு அது தோல்வியடைந்ததாகக் குறிக்கப்படும். 60 வினாடிகள் இயக்கத்தில் இருக்கும் sidecar மீண்டும் நலமானதாகும்.
  • நிறுத்தப்பட்ட sidecar-க்கான கோரிக்கை அதைத் தொடங்கி 15 வினாடிகள் வரை காத்திருக்கும். GET மற்றும் HEAD கோரிக்கைகள் மீண்டும் முயலப்படும்.
  • ஒரு sidecar-ஐ நிறுத்த, Nebo அதன் செயல்முறைக் குழுவுக்கு SIGTERM அனுப்பி, இரண்டு வினாடிகளுக்குப் பிறகு அதைக் கட்டாயமாக நிறுத்துகிறது.