Huggingface変圧器を展開する最も簡単な方法

変圧器を知らなければならない.さて、私はAutobots、バンブビー、しかし、有名なマシンの学習構造を意味しない.
おそらく、HuggingFace変圧器モデルを使用しています.しかし、あなたはそれらを展開したことがありますか?
Pinferenciaで、ちょうど3つのより多くの線を加えてください、そして、あなたのモデルはオンラインになります!

Never heard of Pinferencia? It’s not late. Go to its GitHub to take a look. Don’t forget to give it a star if you like it.

Huggingface変圧器パイプライン

どのようにHuggingface変圧器パイプラインを使用しますか?

from transformers import pipeline

vision_classifier = pipeline(task="image-classification")


def predict(data):
    return vision_classifier(images=data)

そして、そのURLでイメージを予測することができます.

predict("https://cdn.pixabay.com/photo/2018/08/12/16/59/parrot-3601194_1280.jpg")

結果:

[[{'score': 0.9489120244979858, 'label': 'macaw'},
  {'score': 0.014800671488046646, 'label': 'broom'},
  {'score': 0.009150494821369648, 'label': 'swab, swob, mop'},
  {'score': 0.0018255198374390602, 'label': "plunger, plumber's helper"},
  {'score': 0.0017631321679800749,
   'label': 'African grey, African gray, Psittacus erithacus'}]]

配備する

今Pinferenciaで、それを展開するだけで3つの行を追加し、app.pyとして保存

from transformers import pipeline
from pinferencia import Server

vision_classifier = pipeline(task="image-classification")


def predict(data):
    return vision_classifier(images=data)


service = Server()
service.register(model_name="vision", model=predict)

今すぐターミナルに行って実行する

uvicorn app:service --reload

あなたのサービスはオンラインです!http://127.0.0.1:8000に行って、APIをチェックしてください.
これでリクエストを送信できます.

curl --location --request POST 'http://127.0.0.1:8000/v1/models/vision/predict' \
    --header 'Content-Type: application/json' \
    --data-raw '{
        "data": "https://cdn.pixabay.com/photo/2018/08/12/16/59/parrot-3601194_1280.jpg"
    }'

結果:

[[{'score': 0.9489120244979858, 'label': 'macaw'},
  {'score': 0.014800671488046646, 'label': 'broom'},
  {'score': 0.009150494821369648, 'label': 'swab, swob, mop'},
  {'score': 0.0018255198374390602, 'label': "plunger, plumber's helper"},
  {'score': 0.0017631321679800749,
   'label': 'African grey, African gray, Psittacus erithacus'}]]

またはちょうどインタラクティブなUI Pinferenciaを使用して提供します:


簡単に十分な、huh?
あなたはPinferencia行くhttps://github.com/underneathall/pinferencia/star行く場合は、星を与える.