TERATEC

OpenVINO™ 툴킷은 정확도를 유지하고, 모델 공간을 줄이고, 하드웨어 사용을 최적화하는 동시에 더 낮은 대기 시간과 더 높은 처리량으로 AI 추론을 가속화하는 오픈 소스 툴킷입니다. 컴퓨터 비전, 대규모 언어 모델, 생성 AI와 같은 영역에서 AI 개발 및 딥 러닝 통합을 간소화합니다.

작동 방식

TensorFlow 및 PyTorch와 같은 널리 사용되는 프레임워크를 사용하여 훈련된 모델을 변환하고 최적화합니다. 온프레미스와 온디바이스, 브라우저 또는 클라우드에서 인텔® 하드웨어와 환경이 혼합된 환경에 배포하세요.
Toolkit Add-Ons

Benchmark Tool
- 지원되는 장치에서 딥 러닝 추론 성능을 추정합니다.
Dataset Management Framework
- 이 추가 기능을 사용하여 데이터세트를 구축, 변환, 분석하세요.
Model Optimizer
- 이 크로스 플랫폼 명령줄 도구는 교육 환경과 배포 환경 간의 전환을 촉진하고, 정적 모델 분석을 수행하고, 엔드포인트 대상 장치에서 최적의 성능을 위해 딥 러닝 모델을 조정합니다.
Neural Network Compression Framework
- 양자화 인식 교육을 위해 PyTorch를 기반으로 하는 이 프레임워크를 사용하세요.
Open Model Zoo
- 딥 러닝 구현에 도움이 되는 전체 애플리케이션 템플릿을 제공하는 사전 학습된 딥 러닝 모델과 데모 애플리케이션을 확인하세요.
OpenVINO Model Server
- 이 확장 가능한 추론 서버는 Intel® OpenVINO™ 배포판 툴킷에 최적화된 모델을 제공하기 위한 것입니다.
Training Extensions
- 맞춤형 데이터로 학습할 수 있는 딥 러닝 모델에 액세스하세요.

더욱 쉬워진 모델 액세스 및 변환
Product	Details
TensorFlow	Improved out-of-the-box experience for TensorFlow sentence encoding models through the installation of OpenVINO tokenizers.
Hugging Face	We're making it easier for developers by integrating more OpenVINO features with the Hugging Face ecosystem. Store quantization configurations for popular models directly in Hugging Face to compress models into an int4 format while preserving accuracy and performance.

생성적 AI 및 LLM 개선 사항
Feature	Details
Model Coverage	New and noteworthy models validated: Mistral, StableLM-tuned-alpha-3b, and StableLM-Epoch-3B OpenVINO now supports Mixture of Experts (MoE), a new architecture that helps process more efficient generative models through the pipeline.
Performance Improvements for LLMs	Experience enhanced LLM performance on Intel® CPUs, with internal memory state enhancement, and int8 precision for a key-value (KV) cache. Specifically tailored for multiquery LLMs like ChatGLM.
Neural Network Compression Framework (NNCF)	Improved quality on int4 weight compression for LLMs by adding the popular technique, Activation-aware Weight Quantization, to the NNCF. This addition reduces memory requirements and helps speed up token generation.

더 뛰어난 휴대성과 성능
Product	Details
Arm Hardware Support Updates	Improved performance on Arm platforms by enabling the Arm threading library. In addition, we now support multi-core Arm platforms and enabled FP16 precision by default on macOS.
Intel Hardware Support	A preview plug-in architecture of the integrated NPU as part of Intel® Core™ Ultra processor (formerly code named Meteor Lake) is now included in the main OpenVINO toolkit package on Python Package Index (PyPI).
OpenVINO Toolkit Model Server	New and improved LLM serving samples from OpenVINO model server for multibatch inputs and retrieval-augmented generation (RAG).
JavaScript API	A preview plug-in architecture of the integrated NPU as part of Intel® Core™ Ultra processor (formerly code named Meteor Lake) is now included in the main OpenVINO toolkit package on Python Package Index (PyPI).

테라텍 자료
번호	제목	작성자	등록일
no contents.

닫기

견적 및 상담요청

견적,상담 폼

견적 및 상담요청
이름 *
회사명 *
연락처 *
이메일 *
구분
내용
첨부파일

견적,상담 폼

수집하는 개인정보 항목 | 개인정보의 수집 및 이용목적 | 개인정보의 보유 및 이용기간

■ 수집하는 개인정보 항목: 회사는 무료상담문의를 위해 아래와 같은 개인정보를 수집하고 있습니다.; 수집항목 : 이름, 연락처, 휴대전화번호, 쿠키; 개인정보 수집방법 : 홈페이지(상담신청란)
■ 개인정보의 수집 및 이용목적: 회사는 수집한 개인정보를 다음의 목적을 위해 활용합니다. 서비스 제공에 관한 계약 이행 및 서비스 제공에 따른 정보제공,콘텐츠 제공, 불만처리 등 민원처리, 고지사항 전달 마케팅 및 광고에 활용, 이벤트 등 광고성 정보 전달 , 접속 빈도 파악 또는 회원의 서비스 이용에 대한 통계
■ 개인정보의 보유 및 이용기간: 원칙적으로, 개인정보 수집 및 이용목적이 달성된 후에는 해당 정보를 지체 없이 파기합니다.; 단, 관계법령의 규정에 의하여 보존할 필요가 있는 경우 회사는 아래와 같이 관계법령에서 정한 일정한 기간 동안 회원정보를 보관합니다.; 보존 항목 : 결제기록; 보존 근거 : 계약 또는 청약철회 등에 관한 기록; 보존 기간 : 3년; 계약 또는 청약철회 등에 관한 기록 : 5년 (전자상거래등에서의 소비자보호에 관한 법률); 대금결제 및 재화 등의 공급에 관한 기록 : 5년 (전자상거래등에서의 소비자보호에 관한 법률); 소비자의 불만 또는 분쟁처리에 관한 기록 : 3년 (전자상거래등에서의 소비자보호에 관한 법률)

개인정보 수집 및 이용 동의

문의하기

작동 방식

Toolkit Add-Ons

견적 및 상담요청