Đang tải bảng tin…
Hugging Face1 Hot1 bình luận4 phút đọc
Granite Switch 4.1: Chat, Decisions, and Speech from One Endpoint
Tóm tắt bởi AI
IBM đã phát hành Granite Switch 4.1, một endpoint API kết hợp các khả năng chat, decision making và speech processing thành một hệ thống duy nhất. Công nghệ này sử dụng transformer architecture với mô hình 34 tỷ parameter, được tối ưu hóa để xử lý đa tác vụ mà không cần chuyển đổi ngữ cảnh. Hệ quả là giảm 60% độ trễ so với phương pháp gọi API tuần tự truyền thống, và giảm 40% chi phí vận hành cho các ứng dụng sử dụng nhiều mô hình. Đáng học hỏi cách IBM thiết kế routing mechanism để tự động phân luồng yêu cầu đến các specialized sub-model phù hợp, qua đó tối ưu hiệu suất mà không cần tốn tài nguyên cho một mô hình khổng lồ duy nhất.
AI có thể tóm tắt sai. Đọc bài gốc trước khi dựa vào thông tin quan trọng.
Vì sao nên đọc: Bài viết này giúp lập trình viên khám phá khả năng đa năng của Granite Switch 4.1 trong tích hợp chat, ra quyết định và giọng nói từ một điểm cuối duy nhất.
Bạn nhớ được gì?
Trả lời 3 câu hỏi ngắn để nhận điểm thưởng cho bài này. Chỉ làm khi bạn muốn lấy điểm.
tối đa +17 điểm
3 câu hỏi · dưới một phút · không bắt buộc
Nguồn: https://huggingface.co/blog/ibm-granite/granite-switch-4-1. 8 Sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.
Hệ sinh thái 8 Sync
Một tài khoản, cả hệ sinh thái
Đọc tin ở đây, luyện code, học theo lộ trình và luyện IELTS trên các sản phẩm anh em — tất cả kết nối với nhau trong hệ sinh thái 8 Sync.
8syncdev.com
8syncdev.comCổng chính của hệ sinh thái: giới thiệu sản phẩm, blog và bảng giá trọn bộ.
Khám pháKhóa học
course.8syncdev.comHọc theo lộ trình rõ từng chặng: video, quiz chấm tự động, certificate và mentor đang làm nghề.
Xem lộ trìnhLuyện code
coding.8syncdev.com1.000 bài DSA, đề tiếng Việt, chấm tự động 7 ngôn ngữ — nhiều bài FREE, chạy ngay trên trình duyệt.
Luyện miễn phíIELTS
ielts.8syncdev.comChấm bốn kỹ năng IELTS bằng AI, phản hồi chi tiết theo rubric.
Dùng thử miễn phíZUS — IDE AI
zus.8syncdev.comAI IDE 22 MB cho dev Việt.
Tải miễn phímind0
mind0.8syncdev.comBộ nhớ tổ chức cho AI agent.
Khám pháAcoLeads
home-acoleads.8syncdev.comAI trực Fanpage, tự sàng lọc lead.
Dùng thửĐề xuất cho bạn
ByteByteGo54 Hot17 phútAI
How Netflix Taught an LLM to Recommend Movies So That You Keep Watching
Netflix đã phát triển hệ thống GenRec để tăng thời gian xem phim của người dùng. Họ huấn luyện Large Language Model (LLM) trên dữ liệu tương tác người dùng với nội dung, sử dụng phương pháp transfer learning từ các mô hình ngôn ngữ lớn. Kết quả là hệ thống có khả năng đề xuất phim cá nhân hóa với độ chính xác cao hơn 23% so với phương pháp traditional collaborative filtering. Điều này cho thấy tiềm năng ứng dụng LLM trong lĩnh vực recommendation systems không chỉ giải trí mà còn có thể mở rộng sang các dịch vụ streaming khác.
Bài viết này giải thích cách Netflix xây dựng hệ thống đề xuất phim GenRec để giữ chân người xem qua công nghệ LLM tiên tiến.
vLLM1 Hot11 phútAI
vLLM Support for NVIDIA Vera Rubin NVL72: 7.8x Throughput over GB200 NVL72
vLLM đã được hỗ trợ trên NVIDIA Vera Rubin NVL72 với hỗ trợ mô hình ngay từ ngày đầu tiên, kernel FlashInfer được tối ưu hóa cho Rubin và MoE nhận biết vị trí, mang lại hiệu suất 7.8 lần so với GB200 NVL72. Sự hỗ trợ này cho phép hệ thống xử lý lượng lớn request mỗi giây trên mỗi GPU nhờ vào những cải tiến kỹ thuật cụ thể. Thông qua việc tích hợp Rubin-tuned FlashInfer kernels, vLLM tối ưu hóa được lượng tính toán trên từng đơn vị GPU. Với locality-aware MoE, mô hình có thể phân bổ công việc hiệu quả hơn giữa các GPU. Các lập trình viên làm việc với hệ thống AI lớn nên cân nhắc cập nhật lên phiên bản vLLM mới để tận dụng tối đa hiệu năng phần cứng này.
vLLM trên NVIDIA Vera Rubin NVL72 tăng hiệu suất lên 7.8 lần so với GB200 NVL72 giúp lập trình viên tối ưu hóa ứng dụng AI hiệu quả.
Hugging Face1 Hot7 phútAI
Introducing Falcon ASR
Falcon ASR là một công nghệ speech recognition được phát triển bởi Technology Innovation Institute, trình bày trên nền tảng Hugging Face. Mô hình này sử dụng kiến trúc transformer với 7 tỷ tham số, đạt độ chính xác cao hơn nhiều so với các mô hình trước đó trong các bài benchmark ASR. Kết quả cho thấy Falcon ASR giảm tỷ lệ lỗi từ xuống còn 5.8% trên bộ dữ liệu LibriSpeech, một cải tiến đáng kể so với các công nghệ hiện có. Với khả năng nhận diện giọng nói 13 ngôn ngữ và độ trễ thấp, Falcon ASR là bước tiến quan trọng trong lĩnh vực speech-to-text. Công nghệ này mở ra tiềm năng ứng dụng trong các hệ thống trợ lý ảo, subtitle tự động và ghi chú cuộc họp thời gian thực.
Bài giới thiệu Falcon ASR giúp lập trình viên nắm bắt mô hình nhận diện giọng nói tiên tiến với hiệu suất vượt trội.
XDA Developers2 Hot6 phútAI
I put my local LLM on Tailscale, and now I can use it from the other side of the world
Tác giả đã triển khai local LLM (Large Language Model) trên mạng Tailscale để truy cập từ xa hiệu quả. Cấu hình kỹ thuật bao gồm việc sử dụng Tailscale Mesh để tạo tunnel bảo mật, kết hợp với container hóa bằng Docker trên máy chủ local. Giải pháp này cho phép truy cập LLM với độ trễ thấp dưới 100ms từ bất kỳ đâu, nhờ cơ chế routing tối ưu của Tailscale. Bài viết cung cấp hướng dẫn chi tiết về thiết lập Tailscale SSH cùng cấu hình firewall để đảm bảo bảo mật. Lập trình viên nên đọc bài gốc để hiểu rõ cách cấu hình Tailscale ACL và tối ưu hóa hiệu suất khi kết nối với các mô hình AI lớn.
Tailscale giúp bạn truy cập mô hình ngôn ngữ cục bộ từ bất kỳ đâu trên thế giới một cách đơn giản và an toàn.
Marc Brooker1 Hot9 phútAI
Small Decisions: Engineering a Leading Model
Bối cảnh tác giả xây dựng mô hình Hobson 2B parameter, lấy cảm hứng từ Jev classifier của TypeSafe AI. Nguyên nhân kỹ thuật là việc thay thế LM head bằng pointer head để đánh giá phương án trả lời, kết hợp fine-tune bằng rank-16 LoRA và self-distillation để giảm hiện tượng quên. Hệ quả cho thấy hiệu năng tốt với latency trung bình ~100ms, dưới 300ms ở p95 trên RTX 3090. Điều đáng học là quy trình huấn luyện với 115k dữ liệu chủ yếu public và synthetic hard questions, cùng calibration qua temperature scaling theo từng loại câu hỏi.
Bài này giúp lập trình viên hiểu cách tối ưu hóa mô hình AI nhỏ với hiệu suất cao thông qua các kỹ thuật fine-tuning và kiến trúc hiệu quả.
XDA Developers0 Hot3 phútAI
I run my local LLMs inside the ChatGPT desktop app now, and it took one free open-source tool to do it
Bạn đang tìm kiếm cách tích hợp các mô hình ngôn ngữ lớn local vào ứng dụng ChatGPT desktop mà không cần trả phí. Công cụ opencodex cho phép bạn thêm bất kỳ LLM nào vào Codex chỉ với một giải pháp mã nguồn mở. Tính đến thời điểm bài viết đăng tải, opencodex đã đơn giản hóa quá trình này bằng cách cung cấp giao diện trực quan cho việc quản lý và triển khai mô hình. Giải pháp này giúp người dùng tận dụng sức mạnh của các local LLMs trong giao diện quen thuộc của ChatGPT mà không cần kiến thức chuyên sâu về kỹ thuật. Đây là phương pháp đáng cân nhắc cho lập trình viên muốn tự do tùy chỉnh môi trường làm việc với AI mà không bị ràng buộc bởi các nền tảng đóng.
Công cụ mã nguồn mở opencodex giúp bạn tích hợp bất kỳ mô hình ngôn ngữ lớn nào vào ứng dụng ChatGPT desktop một cách đơn giản.
Machine Learning Mastery1 Hot11 phútAI
The Roadmap to Mastering Voice Agents
Voice agents mở rộng hệ thống AI dựa trên text bằng cách bọc language model với các lớp speech-to-text (STT) và text-to-speech (TTS), tạo ra thách thức về độ trễ, định dạng âm thanh, gián đoạn và lỗi tích tụ. Con đường học tập gồm bảy giai đoạn: hiểu pipeline STT-LLM-TTS, layer xử lý ngôn ngữ, kiến trúc streaming real-time, thiết kế hội thoại, tích hợp tool và memory, triển khai và đánh giá. Bạn nên bắt đầu từ giai đoạn phù hợp với kinh nghiệm về text-based LLM agents của mình. Các chuyên sâu nâng cao bao gồm hỗ trợ đa ngôn ngữ, phát hiện cảm xúc và voice cloning.
Bài viết cung cấp lộ trình bảy giai đoạn chi tiết giúp lập trình viên nắm vững kiến thức và kỹ năng cần thiết để phát triển hệ thống voice agent hiệu quả.
Medium1 Hot6 phútAI
Fine-Tune an Open-Source LLM on Your Own Data
Fine-tune một mô hình LLM mã nguồn mở trên dữ liệu riêng cho phép chuyển đổi mô hình tổng qu thành công cụ chuyên biệt. Bài hướng dẫn chi tiết quy trình fine-tune với các công cụ như Hugging Face Transformers, QLoRA cho hiệu quả bộ nhớ, và dataset khoảng 10K samples. Quá trình này giúp đạt hiệu suất cao trên nhiệm vụ cụ thể mà không cần huấn luyện từ đầu. Các tác giả cũng trình bày kỹ thuật xử lý tokenization và template prompt để tối ưu kết quả fine-tuning. Đây là giải pháp hữu ích cho các lập trình viên muốn ứng dụng LLM trong lĩnh vực chuyên ngành với chi phí tính toán tối ưu.
Fine-tune một mô hình LLM nguồn mở trên dữ liệu riêng để biến mô hình tổng quát thành công cụ chuyên biệt cho nhiệm vụ cụ thể của bạn.
Bình luận
Đang tải bình luận…