이 이야기를 들어보세요
DeepLearning.AI가 최근 인텔과 협력하여 Andrew Ng가 제공하는 새로운 과정인 ‘Multimodal RAG: Chat with Videos’를 소개함.
이 과정은 비디오 콘텐츠에서 근거 있는 응답을 생성하는 시스템 구축에 중점을 둠. 참가자들은 인텔과 마이크로소프트 리서치가 개발한 다중 모달 변환기인 BridgeTower 모델을 사용하여 인터랙티브한 채팅 시스템을 만들 것임.
이 과정의 목표는 참가자들이 비디오 콘텐츠에서 공동 임베딩을 생성하고 이를 벡터 데이터베이스에 저장하여, 대형 비전-언어 모델(LVLMs)을 사용해 텍스트와 이미지 입력을 통해 질문에 답할 수 있는 검색 증강 생성(RAG) 파이프라인을 구축하는 것임.
과정이 끝나면 참가자들은 비디오 콘텐츠와 지능적으로 상호작용할 수 있는 시스템을 구축할 수 있게 됨. 참가자들은 또한 인텔의 클라우드에서 Prediction Guard가 호스팅하는 다중 모달 모델에 접근하기 위해 API 호출을 하게 됨.
Andrew Ng는 최근 한국의 국가 AI 위원회에 자문위원으로 합류함. 그의 최근 국가 AI 위원회 임명은 DeepLearning.AI를 통해 시작된 일련의 교육 이니셔티브에 이어 이루어진 것임.
지난달 DeepLearning은 개인 데이터에 대한 안전한 훈련을 가능하게 하는 연합 학습 과정과 Flower Labs와의 파트너십을 발표함.
