科睿唯安推出AI研究助理服務

科睿唯安(Clarivate) 在9月正式推出 AI研究助理服務 (AI-powered Research Assistants),目前可於 Web of Science、ProQuest、Primo 使用。雖然聽到有人反應實際效果不是很理想,但至少讓我們看到在檢索端 AI 應用的可能性。目前此功能標示著 Beta版,相信還有很大的進步空間。

先看一段 Primo研究助理 Demo 影片

以 Primo Research Assistant (Primo研究助理) 來說,效果不理想的原因,從官方文件或許可以看出一些端倪[1]

操作問題:與大家熟悉的 ChatGPT 相比較,目前有幾個限制

  1. 不支援對特定類型或特定時期的資料請求,例如「給我關於鳥類遷徙的同行評審文章」或「給我最新的氣候變遷研究」。
  2. 不支援跟進式提問,即每個問題都是獨立的。
  3. 對話紀錄不會保留,預計到11月才會有此功能。

內容來源問題:內容主要來自 CDI (Central Discovery Index),但是不包含下列內容

  1. 新聞內容(報紙文章、電子報、文字資源)
  2. CDI 館藏清單中未標示為「免費搜尋」的館藏(付費的索摘資料庫)
  3. Metadata 及摘要不足的來源資料
  4. 被標示撤回的文件。
  5. APA、DataCite、Elsevier、JSTOR、Conde Nast的內容(包含從Aggregators取得)

個人覺得 Primo研究助理成功的關鍵在於內容的豐富性及其品質,我不知道上述第5點的資料來源的影響有多大。

Primo研究助理的運作機制採用了 Retrieval Augmented Generation (RAG) 架構[2],會影響其效果的原因還有一種可能,就是推薦機制問題,例如有人反應它所提供的前5個資料來源的出版年偏舊。在官方文件提到它從CDI 取得最多30個 query 的結果,再經過 re-ranking 後,將前5個結果送到 LLM (Large Language Model,大型語言模型),最後生成出我們看到的成果。所以問題有可能出在CDI 的查詢或 re-ranking 的排序機制。

至於生成出來的文字,我覺得過於精簡,也許與我下的提示有關,還是因為 CDI 的內容就是這樣? 這部分還要多加測試。

最後關於Clarivate 的 AI研究助理服務,還有幾點要注意的

  • 目前搜尋次數沒有限制,但未來若用量增加造成大型語言模型的成本上升,Clarivate 可能會對搜尋數量提出一些限制措施。
  • 對本地語言的支持可能會變動。目前使用 OpenAI 的 GPT-3.5,預計很快就會升級到 GPT-4o mini。

延伸閱讀:

  1. Ex Libris Knowledge Center — Getting Started with Primo Research Assistant
  2. Library Views圖書館 — RAG是什麼?
  3. Clarivate Taiwan 科睿唯安 — 講座重播:透過負責任的AI 讓探索更有效率 Web of Science Research Assistant
  4. ProQuest Video — ProQuest Research Assistant Expands

在〈科睿唯安推出AI研究助理服務〉中有 1 則留言

Add yours

  1. 11月改版後,Primo VE的 Research Assistant 有下面的enhancements
    。Searches history
    。Ability to change the order of menu links
    。Switch to GPT-4o mini
    。New prompt for improved negative rejection and noise robustness
    。Query classification (phase I)

發表留言

在WordPress.com寫部落格.

向上 ↑