03/03/2025
【我花了2小時認真看完Andrej Karpathy的YouTube影片「我如何使用大型語言模型」,又花了1小時整理我的真實心得】
#文長建議儲存
以下內容為一個喜歡AI、研究AI、每天都使用ChatGPT,在美國大學教書的活網仔的真實觀後感。我在週日晚上用電腦一邊看一邊折衣服,聽到精彩處就暫停馬上用手機記下重點。截圖就是作者在影片中展現的視覺化筆記,請搭配以下重點一起使用:
|前言
- Andrej Karpathy是誰?他是人工智慧領域的知名專家,曾是 OpenAI 的創始成員之一,並在 Tesla 擔任 AI 總監。 他在史丹福大學取得博士學位,師從李飛飛教授,專攻深度學習和計算機視覺。 目前他創辦了 Eureka Labs,致力於將 AI 技術應用於教育領域。 此外,他也是知名的 YouTuber,分享 AI 教學影片,訂閱人數超過 50 萬。
- 誰適合看這部影片?我身為每天用ChatGPT的人也能受益,但尤其推薦給ChatGPT新手。
- 影片很棒,有時間看就去看完整影片,真的沒時間再來看我這個筆記。我真的很意外這麼優質的內容居然3天前上傳到現在只有快40萬人觀看:https://www.youtube.com/watch?v=EWvNQjAaOHw&t=27s
- 以下內容如果沒有特別標注就是影片內容,我會用 👉來標記我的心得,跟影片內容做區隔。
|簡介大型語言模型(large language model, LLM)
- 作者一年前有做過一部長一小時的LLM簡介影片,想學更多直接去這裡看(我還沒看):https://www.youtube.com/watch?v=zjkBMFhNj_g
- 因為網路資料龐大,訓練要花很多錢,大家心中所想像的LLM的資料訓練(pre-train),已經是發生在以前的事了
👉譬如你問ChatGPT-4o 「When is your pretrainig data cutoff?」他會說是2024年6月,意思是比2024年6月更新的資料不會在ChatGPT-4o的資料庫裡面。
- 另外Post-training就像是給LLM安上一個人設,這個部分比較容易時時調整。
- 輸入LLM的文字會被切成一塊一塊叫做Token的單位,可以把輸入的文字內容當作LLM有限的腦容量,當提供的Token內容太多,或是內容不相關時,就會造成LLM回應困難。這就是為什麼每問一個新的話題就要開一個新的對話框。
|LLM的搜尋功能
- 什麼時候該使用LLM的搜尋(Search)功能?同上,當你想搜尋最新的資訊,而不是已經眾所皆知的常識時,需要點選「搜尋」才會有最好的產出。有些LLM會根據你問的問題自動開啟「搜尋」,但建議自己在需要的時候主動開啟。
- 他使用search最愛用perplexity
👉咪兔,尤其美國大學使用學校信箱註冊送一年pro免費,真的是用的很開心。
|LLM的Deep Research功能
- 他比較了ChatGPT、Perplexity、Grok的deep research,最喜歡的還是ChatGPT的版本,因為回答比較完整
👉我的使用心得也是如此
- 即便是ChatGPT最新的o1 pro進行deep research還是會有幻覺(hallucinations),永遠要點選原始連結確認內容。
- 他說「Don’t read books alone」,他現在很少自己看書了,他都會跟LLM一起讀,但目前狀況是他要一直複製貼上書的內容到LLM的介面,他說他還沒找到很好用的工具
👉 我目前也沒有找到類似的工具,歡迎大家幫忙推薦!
|LLM的其他功能
- 不是每個LLM都有能力使用程式語言。ChatGPT有Python,Claude有Javascript,但Grok和Gemini沒有。可以用很大的數字相乘來問LLM,就知道誰有能力計算、誰沒有。
- ChatGPT的資料分析功能像是剛畢業的數據分析師。ChatGPT有能力進行資料分析,但作者說他永遠會檢查列出的程式碼,來確保結果的正確性,總之這個功能有「 A lot of promise but be careful」
- 他很愛用Claude artifacts,其中一個功能是可以針對文字內容產生關係圖,另外Claude也能幫你製作專屬於你的app。譬如作者可以用Claude製作字卡,Claude甚至可以幫忙寫一個專屬的local程式協助背誦(沒有後端和資料庫就是了)
👉 我之前不知道Claude Artifacts有把文字解構成flow chart的功能!看完有想買Claude!
- 但真正的軟體工程師寫程式會用cursor,是一個要下載使用的程式,它會辨識電腦上的檔案,但本質上使用的還是Claude API。
|多模態的LLM(打字以外的資料輸入方式)
|語音
- 在手機或電腦的ChatGPT app上可以直接點麥克風圖示說話,會轉成語音,但在網頁瀏覽器上只能靠其他工具。他目前使用的是SuperWhisper,他說他可以按F5就開啟/關閉SuperWhisoer的錄音功能
👉 看影片的當下我就載了SuperWhisper,但我還沒有悟出怎麼在我的MacBook上把F5設定成快捷鍵,有大神知道麻煩告訴我。
- 真正的LLM語音(True audio) 是ChatGPT的advanced voice 和grok付費版SuperGrok才有。
- 作者用NotebookLM 的audio overview創了一個Spotify的Podcast節目,叫做「Histories of Mysteries 」:
https://open.spotify.com/show/3K4LRyMCP44kBbiOziwJjb
|圖片
- 上傳圖片至ChatGPT 。如果圖片內容有文字,作者都會先請AI轉成文字,確定LLM的解讀沒有問題,才繼續對話。MacBook使用者可以用快捷鍵control+ shift+command+4 來截圖部分區域並同時複製到剪貼簿,這樣在ChatGPT 按command+ v 就能直接貼上圖片給LLM。
- 輸出圖片。ChatGPT用DALL•E3產生圖像,他最常拿這類工具來產生產他的YouTube影片封面圖片。
|影片
- 輸入影片:ChatGPT的Advanced Voice可以開啟攝影機,直接視訊互動。
- 輸出影片:OpenAl Sora是最知名的例子,完整名單包含Google Veo 2, Hunyuan Video, Pika 2.1, Alibaba Wanx 2.1, Runway Gen-3, Kling 1.6, Luma Ray2, Hailuo T2V-01。影片內比較這幾項工具,看起來Google Veo 2產出的白老虎最真實
👉 我也不是影像工作者,所以只聽過Sora和Runway。
| 其他生活品質(Quality of Life)功能
- ChatGPT的記憶功能:如果有希望ChatGPT記憶的內容,就直接說「請你記住這個內容」就可以看到他跳出memory update的通知。目前其他LLM沒有這個功能
👉 我也有開啟ChatGPT的記憶功能。
- ChatGPT的客製化設定: 決定你的ChatGPT 的個性和輸入你的自我介紹
👉 我還沒用過,看完想嘗試!
- CustomGPT: 自製GPT不需要任何程式背景,只要把你的prompt寫好,就可以創造出符合自己需求的ChatGPT。譬如作者正在學韓文,他做了一個可以把韓文句子切成單字並以固定格式呈現的GPT,讓他可以把輸出的內容直接丟到Anki 做成字卡幫助記憶。他認為提供LLM輸出的範例(few-shot) ,和不提供範例(zero-shot)相比,絕對會增加工具的準確性。我看他總共做了5個GPT,大家在GPT store都能搜尋的到:Korean Word Remembral, Korean Detailed Translator, KoreanCap, Korean Vocabulary Extractor, KoreanTutorGPT, Korean Tutor
👉 看來他是真的有在認真學韓文😆
|結語
- ChatGPT生態系漸趨完整,但作者還是愛用Perplexity的搜尋功能,也愛用Claude Artifact來建立程式的原型,如果他想跟LLM對話,會用ChatGPT的Advanced Voice就很不錯,有需要比較生活化也可以改用SuperGrok。
- 不要忘了,使用LLM就是跟一個已經從網路下載下來的壓縮檔對話,根據你的$$,你可以使用到不同大小、不同能力的LLM。如果你的model表現不佳,那就用用看有推理功能的model。想要獲取最新的資訊,就用有搜尋功能的LLM,以此類推。
- 多模態(multimodal)的LLM逐漸成為趨勢,包含文字、聲音、語言、影片...... 👉 我也很期待未來AI的發展!
|其他奇怪的心得
👉 我目前是ChatGPT Pro ($200/月)和Perplexity Pro (學校免費帳戶)的用戶,下個月應該會降回到ChatGPT Plus ($20/月),看完影片後決定以後要多試試看Claude。
👉 作者使用excalidraw.com來視覺化他的課程,我沒用過,有學到新東西
👉 作者使用brave瀏覽器,我用的是Arc。我在Arc最常用的快捷鍵是Command+T開啟新分頁和Shift+Command+2在瀏覽器內自由截圖。Arc真的很好用,一開始需要練一下才能上手,但用了會上癮,真心不騙(推薦連結見留言)。
👉 高露潔或成本片最大輸家?作者在1:45:36用了高露潔牙膏的成分照片當作和ChatGPT互動的例子,然後發現裏面很多不必要的成份,還說這個發現令他upsetting。高露潔躺著也中槍🤣