資料內(nèi)容：
1 大模型怎么評測？
當(dāng)前superGLUE, GLUE, 包括中文的CLUE 的benchmark都在不太合適評估大模型?？赡茉u估推理能力、多輪對
話能力是核心。
2 大模型的honest原則是如何實現(xiàn)的？模型如何判斷回答的知識是訓(xùn)練過的已知的知識，怎么訓(xùn)練這種能力？
大模型需要遵循的helpful，honest， harmless的原則。
可以有意構(gòu)造如下的訓(xùn)練樣本，以提升模型準(zhǔn)守honest原則，可以算trick了：
微調(diào)時構(gòu)造知識問答類訓(xùn)練集，給出不知道的不回答，加強honest原則；
閱讀理解題，讀過的要回答，沒讀過的不回答，不要胡說八道。
3 如何衡量大模型水平？
要評估一個大型語言模型的水平，可以從以下幾個維度提出具有代表性的問題。
• 理解能力：提出一些需要深入理解文本的問題，看模型是否能準(zhǔn)確回答。
• 語言生成能力：讓模型生成一段有關(guān)特定主題的文章或故事，評估其生成的文本在結(jié)構(gòu)、邏輯和語法等方面
的質(zhì)量。
• 知識面廣度：請模型回答關(guān)于不同主題的問題，以測試其對不同領(lǐng)域的知識掌握程度。這可以是關(guān)于科學(xué)、
歷史、文學(xué)、體育或其他領(lǐng)域的問題。一個優(yōu)秀的大語言模型應(yīng)該可以回答各種領(lǐng)域的問題，并且準(zhǔn)確性和
深度都很高。
• 適應(yīng)性：讓模型處理各種不同類型的任務(wù)，例如：寫作、翻譯、編程等，看它是否能靈活應(yīng)對。
• 長文本理解：提出一些需要處理長文本的問題，例如：提供一篇文章，讓模型總結(jié)出文章的要點，或者請模
型創(chuàng)作一個故事或一篇文章，讓其有一個完整的情節(jié)，并且不要出現(xiàn)明顯的邏輯矛盾或故事結(jié)構(gòu)上的錯誤。
一個好的大語言模型應(yīng)該能夠以一個連貫的方式講述一個故事，讓讀者沉浸其中。
• 長文本生成：請模型創(chuàng)作一個故事或一篇文章，讓其有一個完整的情節(jié)，并且不要出現(xiàn)明顯的邏輯矛盾或故
事結(jié)構(gòu)上的錯誤。一個好的大語言模型應(yīng)該能夠以一個連貫的方式講述一個故事，讓讀者沉浸其中。
• 多樣性：提出一個問題，讓模型給出多個不同的答案或解決方案，測試模型的創(chuàng)造力和多樣性。
• 情感分析和推斷：提供一段對話或文本，讓模型分析其中的情感和態(tài)度，或者推斷角色間的關(guān)系。
• 情感表達(dá)：請模型生成帶有情感色彩的文本，如描述某個場景或事件的情感、描述一個人物的情感狀態(tài)等。
一個優(yōu)秀的大語言模型應(yīng)該能夠準(zhǔn)確地捕捉情感，將其表達(dá)出來。
• 邏輯推理能力：請模型回答需要進(jìn)行推理或邏輯分析的問題，如概率或邏輯推理等。這可以幫助判斷模型對
推理和邏輯思考的能力，以及其在處理邏輯問題方面的準(zhǔn)確性。例如：“所有的動物都會呼吸。狗是一種動
物。那么狗會呼吸嗎？”
• 問題解決能力：提出實際問題，例如：數(shù)學(xué)題、編程問題等，看模型是否能給出正確的解答。
• 道德和倫理：測試模型在處理有關(guān)道德和倫理問題時的表現(xiàn)，例如：“在什么情況下撒謊是可以接受的？”
• 對話和聊天：請模型進(jìn)行對話，以測試其對自然語言處理的掌握程度和能力。一個優(yōu)秀的大語言模型應(yīng)該能
夠準(zhǔn)確地回答問題，并且能夠理解人類的語言表達(dá)方式。
