用過 mongodb 吧， 這三個大坑踩過嗎？

一線碼農發表於2020-08-16
MongoDB

一：背景

1. 講故事

前段時間有位朋友在微信群問，在向 mongodb 中插入的時間為啥取出來的時候少了 8 個小時，8 在時間處理上是一個非常敏感的數字，又吉利又是一個普適的話題，後來我想想初次使用 mongodb 的朋友一定還會遇到各種新坑，比如說： 插入的資料取不出來，看不爽的 ObjectID，時區不對等等，這篇就和大家一起聊一聊。

二： 1號坑 插進去的資料取不出來

1. 案例展示

這個問題是使用強型別操作 mongodb 你一定會遇到的問題，案例程式碼如下：


    class Program
    {
        static void Main(string[] args)
        {
            var client = new MongoClient("mongodb://192.168.1.128:27017");
            var database = client.GetDatabase("school");
            var table = database.GetCollection<Student>("student");

            table.InsertOne(new Student() { StudentName = "hxc", Created = DateTime.Now });

            var query = table.AsQueryable().ToList();

        }
    }

    public class Student
    {
        public string StudentName { get; set; }

        public DateTime Created { get; set; }
    }

我去，這麼簡單的一個操作還報錯，要初學到放棄嗎？ 挺急的，線上等！

2. 堆疊中深挖原始碼

作為一個碼農還得有鑽研程式碼的能力，從錯誤資訊中看說有一個 _id 不匹配 student 中的任何一個欄位，然後把全部堆疊找出來。


System.FormatException
  HResult=0x80131537
  Message=Element '_id' does not match any field or property of class Newtonsoft.Test.Student.
  Source=MongoDB.Driver
  StackTrace:
   at MongoDB.Driver.Linq.MongoQueryProviderImpl`1.Execute(Expression expression)
   at MongoDB.Driver.Linq.MongoQueryableImpl`2.GetEnumerator()
   at System.Collections.Generic.List`1..ctor(IEnumerable`1 collection)
   at System.Linq.Enumerable.ToList[TSource](IEnumerable`1 source)
   at Newtonsoft.Test.Program.Main(String[] args) in E:\crm\JsonNet\Newtonsoft.Test\Program.cs:line 32

接下來就用 dnspy 去定位一下 MongoQueryProviderImpl.Execute 到底乾的啥，截圖如下：

我去，這程式碼硬核哈，用了 LambdaExpression 表示式樹，我們知道表示式樹用於將一個領域的查詢結構轉換為另一個領域的查詢結構，但要尋找如何構建這個方法體就比較耗時間了，接下來還是用 dnspy 去除錯看看有沒有更深層次的堆疊。

這個堆疊資訊就非常清楚了，原來是在 MongoDB.Bson.Serialization.BsonClassMapSerializer.DeserializeClass 方法中出了問題，接下來找到問題程式碼，簡化如下：


public TClass DeserializeClass(BsonDeserializationContext context)
{
	while (reader.ReadBsonType() != BsonType.EndOfDocument)
	{
		TrieNameDecoder<int> trieNameDecoder = new TrieNameDecoder<int>(elementTrie);
		string text = reader.ReadName(trieNameDecoder);
		if (trieNameDecoder.Found)
		{
			int value = trieNameDecoder.Value;
			BsonMemberMap bsonMemberMap = allMemberMaps[value];
		}
		else
		{
			if (!this._classMap.IgnoreExtraElements)
			{
				throw new FormatException(string.Format("Element '{0}' does not match any field or property of class {1}.", text, this._classMap.ClassType.FullName));
			}
			reader.SkipValue();
		}
	}
}

上面的程式碼邏輯非常清楚，要麼 student 中存在 _id 欄位，也就是 trieNameDecoder.Found, 要麼使用 忽略未知的元素，也就是 this._classMap.IgnoreExtraElements，新增欄位容易，接下來看看怎麼讓 IgnoreExtraElements = true，找了一圈原始碼，發現這裡是關鍵：

也就是： foreach (IBsonClassMapAttribute bsonClassMapAttribute in classMap.ClassType.GetTypeInfo().GetCustomAttributes(false).OfType<IBsonClassMapAttribute>())這句話，這裡的 classMap 就是 student，只有讓 foreach 得以執行才能有望 classMap.IgnoreExtraElements 賦值為 true ，接下來找找看在類上有沒有類似 IgnoreExtraElements 的 Attribute，嘿嘿，還真有一個類似的: BsonIgnoreExtraElements ，如下程式碼：


    [BsonIgnoreExtraElements]
    public class Student
    {
        public string StudentName { get; set; }

        public DateTime Created { get; set; }
    }

接下來執行一下程式碼，可以看到問題搞定：

如果你想驗證的話，可以繼續用 dnspy 去驗證一下原始碼哈，如下程式碼所示：

接下來還有一種辦法就是增加 _id 欄位，如果你不知道用什麼型別接，那就用object就好啦，後續再改成真正的型別。

三： 2號坑 DateTime 時區不對

如果你細心的話，你會發現剛才案例中的 Created 時間是 2020/8/16 4:24:57, 大家請放心，我不會傻到凌晨4點還在寫程式碼，好了哈，看看到底問題在哪吧， 可以先看看 mongodb 中的記錄資料,如下：


{
    "_id" : ObjectId("5f38b83e0351908eedac60c9"),
    "StudentName" : "hxc",
    "Created" : ISODate("2020-08-16T04:38:22.587Z")
}

從 ISODate 可以看出，這是格林威治時間，按照0時區儲存，所以這個問題轉成了如何在獲取資料的時候，自動將 ISO 時間轉成 Local 時間就可以了，如果你看過底層原始碼，你會發現在 mongodb 中每個實體的每個型別都有一個專門的 XXXSerializer，如下圖：

接下來就好好研讀一下里面的 Deserialize 方法即可，程式碼精簡後如下：


public override DateTime Deserialize(BsonDeserializationContext context, BsonDeserializationArgs args)
{
	IBsonReader bsonReader = context.Reader;
	BsonType currentBsonType = bsonReader.GetCurrentBsonType();
	DateTime value;
	
	switch (this._kind)
	{
		case DateTimeKind.Unspecified:
		case DateTimeKind.Local:
			value = DateTime.SpecifyKind(BsonUtils.ToLocalTime(value), this._kind);
			break;
		case DateTimeKind.Utc:
			value = BsonUtils.ToUniversalTime(value);
			break;
	}
	return value;
}

可以看出，如果當前的 this._kind= DateTimeKind.Local 的話，就將 UTC 時間轉成 Local 時間，如果你有上一個坑的經驗，你大概就知道應該也是用特性注入的，


    [BsonDateTimeOptions(Kind = DateTimeKind.Local)]
    public DateTime Created { get; set; }

不信的話，我除錯給你看看哈。

接下來再看看 this._kind 是怎麼被賦的。

四： 3號坑 自定義ObjectID

在第一個坑中，不知道大家看沒看到類似這樣的語句： ObjectId("5f38b83e0351908eedac60c9") ，乍一看像是一個 GUID，當然肯定不是，這是mongodb自己組建了一個 number 組合的十六進位制表示，姑且不說效能如何，反正看著不是很舒服，畢竟大家都習慣使用 int/long 型別展示的主鍵ID。

那接下來的問題是：如何改成我自定義的 number ID 呢？ 當然可以，只要實現 IIdGenerator 介面即可，那主鍵ID的生成，我準備用 雪花演算法，完整程式碼如下：


    class Program
    {
        static void Main(string[] args)
        {
            var client = new MongoClient("mongodb://192.168.1.128:27017");
            var database = client.GetDatabase("school");
            var table = database.GetCollection<Student>("student");

            table.InsertOne(new Student() { Created = DateTime.Now });
            table.InsertOne(new Student() { Created = DateTime.Now });
        }
    }

    class Student
    {
        [BsonId(IdGenerator = typeof(MyGenerator))]
        public long ID { get; set; }

        [BsonDateTimeOptions(Kind = DateTimeKind.Local)]
        public DateTime Created { get; set; }
    }

    public class MyGenerator : IIdGenerator
    {
        private static readonly IdWorker worker = new IdWorker(1, 1);

        public object GenerateId(object container, object document)
        {
            return worker.NextId();
        }

        public bool IsEmpty(object id)
        {
            return id == null || Convert.ToInt64(id) == 0;
        }
    }

然後去看一下 mongodb 生成的 json：

四： 總結

好了，這三個坑，我想很多剛接觸 mongodb 的朋友是一定會遇到的困惑，總結一下方便後人乘涼，結果不重要，重要的還是探索問題的思路和不擇手段???。

如您有更多問題與我互動，掃描下方進來吧~

圖片名稱

相關文章