千人千面錄製回放技術讓你“看到”Flutter使用者側問題

01  導語

我們透過系統底層來捕獲ui事件流和業務資料的流動，並利用捕獲到的這些資料透過事件回放機制來複現線上的問題。本文先介紹flutter觸控手勢事件原理，接著介紹裡面怎樣錄製flutter ui手勢事件，然後介紹怎樣還原回放flutter ui手勢事件，最後附上包括native錄製回放的整體框架圖。為了便於理解本文，讀者可以先閱讀我之前寫的關於native錄製和回放文章《千人千面線上問題回放技術》

02  背景

現在的app基本都會提供使用者反饋問題的入口，然而提供給使用者反饋問題一般有兩種方式：

• 直接用文字輸入表達，或者截圖

• 直接錄製影片反饋

這兩種反饋方式常常帶來以下抱怨：

• 使用者：輸入文字好費時費力

• 開發1：看不懂使用者反饋說的是什麼意思？

• 開發2：大概看懂使用者說的是什麼意思了，但是我線下沒辦法復現哈

• 開發3：看了使用者錄製的影片，但是我線下沒辦法重現，也定位不到問題

為了解決以上問題，我們用一套全新的思路來設計線上問題回放體系。

03  Flutter手勢基礎知識

我們可以把Flutter中的手勢系統分兩層概念來理解。第一層概念為原始觸控資料(pointer)，它描述了螢幕上指標（例如，觸控，滑鼠和觸控筆）的時間，型別，位置和移動。 第二層概念為手勢，描述由一個或多個原始移動資料組成的語義動作。一般情況下單獨的原始觸控資料沒有任何意義。原始觸控資料是由系統傳給native，native再透過flutter view channel傳給flutter。

flutter接收native傳來的原始資料介面如下：

   void _handlePointerDataPacket(ui.PointerDataPacket packet) {
    // We convert pointer data to logical pixels so that e.g. the touch slop can be
    // defined in a device-independent manner.
    _pendingPointerEvents.addAll(PointerEventConverter.expand(packet.data, ui.window.devicePixelRatio));
    if (!locked)
      _flushPointerEventQueue();
  }

當螢幕接收到觸控時，dart Framework會對您的應用程式執行碰撞測試，以確定觸控與螢幕相接的位置存在哪些檢視（renderobject）。 觸控事件然後被分發到最內部的renderobject上。 從最內部renderobject開始，這些事件在renderobject樹中向上冒泡傳遞，透過冒泡傳遞最後把所有的renderobject遍歷出來，從這個傳遞機制可想而知，遍歷出來renderobject列表裡的最後一個是WidgetsFlutterBinding（嚴格來講WidgetsFlutterBinding不是renderobject），後面會介紹到WidgetsFlutterBinding。

void _handlePointerEvent(PointerEvent event) {
    assert(!locked);
    HitTestResult result;
    if (event is PointerDownEvent) {
      assert(!_hitTests.containsKey(event.pointer));
      result = HitTestResult();
      hitTest(result, event.position);
      _hitTests[event.pointer] = result;
      assert(() {
        if (debugPrintHitTestResults)
          debugPrint('$event: $result');
        return true;
      }());
    } else if (event is PointerUpEvent || event is PointerCancelEvent) {
      result = _hitTests.remove(event.pointer);
    } else if (event.down) {
      result = _hitTests[event.pointer];
    } else {
      return; // We currently ignore add, remove, and hover move events.
    }
    if (result != null)
      dispatchEvent(event, result);
  }

上面程式碼以 histTest()檢測當前觸控 pointer event 涉及到哪些檢視。最後透過dispatchEvent(event, result)來處理該事件。

void dispatchEvent(PointerEvent event, HitTestResult result) {
    assert(!locked); 
    assert(result != null);
    for (HitTestEntry entry in result.path) {
      try {
        entry.target.handleEvent(event, entry);
      } catch (exception, stack) {
      }
    }
  }

上面的程式碼就是用來分別呼叫每個檢視（RenderObject）的手勢識別器獨自處理當前觸控事件（決定是否接收此事件）。

entry.target是每個widget對應的RenderObject,所有的RenderObject都需要實現（implements）HitTestTarget類的介面，HitTestTarget裡面有就有handleEvent這個介面，所以每個RenderObject都需要實現handleEvent這個介面， 這個介面就是用來處理手勢識別。

abstract class RenderObject extends AbstractNode with DiagnosticableTreeMixin implements HitTestTarget

除了最後一個WidgetsFlutterBinding外，其他檢視RenderObject呼叫自己的handleEvent來識別手勢，其作用就是判斷當前手勢是否要放棄，如果不放棄則丟到一個路由器裡（這個路由器就是手勢競技場）最後由WidgetsFlutterBinding 呼叫handleEvent統一決議這些手勢識別器最終誰勝出，所以這裡WidgetsFlutterBinding.handleEvent其實就是統一處理介面，它的程式碼如下：

  void handleEvent(PointerEvent event, HitTestEntry entry) {
    pointerRouter.route(event);
    if (event is PointerDownEvent) {
      gestureArena.close(event.pointer);
    } else if (event is PointerUpEvent) {
      gestureArena.sweep(event.pointer);
    }
  }

從上面的介紹可以得出一次觸控事件可能觸發多個手勢識別器。框架透過讓每個識別器加入一個“手勢競爭場”來決議使用者想要的手勢。“手勢競爭場”使用以下規則來決議哪個手勢勝出，非常簡單。

1. 在任何時候，任何識別器都可以自己宣佈失敗並主動離開“手勢競爭場”。如果在當前“競爭場”中只剩下一個識別器，那麼剩下來的就是贏家，贏家意味著獨自接收此觸控事件並做出響應動作

2. 在任何時候，任何識別器都可以自己宣佈勝利，並且最終就是它勝利，所有剩下的其他識別器都會失敗

下面示例表示螢幕window由ABCDEFKG檢視組成，其中A檢視是根檢視，即是最底下的檢視。紅圈表示觸控點位置，觸控落在G檢視的中間位置。

根據碰撞測試，遍歷出響應此觸控事件的檢視路徑：

 WidgetsFlutterBinding <— A <— C <— K <— G (其中GKCA是renderObject)

遍歷路徑列表後，開始呼叫各自的檢視（GKCA）entry.target.handleEvent來把自己識別器放到競技場裡參加決議，當然有些檢視由於根據自己的邏輯判斷主動放棄識別該觸控事件。這個處理過程如下圖

按G->K->C->A->WidgetsFlutterBinding順序分別呼叫handleEvent()方法，最後透過WidgetsFlutterBinding呼叫自己的handleEvent()介面來統一決議最終哪個手勢識別器勝出。

勝出的那個手勢識別器透過回撥方法回撥到上層業務程式碼，流程如下

04  Flutter UI錄製

  static GestureTapCallback onTapWithRecord(GestureTapCallback orgOnTap,       BuildContext context)
  {
    if (null != orgOnTap && null != context)
    {
      final GestureTapCallback onTapWithRecord = () {
        if(bStartRecord)
        {
          saveTapInfo(context, TouchEventUIType.OnTap,null);
        }
        if (null != orgOnTap)
        {
          orgOnTap();
        }
      };
      return onTapWithRecord;
    }
    return orgOnTap;
  }

static void saveTapInfo(BuildContext context, TouchEventUIType type, Offset point)
  {
    if(null == point && null != pointerPacketList && pointerPacketList.isNotEmpty)
    {
      final ui.PointerDataPacket last = pointerPacketList.last;
      if(null != last && null != last.data && last.data.isNotEmpty)
      {
        final ui.Rect rect = QueReplayTool.getWindowRect(context);

        point = new Offset(last.data.last.physicalX / ui.window.devicePixelRatio - rect.left,
          last.data.last.physicalY /ui.window.devicePixelRatio - rect.top);
      }
    }
    final RecordInfo record = createTapRecordInfo(context, type, point);
    if(null != record)
    {
      FlutterQuestionReplayPlugin.saveRecordDataToNative(record);
    }
    clearPointerPacketList();
  }

錄製流程圖如下：

05  Flutter UI回放

 下面是滾動事件回放流程圖，其他型別手勢的回放原理一樣。

上面的預處理，識別消耗指的是在滾動開始時，手勢識別器要判斷是否符合滾動手勢所需要滾動的距離。

所以我們為了讓其控制元件滾動首先要生成一些觸控點資料，讓手勢識別器識別為滾動事件。這樣才能進行後續的滾動動作。 

 下面是滾動處理邏輯程式碼，如下：

void verticalScroll(double dstPoint, double moveDis) {
    preReplayPacket = null;
    if (0.0 != moveDis) {
      //此處計算滾動方向，和滾動單元畫素偏移，由於程式碼太長略過
      int count =
          ((ui.window.devicePixelRatio * moveDis) / (unit.abs())).round() * 2;
      if (count < minCount) {
        count = minCount; //保證最少偏移50/2=25 小於這個數 可能沒反應，因為被其他控制元件檢測滾動消耗掉了
        //還有就是如果count太小，count被scroll view消耗完前並沒有滾動，這是就觸控結束了（ui.PointerChange.up），那可能引起cell
        //點選事件跳轉事件
      }
      final double physicalX =
          rect.center.dx * ui.window.devicePixelRatio; //376.0;
      double physicalY;
      final double needOffset = (count * unit).abs();
      final double targetHeight = rect.size.height * ui.window.devicePixelRatio;
      final int scrollPadding = rect.height ~/ 4;
      if (needOffset  targetHeight / 2 && needOffset < targetHeight) {
        physicalY = (orgMoveDis > 0)
            ? (rect.bottom - scrollPadding) * ui.window.devicePixelRatio
            : (rect.top + scrollPadding) * ui.window.devicePixelRatio;
      } else {
        physicalY = (orgMoveDis > 0)
            ? (rect.bottom - scrollPadding) * ui.window.devicePixelRatio
            : (rect.top + scrollPadding) * ui.window.devicePixelRatio;
        count = ((rect.height - 2 * scrollPadding) *
                ui.window.devicePixelRatio /
                unit.abs())
            .round();
      }
      final List packetList =createTouchDataList(count, unit, physicalY, physicalX);
      exeScroolTouch(packetList,dstPoint);
    } else {
      new Timer(const Duration(microseconds: fpsInterval), () {
        replayScrollEvent();
      });
    }
  }

上面程式碼大概處理邏輯：1.計算滾動方向，每個生成的觸控資料偏移單元 2.計算滾動的開始位置 3.生成滾動原始觸控資料列表 4.迴圈發射原始觸控資料，並計算是否滾動到指定的位置，如果還達不到指定的位置，則繼續補給

生成滾動原始觸控資料列表程式碼如下：第一資料是down觸控資料，其他都是move觸控資料。up資料在這裡不需要生成，當滾動距離到目標位置後才另外生成up觸控資料。為什麼這樣設計？此處留給大家思考！

List  createTouchDataList(int count,double unit,double physicalY,double physicalX)
  {
      final List packetList =  [];
      int uptime = 0;
      for (int i = 0; i < count; i++) {
      ui.PointerChange change;
      if (0 == i) {
      change = ui.PointerChange.down;
      } else {
      change = ui.PointerChange.move;
      physicalY += unit;
      if (i < 15) //前面幾個點讓在短時間內偏移的距離長點 這樣避開單擊和長按事件
          {
      physicalY += unit;
      physicalY += unit;
      }
      }
      uptime += replayOnePointDuration;
      final ui.PointerData pointer = new ui.PointerData(
      timeStamp: new Duration(microseconds: uptime),
      change: change,
      kind: ui.PointerDeviceKind.touch,
      device: 1,
      physicalX: physicalX,
      physicalY: physicalY,
      buttons: 0,
      pressure: 0.0,
      pressureMin: 0.0,
      pressureMax: touchPressureMax,
      distance: 0.0,
      distanceMax: 0.0,
      radiusMajor: downRadiusMajor,
      radiusMinor: 0.0,
      radiusMin: downRadiusMin,
      radiusMax: downRadiusMax,
      orientation: orientation,
      tilt: 0.0);
      final List pointerList = [];
      pointerList.add(pointer);
      final ui.PointerDataPacket packet =
      new ui.PointerDataPacket(data: pointerList);
      packetList.add(packet);
      }
      return packetList;
  }

迴圈發射原始觸控資料，並判斷是否繼續補給程式碼如下：

我們以定時器不斷的往系統傳送觸控資料，每次傳送資料前都需要判斷是否已經達到目標位置。

void exeScroolTouch(List packetList,double dstPoint){
  Timer.periodic(const Duration(microseconds: fpsInterval), (Timer timer) {
  final ScrollableState state = element.state;
  final double curPoint = state.position.pixels;//ui.window.physicalSize.height*state.position.pixels/RecordInfo.recordedWindowH;
  final double offset = (dstPoint - curPoint).abs();
  final bool existOffset = offset > 1 ? true : false;
  if (packetList.isNotEmpty && existOffset) {
    sendTouchData(packetList, offset);
  } else if (packetList.isNotEmpty) {
  record.succ = true;
  timer.cancel();
  packetList.clear();
  if (null != preReplayPacket) {
  final ui.PointerDataPacket packet =
  createUpTouchPointPacket();
  if (null != packet) {
  ui.window.onPointerDataPacket(packet);
  }
  }
  new Timer(const Duration(microseconds: fpsInterval), () {
  replayScrollEvent();
  });
  } else if (existOffset) {
  record.succ = true;
  timer.cancel();
  packetList.clear();
  final ui.PointerDataPacket packet =
  createUpTouchPointPacket();
  if (null != packet) {
  ui.window.onPointerDataPacket(packet);
  }
  verticalScroll(dstPoint, dstPoint - curPoint);
  } else {
    finishReplay();
  }
  });
  }

下圖包括native和flutter，包括ui和資料。

07  總結

• 本文大概介紹了flutter ui手勢問題回放，核心部分由四部分組成，一是flutter手勢原理，二是flutter ui錄製，三是flutter ui回放，四是整個框架圖，由於篇幅有限，這四分部都介紹比較籠統，不夠詳細，請諒解！flutter錄製回放程式碼其實很多，我這裡只是附上比較重要，而且易於理解的程式碼。其他不重要或不易讀懂的程式碼都省掉了。

• 如果對裡面的技術點感興趣，你可以關注我們的公眾號。我們後續會單獨對裡面的技術點詳細深入的分析發文。

• 如果覺得上面有錯誤的地方，請指出。謝謝