dotnet X11 視窗之間傳送滑鼠訊息模擬滑鼠輸入

lindexi發表於2024-05-15

本文記錄我閱讀 Avalonia 程式碼過程中所學習到的在 X11 的視窗之間傳送滑鼠訊息，可以跨程序給其他程序的視窗傳送滑鼠訊息，透過此方式可以實現模擬滑鼠輸入

直接使用 XSendEvent 給指定視窗傳送訊息即可，如以下示例程式碼

            var xEvent = new XEvent
            {
                MotionEvent =
                {
                    type = XEventName.MotionNotify,
                    send_event = true,
                    window = Window,
                    display = Display,
                    x = x,
                    y = y
                }
            };
            XSendEvent(Display, Window, propagate: false, new IntPtr((int) (EventMask.ButtonMotionMask)), ref xEvent);

以上的 Window 是自己程序的主視窗，傳送的相關定義程式碼是我從 Avalonia 和 CPF 程式碼倉庫裡面抄的，所有程式碼放在 github 和 gitee 上，可以使用如下命令列拉取程式碼

先建立一個空資料夾，接著使用命令列 cd 命令進入此空資料夾，在命令列裡面輸入以下程式碼，即可獲取到本文的程式碼

git init
git remote add origin https://gitee.com/lindexi/lindexi_gd.git
git pull origin 7636387e97780403ce473f553540a9cc1e0652ef

以上使用的是 gitee 的源，如果 gitee 不能訪問，請替換為 github 的源。請在命令列繼續輸入以下程式碼，將 gitee 源換成 github 源進行拉取程式碼

git remote remove origin
git remote add origin https://github.com/lindexi/lindexi_gd.git
git pull origin 7636387e97780403ce473f553540a9cc1e0652ef

獲取程式碼之後，進入 DikalehebeekaJaqunicobo 資料夾，即可獲取到原始碼

以上程式碼是對自己程序內的主視窗傳送滑鼠移動訊息的示例，核心程式碼如下

while (true)
{
    var xNextEvent = XNextEvent(Display, out var @event);
    if (@event.type == XEventName.MotionNotify)
    {
        var x = @event.MotionEvent.x;
        var y = @event.MotionEvent.y;

        XDrawLine(Display, Window, GC, x, y, x + 100, y);
    }

    var count = XEventsQueued(Display, 0 /*QueuedAlready*/);
    if (count == 0)
    {
        for (int i = 0; i < 100; i++)
        {
            var xEvent = new XEvent
            {
                MotionEvent =
                {
                    type = XEventName.MotionNotify,
                    send_event = true,
                    window = Window,
                    display = Display,
                    x = i,
                    y = i
                }
            };
            XSendEvent(Display, Window, propagate: false, new IntPtr((int) (EventMask.ButtonMotionMask)), ref xEvent);
        }
    }
}

如上述程式碼可以看到只需更改 XSendEvent 裡面的 Window 對應的引數，即可決定傳送給哪個視窗。比如有兩個視窗，可以透過此方式讓視窗 2 收到滑鼠訊息時，自動轉發給視窗 1 上，核心程式碼如下


var handle = XCreateWindow(display, rootWindow, 0, 0, xDisplayWidth, xDisplayHeight, 5,
    32,
    (int)CreateWindowArgs.InputOutput,
    visual,
    (nuint)valueMask, ref xSetWindowAttributes);


var window1 = new FooWindow(handle, display);


var window2 = new FooWindow(XCreateWindow(display, rootWindow, 0, 0, xDisplayWidth, xDisplayHeight, 5,
    32,
    (int) CreateWindowArgs.InputOutput,
    visual,
    (nuint) valueMask, ref xSetWindowAttributes), display);


while (true)
{
    var xNextEvent = XNextEvent(display, out var @event);
    if (xNextEvent != 0)
    {
        break;
    }

    if (@event.type == XEventName.MotionNotify)
    {
        var x = @event.MotionEvent.x;
        var y = @event.MotionEvent.y;

        if (@event.MotionEvent.window == window1.Window)
        {
            XDrawLine(display, window1.Window, window1.GC, x, y, x + 100, y);
        }
        else
        {
            var xEvent = new XEvent
            {
                MotionEvent =
                {
                    type = XEventName.MotionNotify,
                    send_event = true,
                    window = window1.Window,
                    display = display,
                    x = x,
                    y = y
                }
            };
            XSendEvent(display, window1.Window, propagate: false, new IntPtr((int)(EventMask.ButtonMotionMask)),
                ref xEvent);
        }
    }
}

class FooWindow
{
    public FooWindow(nint windowHandle, nint display)
    {
        Window = windowHandle;

        XEventMask ignoredMask = XEventMask.SubstructureRedirectMask | XEventMask.ResizeRedirectMask |
                                 XEventMask.PointerMotionHintMask;
        var mask = new IntPtr(0xffffff ^ (int)ignoredMask);
        XSelectInput(display, windowHandle, mask);

        XMapWindow(display, windowHandle);
        XFlush(display);

        var screen = XDefaultScreen(display);
        var white = XWhitePixel(display, screen);

        var gc = XCreateGC(display, windowHandle, 0, 0);
        XSetForeground(display, gc, white);

        GC = gc;
    }

    public nint Window { get; }
    public IntPtr GC { get; }
}

以上程式碼放在 github 和 gitee 上，可以使用如下命令列拉取程式碼

先建立一個空資料夾，接著使用命令列 cd 命令進入此空資料夾，在命令列裡面輸入以下程式碼，即可獲取到本文的程式碼

git init
git remote add origin https://gitee.com/lindexi/lindexi_gd.git
git pull origin c8354f643998d01eed8f56757a558623e4d94a8a

以上使用的是 gitee 的源，如果 gitee 不能訪問，請替換為 github 的源。請在命令列繼續輸入以下程式碼，將 gitee 源換成 github 源進行拉取程式碼

git remote remove origin
git remote add origin https://github.com/lindexi/lindexi_gd.git
git pull origin c8354f643998d01eed8f56757a558623e4d94a8a

獲取程式碼之後，進入 DikalehebeekaJaqunicobo 資料夾，即可獲取到原始碼

以上測試的是相同程序內的，跨程序其實也可以，只需要獲取其他程序的視窗對應的指標即可。其實在這裡我不確定 X11 的視窗 IntPtr 是否稱為指標是合適的。但行為上看起來和 Windows 下的控制代碼非常類似

如以下的測試程式碼，啟動自身作為新的程序，然後傳入當前程序的視窗，讓另一個程序獲取當前程序的視窗，接著測試在另一個程序將滑鼠訊息傳送到當前程序上

var handle = XCreateWindow(display, rootWindow, 0, 0, xDisplayWidth, xDisplayHeight, 5,
    32,
    (int)CreateWindowArgs.InputOutput,
    visual,
    (nuint)valueMask, ref xSetWindowAttributes);


var window1 = new FooWindow(handle, display);
XSync(display, false);

IntPtr window2Handle = IntPtr.Zero;

if (args.Length == 0)
{
    var currentProcess = Process.GetCurrentProcess();
    var mainModuleFileName = currentProcess.MainModule!.FileName;
    Process.Start(mainModuleFileName, [window1.Window.ToString(), window1.GC.ToString()]);
}
else if (args.Length == 2)
{
    if (long.TryParse(args[0], out var otherProcessWindowHandle))
    {
        window2Handle = new IntPtr(otherProcessWindowHandle);
    }
}

while (true)
{
    var xNextEvent = XNextEvent(display, out var @event);
    if (xNextEvent != 0)
    {
        Console.WriteLine($"xNextEvent {xNextEvent}");
        break;
    }

    if (@event.type == XEventName.Expose)
    {
        if (args.Length == 0)
        {
            XDrawLine(display, window1.Window, window1.GC, 0, 0, 100, 100);
        }
    }
    else if (@event.type == XEventName.MotionNotify)
    {
        var x = @event.MotionEvent.x;
        var y = @event.MotionEvent.y;

        if (window2Handle != 0 && window2GCHandle != 0)
        {
            // 繪製是無效的
            //XDrawLine(display, window2Handle, window2GCHandle, x, y, x + 100, y);

            var xEvent = new XEvent
            {
                MotionEvent =
                {
                    type = XEventName.MotionNotify,
                    send_event = true,
                    window = window2Handle,
                    display = display,
                    x = x,
                    y = y
                }
            };
            XSendEvent(display, window2Handle, propagate: false, new IntPtr((int)(EventMask.ButtonMotionMask)),
                ref xEvent);
        }
        else
        {
            XDrawLine(display, window1.Window, window1.GC, x, y, x + 100, y);
        }
    }
}

放在 github 和 gitee 上，可以使用如下命令列拉取程式碼

先建立一個空資料夾，接著使用命令列 cd 命令進入此空資料夾，在命令列裡面輸入以下程式碼，即可獲取到本文的程式碼

git init
git remote add origin https://gitee.com/lindexi/lindexi_gd.git
git pull origin ec8242cfe08a0eb23ba637c655083fceb0a8edb3

以上使用的是 gitee 的源，如果 gitee 不能訪問，請替換為 github 的源。請在命令列繼續輸入以下程式碼，將 gitee 源換成 github 源進行拉取程式碼

git remote remove origin
git remote add origin https://github.com/lindexi/lindexi_gd.git
git pull origin ec8242cfe08a0eb23ba637c655083fceb0a8edb3

獲取程式碼之後，進入 DikalehebeekaJaqunicobo 資料夾，即可獲取到原始碼

透過以上測試可以發現 X11 的滑鼠輸入是完全可以進行模擬輸入的，只需要拿到視窗指標，使用 XSendEvent 進行傳送即可

再進一步的實驗，也許大家也發現上面程式碼裡面有被我註釋的 XDrawLine 的呼叫。在 XDrawLine 裡面也是傳入 GC 和 Window 指標即可繪製線段，我就想著如果傳入別的程序的視窗是否適合，是否就能在其他程序的視窗上繪製出內容

我嘗試從另一個程序將 GC 傳回來，如下面程式碼

IntPtr window2Handle = IntPtr.Zero;
IntPtr window2GCHandle = IntPtr.Zero;

if (args.Length == 0)
{
    var currentProcess = Process.GetCurrentProcess();
    var mainModuleFileName = currentProcess.MainModule!.FileName;
    Process.Start(mainModuleFileName, [window1.Window.ToString(), window1.GC.ToString()]);
}
else if (args.Length == 2)
{
    if (long.TryParse(args[0], out var otherProcessWindowHandle))
    {
        window2Handle = new IntPtr(otherProcessWindowHandle);
    }

    if (long.TryParse(args[1], out var otherProcessGCHandle))
    {
        window2GCHandle = new IntPtr(otherProcessGCHandle);
    }
}

  ... // 忽略其他程式碼

         XDrawLine(display, window2Handle, window2GCHandle, x, y, x + 100, y);

此時發現執行程式碼，進入到 XDrawLine 報段錯誤，程序掛掉。原因是 gc 指標看起來是不能跨程序使用的，以上程式碼放在 github 和 gitee 上，可以使用如下命令列拉取程式碼

先建立一個空資料夾，接著使用命令列 cd 命令進入此空資料夾，在命令列裡面輸入以下程式碼，即可獲取到本文的程式碼

git init
git remote add origin https://gitee.com/lindexi/lindexi_gd.git
git pull origin c397b872a4d2cba187e1c04f7b015c8b2ca7092c

以上使用的是 gitee 的源，如果 gitee 不能訪問，請替換為 github 的源。請在命令列繼續輸入以下程式碼，將 gitee 源換成 github 源進行拉取程式碼

git remote remove origin
git remote add origin https://github.com/lindexi/lindexi_gd.git
git pull origin c397b872a4d2cba187e1c04f7b015c8b2ca7092c

獲取程式碼之後，進入 DikalehebeekaJaqunicobo 資料夾，即可獲取到原始碼

嘗試自己程序建立 GC 指標，如以下核心程式碼

IntPtr window2Handle = IntPtr.Zero;
IntPtr window2GCHandle = IntPtr.Zero;

if (args.Length == 0)
{
    var currentProcess = Process.GetCurrentProcess();
    var mainModuleFileName = currentProcess.MainModule!.FileName;
    Process.Start(mainModuleFileName, [window1.Window.ToString(), window1.GC.ToString()]);
}
else if (args.Length == 2)
{
    if (long.TryParse(args[0], out var otherProcessWindowHandle))
    {
        window2Handle = new IntPtr(otherProcessWindowHandle);
    }

    //if (long.TryParse(args[1], out var otherProcessGCHandle))
    //{
    //    window2GCHandle = new IntPtr(otherProcessGCHandle);
    //}
    // 不用別人傳的，從視窗進行建立
    window2GCHandle = XCreateGC(display, window2Handle, 0, 0);
    Console.WriteLine($"XCreateGC Window2 {window2GCHandle}");
}

如此程式碼經過實際測試發現沒有任何效果，當然了，也不會導致當前程序掛掉。以上程式碼放在 github 和 gitee 上，可以使用如下命令列拉取程式碼

先建立一個空資料夾，接著使用命令列 cd 命令進入此空資料夾，在命令列裡面輸入以下程式碼，即可獲取到本文的程式碼

git init
git remote add origin https://gitee.com/lindexi/lindexi_gd.git
git pull origin f0cb9bd3b4e4e9184fed831bdd84ef7e4b103888

以上使用的是 gitee 的源，如果 gitee 不能訪問，請替換為 github 的源。請在命令列繼續輸入以下程式碼，將 gitee 源換成 github 源進行拉取程式碼

git remote remove origin
git remote add origin https://github.com/lindexi/lindexi_gd.git
git pull origin f0cb9bd3b4e4e9184fed831bdd84ef7e4b103888

獲取程式碼之後，進入 DikalehebeekaJaqunicobo 資料夾，即可獲取到原始碼

更多 X11 開發請參閱部落格導航

dotnet 後臺執行緒傳送 X11 視窗訊息
2024-05-15
執行緒
linux下如何模擬按鍵輸入和模擬滑鼠?
2013-08-21
Linux
dotnet 設定 X11 建立視窗之間的父子關係
2024-05-17
C#視窗間傳遞訊息
2014-12-04
C#
OCX 控制元件主動傳送訊息給 MFC 視窗訊息
2018-06-08
控制元件
文件檢視框架視窗間的關係和訊息傳送規律 (轉)
2007-08-16
框架
處理滑鼠離開視窗的訊息（WM_MOUSELEAVE） (轉)
2007-12-09
wx模擬滑鼠事件
2017-08-27
事件
QT滑鼠訊息分析
2020-12-23
QT
Qt 模擬滑鼠事件-在兩個按鈕之間切換
2018-10-12
QT事件
dotnet 如何從 Gtk 3 的視窗到對應的 X11 視窗
2024-05-15
關於 Linux 中模擬滑鼠
2024-03-09
Linux
Android訊息傳遞之元件間傳遞訊息
2016-06-17
Android元件
dotnet 在 UNO 裡獲取 X11 視窗指標的方法
2024-05-23
指標
HTML 滑鼠放上顯示懸浮視窗
2017-05-18
HTML
【向重複工作說不】c#之模擬滑鼠操作
2020-12-07
C#
訊息中介軟體—RocketMQ訊息傳送
2019-02-18
MQ
【RocketMQ】MQ訊息傳送
2022-06-17
MQ
RocketMQ(八)：訊息傳送
2018-06-19
MQ
iOS 傳送位置訊息
2017-05-08
iOS
訊息佇列之如何保證訊息的可靠傳輸
2021-05-03
佇列
jQuery滑鼠懸停顯示提示資訊視窗
2015-03-13
jQuery
Python-模擬滑鼠鍵盤動作
2021-09-09
Python
12.3 實現模擬滑鼠錄製回放
2023-10-09
dotnet 後臺執行緒設定 X11 視窗最小化
2024-05-15
執行緒
使用C#在應用程式間傳送訊息
2009-02-02
C#
RocketMQ(九)：訊息傳送（續）
2019-03-04
MQ
TNW-傳送模板訊息
2019-05-01
TNW
6-RocketMQ傳送訊息
2021-07-07
MQ
dotnet C# 建立 X11 應用時設定視窗背景顏色
2024-06-01
C#
[譯]如何在Service Worker和網頁客戶端之間傳送訊息
2018-12-29
網頁客戶端
php ActiveMQ的傳送訊息，與處理訊息
2017-04-09
PHPMQ
C#窗體--滑鼠事件
2018-06-10
C#事件
vue---元件間傳遞訊息(父子傳遞訊息，兄弟傳遞訊息)
2018-08-13
Vue元件
【XInput】手柄模擬滑鼠運作之 .NET P/Invoke 和 UWP-API 方案
2024-03-02
XInputAPI
RocketMQ中Producer訊息的傳送
2019-08-02
MQ
傳送不同型別的訊息
2020-12-19
型別
RocketMQ -- 訊息傳送儲存流程
2022-03-19
MQ

dotnet X11 視窗之間傳送滑鼠訊息 模擬滑鼠輸入

相關文章

dotnet X11 視窗之間傳送滑鼠訊息模擬滑鼠輸入