You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-12-02 - 21:44

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #4

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rackeslot4s.osadl.org (updated Tue Dec 02, 2025 12:44:05)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2369434996360,2cyclictest75-21kswapd012:25:581
2369442994135,4cyclictest2660705-21latency_hist11:50:003
2369437993835,2cyclictest2457924-21kworker/u8:3+events_unbound08:50:002
2369434993734,2cyclictest2504178-21kworker/u8:3+events_unbound10:30:221
2369437993431,2cyclictest2421859-21kworker/u8:3+flush-259:008:05:002
2369437993330,2cyclictest2478533-21kworker/u8:2+flush-259:009:25:192
2369437993330,2cyclictest2364259-21kworker/u8:0+flush-259:009:15:002
2369434993331,2cyclictest2478533-21kworker/u8:2+events_unbound09:15:251
2369434993328,2cyclictest2639889-21kworker/u8:0+events_unbound11:40:251
2369434993226,5cyclictest2577335-21latency_hist10:30:011
2369437993027,2cyclictest2421859-21kworker/u8:3+flush-259:008:05:212
2369434993027,2cyclictest2520090-21kworker/u8:0+events_unbound09:40:141
2369434993027,2cyclictest2478533-21kworker/u8:2+events_unbound09:11:211
2369434993027,2cyclictest2364259-21kworker/u8:0+events_unbound07:35:251
2369432993028,2cyclictest75-21kswapd012:25:590
2369437992925,3cyclictest2504178-21kworker/u8:3+events_unbound11:10:182
2369434992926,2cyclictest2650635-21kworker/u8:1+events_unbound11:49:191
2369434992926,2cyclictest2520090-21kworker/u8:0+events_unbound09:35:241
2369434992926,2cyclictest2478533-21kworker/u8:2+events_unbound09:25:231
2369442992824,3cyclictest2634733-21/usr/sbin/munin11:25:143
2369437992825,2cyclictest2592718-21kworker/u8:1+flush-259:010:45:012
2369437992825,2cyclictest2364259-21kworker/u8:0+flush-259:008:25:222
2369434992825,2cyclictest2364259-21kworker/u8:0+events_unbound08:07:201
2369434992824,3cyclictest2395244-21kworker/u8:3+events_unbound07:42:201
2369434992823,2cyclictest2629096-21kworker/u8:4+events_unbound11:31:011
2369442992723,3cyclictest2494044-21gpgv09:10:003
2369437992724,2cyclictest2488593-21kworker/u8:1+events_unbound09:05:252
2369437992721,2cyclictest2608283-21kworker/u8:1+flush-259:011:05:192
2369434992724,2cyclictest2650635-21kworker/u8:1+events_unbound12:00:181
2369434992724,2cyclictest2540786-21kworker/u8:2+events_unbound10:03:201
2369434992724,2cyclictest2504178-21kworker/u8:3+events_unbound10:35:241
2369442992623,2cyclictest2395721-21gpgv07:35:003
2369437992624,1cyclictest2525795-21kworker/u8:1+flush-259:010:20:242
2369437992618,6cyclictest2546347-21diskstats10:00:142
2369434992623,2cyclictest2650635-21kworker/u8:1+events_unbound11:55:141
2369434992623,2cyclictest2457924-21kworker/u8:3+events_unbound08:50:031
2369434992623,2cyclictest2353653-21kworker/u8:1+events_unbound07:12:201
2369432992621,3cyclictest2613607-21kworker/u8:2+flush-259:011:55:230
2369434992522,2cyclictest2613607-21kworker/u8:2+events_unbound12:39:201
2369434992522,2cyclictest2364259-21kworker/u8:0+events_unbound07:32:201
2369434992521,3cyclictest2555863-21kworker/u8:0+events_unbound10:16:201
2369437992420,3cyclictest2629096-21kworker/u8:4+events_unbound11:25:012
2369437992417,3cyclictest2364467-21kworker/u8:2+events_unbound08:40:222
2369434992421,2cyclictest2504178-21kworker/u8:3+events_unbound09:30:251
2369432992417,5cyclictest2587626-21latency_hist10:40:000
2369442992320,2cyclictest2639889-21kworker/u8:0+flush-259:011:40:203
2369437992318,3cyclictest2396117-21base6407:35:012
2369434992320,2cyclictest2364467-21kworker/u8:2+events_unbound07:55:341
2369434992319,2cyclictest2504178-21kworker/u8:3+events_unbound11:10:281
2369432992320,2cyclictest2676167-21kworker/u8:0+flush-259:012:35:240
2369442992217,3cyclictest2577575-21/usr/sbin/munin10:30:143
2369437992219,2cyclictest2577600-21apt-get10:30:122
2369437992219,2cyclictest2488593-21kworker/u8:1+flush-259:009:20:212
2369437992219,2cyclictest2364259-21kworker/u8:0+flush-259:009:00:002
2369437992219,2cyclictest2364259-21kworker/u8:0+events_unbound09:00:132
2369437992218,3cyclictest2712762-21kworker/u8:3+flush-259:012:40:012
2369437992218,3cyclictest2676167-21kworker/u8:0+events_unbound12:05:262
2369437992218,3cyclictest2504178-21kworker/u8:3+events_unbound11:15:232
2369437992218,3cyclictest2364259-21kworker/u8:0+events_unbound08:20:142
2369434992220,2cyclictest2364259-21kworker/u8:0+events_unbound09:00:191
2369434992219,2cyclictest2525795-21kworker/u8:1+events_unbound09:55:441
2369432992218,3cyclictest2555863-21kworker/u8:0+flush-259:011:05:000
2369432992216,4cyclictest2364467-21kworker/u8:2+flush-259:008:15:000
236944299216,7cyclictest2514067-21ntpq09:25:213
236944299214,6cyclictest2602216-21ntpq10:50:203
2369442992116,3cyclictest0-21swapper/311:40:003
2369437992118,2cyclictest2639889-21kworker/u8:0+flush-259:011:45:152
2369437992118,2cyclictest2555863-21kworker/u8:0+flush-259:010:40:002
2369437992118,2cyclictest2364259-21kworker/u8:0+events_unbound07:33:012
2369437992117,3cyclictest75-21kswapd012:25:592
2369437992117,3cyclictest2650635-21kworker/u8:1+flush-259:011:55:002
2369437992117,3cyclictest2650635-21kworker/u8:1+events_unbound12:03:202
2369437992117,3cyclictest2504178-21kworker/u8:3+flush-259:010:10:202
2369437992117,3cyclictest2364259-21kworker/u8:0+flush-259:008:35:252
2369434992119,2cyclictest2364467-21kworker/u8:2+events_unbound08:40:161
2369434992119,1cyclictest2364467-21kworker/u8:2+events_unbound07:19:191
2369434992118,2cyclictest2525795-21kworker/u8:1+events_unbound10:20:251
2369434992118,2cyclictest2504178-21kworker/u8:3+events_unbound10:43:211
2369434992118,2cyclictest2364467-21kworker/u8:2+events_unbound07:24:201
2369434992118,2cyclictest2364467-21kworker/u8:2+events_unbound07:24:201
2369432992115,4cyclictest2390566-21base6407:30:010
2369432992114,5cyclictest2484073-21diskstats09:00:140
236944299209,5cyclictest2454012-21irqstats08:30:163
236944299206,3cyclictest2614623-21irqstats11:05:183
236944299205,5cyclictest2370808-21cat07:10:163
236944299204,5cyclictest2477673-21ntpq08:50:223
2369442992016,3cyclictest3000063-21rs:main3
2369442992016,2cyclictest2698871-21systemd-journal09:15:003
2369442992014,4cyclictest2671014-21latency_hist12:00:013
2369437992016,3cyclictest2504178-21kworker/u8:3+flush-259:010:56:202
2369437992016,3cyclictest0-21swapper/209:50:012
2369434992018,2cyclictest2504178-21kworker/u8:3+events_unbound11:05:261
2369434992017,2cyclictest2650635-21kworker/u8:1+events_unbound11:50:151
2369434992017,2cyclictest2593006-21kworker/u8:4+events_unbound10:50:261
2369434992017,2cyclictest2478533-21kworker/u8:2+events_unbound08:59:551
2369434992017,2cyclictest2364259-21kworker/u8:0+events_unbound09:21:561
2369434992015,2cyclictest2504178-21kworker/u8:3+events_unbound10:10:211
2369432992017,2cyclictest2364259-21kworker/u8:0+flush-259:009:10:180
2369432992016,3cyclictest2613607-21kworker/u8:2+events_unbound11:20:150
2369432992016,3cyclictest2504178-21kworker/u8:3+flush-259:010:30:150
2369432992014,4cyclictest2504178-21kworker/u8:3+flush-259:011:10:190
236944299196,2cyclictest2664939-21ntpq11:50:223
236944299193,4cyclictest2561353-21sshd10:14:183
2369442991916,2cyclictest2566737-21latency_hist10:20:013
2369442991915,3cyclictest2478533-21kworker/u8:2+flush-259:009:15:173
2369442991914,3cyclictest2379963-21/usr/sbin/munin07:20:153
2369442991914,3cyclictest2379963-21/usr/sbin/munin07:20:153
2369437991916,2cyclictest2665520-21kworker/u8:3+events_unbound12:10:292
2369437991916,2cyclictest2629096-21kworker/u8:4+events_unbound11:35:342
2369437991916,2cyclictest2613607-21kworker/u8:2+flush-259:011:55:212
2369437991916,2cyclictest2530012-21kworker/u8:4+events_unbound10:05:242
2369437991915,3cyclictest2406582-21kworker/u8:1+flush-259:007:50:222
2369437991914,3cyclictest0-21swapper/209:19:592
2369434991916,2cyclictest2629096-21kworker/u8:4+events_unbound11:37:511
2369434991916,2cyclictest2613607-21kworker/u8:2+events_unbound11:17:001
2369434991916,2cyclictest2442678-21kworker/u8:1+events_unbound08:26:191
2369434991916,2cyclictest2364259-21kworker/u8:0+events_unbound07:54:561
2369432991916,2cyclictest2353653-21kworker/u8:1+flush-259:007:10:150
2369432991915,3cyclictest2504178-21kworker/u8:3+flush-259:009:30:000
2369432991915,3cyclictest2442710-21apt-get08:20:110
2369432991915,3cyclictest2364259-21kworker/u8:0+events_unbound07:15:180
236944299185,3cyclictest2431233-21ntpq08:05:233
236944299184,4cyclictest2555364-21ld10:05:233
236944299181,2cyclictest25303942sh09:45:003
2369437991814,3cyclictest2525795-21kworker/u8:1+flush-259:009:55:212
2369437991814,3cyclictest2406582-21kworker/u8:1+flush-259:007:45:152
2369434991816,1cyclictest2493931-21munin-run09:10:001
2369434991815,2cyclictest2702634-21kworker/u8:1+events_unbound12:31:101
2369434991815,2cyclictest2692058-21kworker/u8:4+events_unbound12:20:271
2369434991815,2cyclictest2592718-21kworker/u8:1+events_unbound10:47:201
2369434991815,2cyclictest2530012-21kworker/u8:4+events_unbound10:05:281
2369434991815,2cyclictest2395244-21kworker/u8:3+events_unbound07:46:201
2369434991815,2cyclictest2364467-21kworker/u8:2+events_unbound08:13:201
2369434991813,1cyclictest191rcu_preempt12:15:001
2369432991816,1cyclictest2676167-21kworker/u8:0+events_unbound12:15:170
2369432991815,2cyclictest2613607-21kworker/u8:2+flush-259:011:15:240
2369432991813,4cyclictest2390043-21apt-get07:30:010
2369432991812,4cyclictest2649987-21apt-get11:40:000
236944299176,6cyclictest2451695-21memory08:25:193
236944299176,2cyclictest2696312-21ntpq12:20:223
236944299176,2cyclictest2622814-21ntpq11:10:243
236944299175,2cyclictest2607378-21ntpq10:55:223
236944299175,2cyclictest2550246-21ntpq10:00:213
236944299174,4cyclictest2706762-21collect212:30:213
2369442991714,2cyclictest2650635-21kworker/u8:1+flush-259:012:00:103
2369442991711,5cyclictest2691137-21ntpq12:15:203
2369442991711,3cyclictest516-21gdbus09:35:003
236943799179,3cyclictest2504178-21kworker/u8:3+events_unbound10:15:142
2369437991714,2cyclictest2364467-21kworker/u8:2+flush-259:008:19:292
2369437991714,2cyclictest2364259-21kworker/u8:0+events_unbound08:10:142
2369437991713,3cyclictest2395244-21kworker/u8:3+events_unbound07:40:112
2369437991713,3cyclictest2364467-21kworker/u8:2+events_unbound08:34:552
236943499176,1cyclictest0-21swapper/112:05:251
2369434991714,2cyclictest2613607-21kworker/u8:2+events_unbound12:17:201
2369434991714,2cyclictest2525795-21kworker/u8:1+events_unbound09:50:271
2369434991714,2cyclictest2457924-21kworker/u8:3+events_unbound08:45:021
2369434991714,2cyclictest2442678-21kworker/u8:1+events_unbound08:30:271
2369434991713,3cyclictest2504178-21kworker/u8:3+flush-259:009:45:171
2369432991714,3cyclictest2364259-21kworker/u8:0+events_unbound09:05:140
2369432991714,2cyclictest2629096-21kworker/u8:4+events_unbound11:30:150
2369432991714,2cyclictest2395244-21kworker/u8:3+events_unbound07:40:230
2369432991714,2cyclictest2364259-21kworker/u8:0+events_unbound08:50:230
2369432991713,3cyclictest2593006-21kworker/u8:4+events_unbound10:55:210
2369432991713,3cyclictest2592718-21kworker/u8:1+flush-259:010:45:250
236944299169,5cyclictest2536227-21sed09:50:173
236944299168,6cyclictest2545909-21cron10:00:003
236944299165,6cyclictest2701553-21ntp_states12:25:243
236944299165,6cyclictest2612981-21users11:00:283
236944299165,6cyclictest2401613-21diskstats07:40:133
236944299165,5cyclictest2521311-21irqstats09:35:193
236944299163,7cyclictest2588059-21diskstats10:40:143
236944299163,4cyclictest2487955-21ntpq09:00:223
236944299163,4cyclictest2417085-21df_inode07:55:193
236944299163,4cyclictest1-21systemd07:40:003
2369442991613,2cyclictest2698871-21systemd-journal08:39:553
2369442991612,3cyclictest2364467-21kworker/u8:2+flush-259:008:15:153
236944299161,14cyclictest2437281-21true08:15:003
2369437991613,2cyclictest2613607-21kworker/u8:2+events_unbound12:34:202
2369437991613,2cyclictest2525795-21kworker/u8:1+events_unbound09:51:202
2369437991612,3cyclictest2676167-21kworker/u8:0+events_unbound12:15:142
2369437991612,3cyclictest2639889-21kworker/u8:0+events_unbound11:43:222
2369437991610,4cyclictest2608501-21/usr/sbin/munin11:00:172
236943499164,5cyclictest2634082-21munin-run11:25:001
2369434991613,2cyclictest2421859-21kworker/u8:3+flush-259:008:00:251
2369434991613,2cyclictest2385108-21kworker/u8:1+events_unbound07:27:191
2369434991612,3cyclictest2442678-21kworker/u8:1+events_unbound08:21:211
2369432991614,1cyclictest60650irq/133-enp0s29f1:rx-012:23:320
2369432991614,1cyclictest60650irq/133-enp0s29f1:rx-011:25:180
2369432991613,2cyclictest60650irq/133-enp0s29f1:rx-008:00:160
2369432991613,2cyclictest2613607-21kworker/u8:2+events_unbound12:10:150
2369432991613,2cyclictest2467348-21ntp_kernel_pll_08:40:230
2369432991612,3cyclictest2608283-21kworker/u8:1+events_unbound11:05:160
236944299158,5cyclictest2707955-21tr12:35:163
236944299158,5cyclictest2385251-21tr07:25:133
236944299157,6cyclictest2410867-21ls07:45:243
236944299156,6cyclictest2442759-21grep08:20:113
2369442991512,2cyclictest2422519-21irqcore08:00:163
2369442991512,1cyclictest2411751-21apt-get07:50:103
2369442991510,3cyclictest2535557-21awk09:50:003
2369437991512,2cyclictest2592718-21kworker/u8:1+flush-259:010:45:162
2369437991511,3cyclictest2613607-21kworker/u8:2+events_unbound12:21:202
2369437991511,3cyclictest2555863-21kworker/u8:0+events_unbound10:50:012
236943499158,1cyclictest191rcu_preempt10:55:191
236943499157,1cyclictest191rcu_preempt08:35:191
236943499155,1cyclictest191rcu_preempt11:25:161
236943499154,6cyclictest32-21ksoftirqd/108:15:171
236943299159,4cyclictest2458359-21diskstats08:35:140
2369432991514,1cyclictest60650irq/133-enp0s29f1:rx-008:30:160
2369432991513,2cyclictest60650irq/133-enp0s29f1:rx-010:20:190
2369432991513,1cyclictest60650irq/133-enp0s29f1:rx-010:15:160
2369432991513,1cyclictest60650irq/133-enp0s29f1:rx-010:13:420
2369432991512,2cyclictest60650irq/133-enp0s29f1:rx-008:55:160
2369432991512,2cyclictest60650irq/133-enp0s29f1:rx-007:45:190
2369432991511,3cyclictest2698871-21systemd-journal07:25:000
2369432991511,3cyclictest2698871-21systemd-journal07:25:000
2369432991511,3cyclictest2525795-21kworker/u8:1+flush-259:009:50:250
2369432991511,3cyclictest2520090-21kworker/u8:0+flush-259:009:35:010
2369432991511,3cyclictest2478533-21kworker/u8:2+flush-259:009:15:160
2369432991511,2cyclictest60650irq/133-enp0s29f1:rx-007:55:180
2369432991510,4cyclictest2364259-21kworker/u8:0+events_unbound08:45:180
236944299149,3cyclictest2686917-21sh12:15:003
236944299149,3cyclictest2483652-21cron09:00:003
236944299148,5cyclictest2577333-21cron10:30:003
236944299148,4cyclictest2698871-21systemd-journal12:10:003
236944299148,4cyclictest2624670-21irqcore11:15:183
236944299148,4cyclictest2593039-21apt-get10:45:133
236944299148,4cyclictest2583185-21tr10:35:183
236944299148,4cyclictest2567381-21tr10:20:143
236944299148,4cyclictest2374937-21tr07:15:123
236944299147,5cyclictest2468700-21fschecks_count08:45:163
236944299143,2cyclictest2643959-21ntpq11:30:213
2369437991411,2cyclictest2504178-21kworker/u8:3+events_unbound10:25:282
2369437991411,2cyclictest2364259-21kworker/u8:0+flush-259:007:15:192
2369437991410,3cyclictest2613607-21kworker/u8:2+flush-259:011:20:192
2369437991410,3cyclictest2364259-21kworker/u8:0+flush-259:007:10:102
2369434991410,1cyclictest191rcu_preempt11:00:241
236943299149,3cyclictest2639889-21kworker/u8:0+flush-259:011:45:190
236943299148,4cyclictest2698871-21systemd-journal11:50:190
2369432991413,1cyclictest60650irq/133-enp0s29f1:rx-010:00:190
2369432991412,1cyclictest60650irq/133-enp0s29f1:rx-012:07:540
2369432991412,1cyclictest60650irq/133-enp0s29f1:rx-009:45:590
2369432991412,1cyclictest60650irq/133-enp0s29f1:rx-008:27:220
2369432991412,1cyclictest60650irq/133-enp0s29f1:rx-008:18:550
2369432991412,1cyclictest60650irq/133-enp0s29f1:rx-007:50:140
2369432991411,2cyclictest2530012-21kworker/u8:4+events_unbound09:55:140
2369432991411,2cyclictest2525906-21sort09:40:170
2369432991410,2cyclictest2504178-21kworker/u8:3+events_unbound10:40:200
236944299137,4cyclictest2504967-21cpuspeed_turbos09:20:123
236944299137,4cyclictest2463744-21cat08:40:193
236944299135,6cyclictest2369363-21latency_hist07:10:003
2369437991310,2cyclictest2640938-21kthreadcore11:30:162
2369437991310,2cyclictest2504178-21kworker/u8:3+events_unbound09:30:162
236943299138,3cyclictest2432090-21kworker/u8:1+flush-259:008:10:000
236943299136,5cyclictest2698871-21systemd-journal09:40:000
2369432991312,1cyclictest60650irq/133-enp0s29f1:rx-012:01:130
2369432991310,2cyclictest2593006-21kworker/u8:4+events_unbound10:50:230
2369432991310,2cyclictest2530012-21kworker/u8:4+flush-259:010:05:150
236943799129,2cyclictest2520090-21kworker/u8:0+events_unbound09:38:202
236943799129,2cyclictest2364467-21kworker/u8:2+events_unbound07:20:202
236943799129,2cyclictest2364467-21kworker/u8:2+events_unbound07:20:202
2369437991210,1cyclictest0-21swapper/208:54:592
2369432991211,1cyclictest60650irq/133-enp0s29f1:rx-007:35:470
236943299118,2cyclictest2655555-21sh11:44:590
236943299109,1cyclictest60650irq/133-enp0s29f1:rx-010:25:050
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional