You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-08-16 - 09:11

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #4

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rackeslot4s.osadl.org (updated Sun Aug 16, 2026 00:44:04)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2596732994741,4cyclictest2810259-21/usr/sbin/munin22:35:173
2596732994741,4cyclictest2653801-21latency_hist20:05:003
2596732994740,5cyclictest2628034-21latency_hist19:40:013
2596732994640,4cyclictest335557-21systemd-journal21:25:003
2596728994540,3cyclictest2879187-21apt-get23:40:142
2596728994440,3cyclictest2825968-21kworker/u8:3+events_unbound23:15:002
2596722994135,4cyclictest2601827-21latency_hist19:15:020
2596726994034,4cyclictest335557-21systemd-journal20:05:211
2596722993935,3cyclictest2884061-21apt-get23:45:030
2596722993933,4cyclictest2836251-21latency_hist23:00:010
2596726993834,3cyclictest2841861-21kworker/u8:0+flush-259:023:30:011
2596722993831,5cyclictest2778871-21cp22:05:020
2596728993732,3cyclictest2731721-21latency_hist21:20:012
2596722993632,3cyclictest2873982-21kworker/u8:1+flush-259:023:35:160
2596722993529,4cyclictest2915688-21cp00:15:010
2596728993431,2cyclictest2627835-21kworker/u8:2+flush-259:020:35:192
2596722993431,2cyclictest2789215-21apt-get22:15:120
2596722993428,4cyclictest2699714-21ntpq20:45:230
2596726993327,4cyclictest2726561-21latency_hist21:15:011
2596722993330,2cyclictest2931480-21kworker/u8:3+flush-259:000:35:000
2596722993327,4cyclictest2721369-21latency_hist21:10:000
2596732993225,5cyclictest2778751-21cat22:05:013
2596728993229,2cyclictest2873982-21kworker/u8:1+flush-259:000:00:012
2596728993227,4cyclictest2863137-21base6423:25:002
2596728993225,5cyclictest2804564-21cp22:30:002
2596728993225,5cyclictest2632321-21ntpq19:40:232
2596726993226,4cyclictest335557-21systemd-journal19:14:411
2596728993128,2cyclictest2700678-21kworker/u8:1+flush-259:021:05:012
2596722993127,3cyclictest2627835-21kworker/u8:2+flush-259:020:45:000
2596722993125,4cyclictest2777326-21ntpq22:00:240
2596728993026,3cyclictest2894810-21kworker/u8:0+flush-259:000:15:262
2596728993026,3cyclictest2716394-21kworker/u8:4+flush-259:021:25:002
2596728993026,2cyclictest2778901-21/usr/sbin/munin22:05:232
2596726993024,4cyclictest2695487-21latency_hist20:45:001
2596726993023,5cyclictest335557-21systemd-journal21:55:011
2596722993026,3cyclictest2804488-21gpgv22:29:590
2596732992925,3cyclictest2757812-21kworker/u8:1+flush-259:021:45:253
2596732992922,5cyclictest2904079-21kworker/u8:3+flush-259:000:20:013
2596728992925,3cyclictest2915504-21apt-get00:15:012
2596728992925,3cyclictest2894810-21kworker/u8:0+flush-259:000:35:172
2596728992923,4cyclictest2627190-21ntpq19:35:232
2596728992825,2cyclictest2633201-21kworker/u8:0+events_unbound19:45:182
2596722992824,3cyclictest2627835-21kworker/u8:2+events_unbound21:55:220
2596728992724,2cyclictest2810244-21kworker/u8:2+events_unbound22:50:192
2596722992724,2cyclictest2627835-21kworker/u8:2+flush-259:021:15:010
2596732992620,4cyclictest2910590-21/usr/sbin/munin00:10:183
2596728992623,2cyclictest2690331-21kworker/u8:3+events_unbound21:38:042
2596722992623,2cyclictest2841861-21kworker/u8:0+flush-259:023:25:000
2596732992521,3cyclictest2700678-21kworker/u8:1+events_unbound21:00:003
2596728992523,1cyclictest2810244-21kworker/u8:2+events_unbound22:47:032
2596728992521,3cyclictest2627835-21kworker/u8:2+flush-259:022:20:162
2596728992521,3cyclictest2627835-21kworker/u8:2+flush-259:020:55:232
2596728992521,3cyclictest2627835-21kworker/u8:2+flush-259:020:05:152
2596726992522,2cyclictest2617433-21kworker/u8:1+flush-259:019:30:181
2596726992520,3cyclictest2648689-21latency_hist20:00:001
2596726992519,4cyclictest2836940-21apt-get23:00:091
2596726992513,3cyclictest2836255-21apt-get22:59:591
2596722992519,4cyclictest2831128-21latency_hist22:55:000
2596732992420,3cyclictest335557-21systemd-journal00:01:223
2596732992420,3cyclictest2894810-21kworker/u8:0+flush-259:000:25:223
2596732992416,6cyclictest2862541-21latency_hist23:25:013
2596728992420,3cyclictest2627835-21kworker/u8:2+events_unbound21:29:592
2596728992420,3cyclictest2617433-21kworker/u8:1+flush-259:019:30:022
2596728992418,4cyclictest335557-21systemd-journal23:47:102
2596726992417,5cyclictest335557-21systemd-journal20:15:451
2596722992421,2cyclictest2591529-21kworker/u8:3+events_unbound19:35:230
2596732992320,2cyclictest2633201-21kworker/u8:0+flush-259:019:55:203
2596732992319,3cyclictest2894810-21kworker/u8:0+events_unbound00:25:003
2596732992319,3cyclictest2627835-21kworker/u8:2+events_unbound22:15:233
2596732992318,3cyclictest2752666-21apt-get21:40:103
2596728992320,2cyclictest2841861-21kworker/u8:0+events_unbound23:20:232
2596728992320,2cyclictest2690331-21kworker/u8:3+flush-259:020:50:192
2596728992317,4cyclictest2788082-21ntpq22:10:222
2596726992317,4cyclictest2815191-21apt-get22:40:001
2596726992317,4cyclictest2700636-21latency_hist20:50:011
2596726992316,4cyclictest335557-21systemd-journal19:22:401
2596722992319,3cyclictest2894810-21kworker/u8:0+events_unbound00:25:220
2596722992319,3cyclictest2810244-21kworker/u8:2+events_unbound23:04:560
2596722992319,3cyclictest2654012-21kworker/u8:1+events_unbound20:28:470
2596722992318,4cyclictest2810244-21kworker/u8:2+flush-259:022:45:280
2596722992317,4cyclictest2621994-21ntpq19:30:220
2596732992218,3cyclictest2690331-21kworker/u8:3+events_unbound21:30:153
2596732992216,4cyclictest2799502-21/usr/sbin/munin22:25:233
2596728992219,2cyclictest2627835-21kworker/u8:2+events_unbound20:45:212
2596728992218,3cyclictest2757812-21kworker/u8:1+flush-259:021:45:192
2596728992218,3cyclictest2690331-21kworker/u8:3+flush-259:021:10:252
2596726992218,3cyclictest2752424-21kworker/u8:0+flush-259:022:35:001
2596726992215,4cyclictest2742096-21latency_hist21:30:011
2596726992214,6cyclictest335557-21systemd-journal23:45:011
2596722992220,1cyclictest2617433-21kworker/u8:1+events_unbound19:40:200
2596722992218,3cyclictest2633201-21kworker/u8:0+flush-259:019:50:210
2596722992217,4cyclictest2941847-21latency_hist00:40:000
2596722992216,4cyclictest2857413-21latency_hist23:20:010
2596722992215,5cyclictest2596642-21latency_hist19:10:010
2596732992118,2cyclictest0-21swapper/321:15:003
2596732992117,3cyclictest2894810-21kworker/u8:0+events_unbound00:35:223
2596732992117,3cyclictest2894810-21kworker/u8:0+events_unbound00:30:253
2596732992117,3cyclictest2591529-21kworker/u8:3+flush-259:019:15:003
2596728992118,2cyclictest2627835-21kworker/u8:2+flush-259:020:40:202
2596728992117,3cyclictest2757812-21kworker/u8:1+flush-259:021:55:002
2596728992117,3cyclictest2752424-21kworker/u8:0+flush-259:022:55:202
2596728992115,4cyclictest335557-21systemd-journal19:35:002
2596728992115,4cyclictest2910355-21latency_hist00:10:002
2596726992114,5cyclictest2710985-21latency_hist21:00:001
2596722992119,2cyclictest2757812-21kworker/u8:1+events_unbound22:10:230
2596722992117,3cyclictest2700678-21kworker/u8:1+flush-259:020:55:000
2596722992117,3cyclictest2653800-21apt-get20:04:590
2596722992117,3cyclictest2627835-21kworker/u8:2+events_unbound21:30:010
2596722992117,3cyclictest2558330-21kworker/u8:0+events_unbound19:15:240
2596722992115,5cyclictest335557-21systemd-journal19:59:590
2596722992115,4cyclictest2868142-21latency_hist23:30:010
2596722992115,4cyclictest2815741-21cp22:40:000
2596732992016,3cyclictest2690331-21kworker/u8:3+flush-259:021:15:213
2596732992016,3cyclictest2627835-21kworker/u8:2+flush-259:020:10:253
2596732992014,4cyclictest2690303-21latency_hist20:40:013
2596732992013,5cyclictest2741206-21ntpq21:25:213
2596728992017,2cyclictest2690331-21kworker/u8:3+flush-259:021:35:012
2596728992017,2cyclictest2654012-21kworker/u8:1+events_unbound20:24:482
2596728992016,3cyclictest2716394-21kworker/u8:4+flush-259:021:05:252
2596728992016,3cyclictest2654012-21kworker/u8:1+flush-259:020:10:162
2596726992017,2cyclictest0-21swapper/119:30:011
2596726992014,4cyclictest2669945-21/usr/sbin/munin20:20:141
2596722992016,3cyclictest2654012-21kworker/u8:1+events_unbound20:15:260
2596722992016,3cyclictest2627835-21kworker/u8:2+flush-259:020:35:260
2596732991915,3cyclictest2884097-21kworker/u8:2+events_unbound23:50:183
2596732991915,3cyclictest2627835-21kworker/u8:2+flush-259:020:15:253
2596728991916,3cyclictest2825968-21kworker/u8:3+events_unbound23:05:162
2596728991916,2cyclictest2752424-21kworker/u8:0+events_unbound22:00:282
2596728991915,3cyclictest2841861-21kworker/u8:0+events_unbound23:31:082
2596728991914,4cyclictest2768356-21diskstats21:55:142
2596728991914,3cyclictest2815188-21latency_hist22:40:012
2596726991915,3cyclictest2627835-21kworker/u8:2+flush-259:021:40:251
2596726991912,5cyclictest2778257-21http22:05:001
2596722991916,2cyclictest2825968-21kworker/u8:3+events_unbound23:05:190
2596722991916,2cyclictest2752424-21kworker/u8:0+events_unbound22:21:560
2596722991915,3cyclictest2654408-21base6420:05:010
2596722991912,5cyclictest2611659-21ntpq19:20:210
2596732991814,3cyclictest2794398-21apt-get22:20:123
2596732991814,3cyclictest2716394-21kworker/u8:4+events_unbound21:05:193
2596728991815,2cyclictest2654012-21kworker/u8:1+events_unbound20:15:192
2596728991814,3cyclictest335557-21systemd-journal19:10:262
2596726991814,3cyclictest2894810-21kworker/u8:0+flush-259:000:05:201
2596726991813,3cyclictest2900265-21apt-get00:00:141
2596722991815,2cyclictest2884097-21kworker/u8:2+flush-259:000:00:200
2596722991814,3cyclictest60350irq/132-enp0s29f1:rx-021:20:180
2596722991814,3cyclictest2700678-21kworker/u8:1+events_unbound21:00:280
2596722991812,4cyclictest2926257-21latency_hist00:25:000
2596732991713,3cyclictest2591529-21kworker/u8:3+flush-259:019:35:013
2596728991715,2cyclictest2894810-21kworker/u8:0+events_unbound00:00:102
2596728991714,2cyclictest2884097-21kworker/u8:2+flush-259:023:50:182
2596728991714,2cyclictest2627835-21kworker/u8:2+events_unbound22:16:022
2596728991713,3cyclictest2810244-21kworker/u8:2+flush-259:022:40:202
2596726991713,2cyclictest0-21swapper/123:50:011
2596726991712,4cyclictest2752424-21kworker/u8:0+flush-259:022:25:201
2596726991710,5cyclictest335557-21systemd-journal00:27:351
2596726991710,4cyclictest2711227-21/usr/sbin/munin21:00:211
2596722991714,2cyclictest2757812-21kworker/u8:1+events_unbound21:45:230
2596722991714,2cyclictest2654012-21kworker/u8:1+events_unbound20:20:250
2596722991713,3cyclictest2810244-21kworker/u8:2+events_unbound22:38:090
2596722991713,3cyclictest2558330-21kworker/u8:0+events_unbound19:25:230
2596722991713,2cyclictest2852195-21cron23:15:000
2596722991712,4cyclictest2909439-21ntpq00:05:240
2596722991712,3cyclictest2895218-21diskstats23:55:150
2596732991612,3cyclictest2841861-21kworker/u8:0+flush-259:023:30:263
2596732991612,3cyclictest2810244-21kworker/u8:2+flush-259:023:15:163
2596732991611,3cyclictest2617433-21kworker/u8:1+flush-259:019:30:003
2596728991612,3cyclictest2894810-21kworker/u8:0+events_unbound00:20:172
2596726991612,3cyclictest2926248-21idleruntime-cro00:25:001
2596726991610,4cyclictest2915504-21apt-get00:15:011
2596722991613,2cyclictest60350irq/132-enp0s29f1:rx-020:10:230
2596722991613,2cyclictest2690331-21kworker/u8:3+events_unbound21:35:240
2596722991613,2cyclictest2633201-21kworker/u8:0+events_unbound19:45:240
2596722991612,3cyclictest2763043-21apt-get21:50:120
2596732991513,1cyclictest0-21swapper/322:05:013
2596732991511,3cyclictest335557-21systemd-journal21:59:033
2596732991511,3cyclictest2654012-21kworker/u8:1+flush-259:020:10:003
2596728991512,2cyclictest2868795-21kworker/u8:4+events_unbound23:37:092
2596728991510,3cyclictest2805124-21/usr/sbin/munin22:30:132
259672699159,4cyclictest2799263-21latency_hist22:25:011
2596726991511,3cyclictest335557-21systemd-journal20:54:551
2596722991513,1cyclictest60350irq/132-enp0s29f1:rx-023:41:450
2596722991513,1cyclictest60350irq/132-enp0s29f1:rx-023:30:200
2596722991512,2cyclictest2753089-21irqcore21:40:160
2596722991511,3cyclictest2690331-21kworker/u8:3+events_unbound21:15:250
2596722991511,3cyclictest2627835-21kworker/u8:2+events_unbound20:59:000
259673299149,4cyclictest2627835-21kworker/u8:2+flush-259:020:45:183
2596732991410,3cyclictest335557-21systemd-journal23:04:073
2596728991411,2cyclictest2894810-21kworker/u8:0+flush-259:000:31:532
2596728991411,2cyclictest2627835-21kworker/u8:2+events_unbound20:32:472
2596726991411,2cyclictest2874423-21irqcore23:35:161
259672699141,11cyclictest1-21systemd21:48:011
2596722991412,2cyclictest60350irq/132-enp0s29f1:rx-022:30:190
2596722991412,1cyclictest60350irq/132-enp0s29f1:rx-023:50:240
2596722991412,1cyclictest60350irq/132-enp0s29f1:rx-021:30:240
259673299139,3cyclictest2606994-21kworker/u8:1+events_unbound19:20:153
2596732991311,1cyclictest61850irq/147-enp0s29f1:tx-723:40:373
2596732991311,1cyclictest2596717-21cyclictest23:30:003
2596732991310,2cyclictest2757812-21kworker/u8:1+flush-259:022:10:223
259672899139,3cyclictest2810244-21kworker/u8:2+flush-259:023:05:002
259672899136,5cyclictest335557-21systemd-journal19:15:012
2596728991310,2cyclictest2752733-21cpuspeed_turbos21:40:122
259672699139,3cyclictest2654012-21kworker/u8:1+flush-259:020:25:251
259672699139,2cyclictest0-21swapper/120:14:591
259672699139,2cyclictest0-21swapper/100:15:011
259672699138,3cyclictest0-21swapper/123:50:161
2596726991310,2cyclictest2770485-21kthreadcore21:55:181
259673299129,2cyclictest2675172-21cpuspeed_turbos20:25:173
259673299128,3cyclictest2825968-21kworker/u8:3+flush-259:023:10:263
259673299128,2cyclictest0-21swapper/322:34:593
259673299126,4cyclictest2842100-21/usr/sbin/munin23:05:163
259672899129,2cyclictest2633201-21kworker/u8:0+flush-259:019:50:122
259672899128,3cyclictest2558330-21kworker/u8:0+events_unbound19:23:402
259672699129,2cyclictest0-21swapper/123:25:011
259672699129,2cyclictest0-21swapper/121:20:001
259672699128,3cyclictest2752424-21kworker/u8:0+flush-259:022:05:221
259672699127,4cyclictest2752424-21kworker/u8:0+flush-259:022:10:321
259672699126,4cyclictest2633215-21latency_hist19:45:011
2596726991210,1cyclictest0-21swapper/100:35:201
259672299128,3cyclictest2627835-21kworker/u8:2+flush-259:020:31:570
259673299118,2cyclictest2690663-21cpuspeed_turbos20:40:123
259673299117,3cyclictest2874011-21apt-get23:35:123
259673299110,4cyclictest28859171kthreadcore23:45:173
259672899118,2cyclictest2677413-21tr20:25:212
259672699116,4cyclictest1-21systemd20:40:001
259672699116,3cyclictest335557-21systemd-journal23:10:071
259672699116,3cyclictest2847033-21turbostat.cron23:10:001
259672699116,3cyclictest2736013-21ntpq21:20:211
259672699115,5cyclictest2798707-21kworker/u8:3+flush-259:022:40:121
259672699108,1cyclictest0-21swapper/122:15:131
259672699107,2cyclictest2852545-21cpuspeed_turbos23:15:161
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional