You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-04-07 - 19:00

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #5, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack5slot3s.osadl.org (updated Tue Apr 07, 2026 12:44:29)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
56492242164,24sleep10-21swapper/107:05:031
76622238162,25sleep00-21swapper/007:10:010
74132235163,24sleep20-21swapper/207:06:492
57022204166,25sleep30-21swapper/307:05:083
1972621710,3sleep2775899cyclictest10:00:212
77589910299,2cyclictest0-21swapper/208:06:362
269432950,4sleep011-21rcuc/010:16:280
7758998581,3cyclictest0-21swapper/211:25:212
198482510,5sleep011-21rcuc/007:35:120
117652440,2sleep20-21swapper/207:15:192
776399391,28cyclictest182542sleep309:57:573
774799399,14cyclictest29434-21munin-run10:25:000
774799394,7cyclictest8423-40dnf12:01:450
774799394,5cyclictest26256-40dnf09:00:430
774799368,13cyclictest3066-21awk09:25:010
774799362,31cyclictest9420-21tr08:25:110
7747993612,3cyclictest18044-21/usr/sbin/munin08:45:220
774799359,3cyclictest25876-21/usr/sbin/munin11:30:200
774799351,3cyclictest0-21swapper/009:50:170
776399341,25cyclictest0-21swapper/307:42:523
774799348,3cyclictest8917-21/usr/sbin/munin12:05:170
774799348,11cyclictest2442-21awk08:10:010
774799344,3cyclictest17176-21idleruntime09:55:150
7747993410,3cyclictest7671-21/usr/sbin/munin09:35:170
774799339,3cyclictest29655-21/usr/sbin/munin10:25:210
774799338,3cyclictest31241-21/usr/sbin/munin09:15:140
7747993311,3cyclictest19251-21cat11:15:020
774799327,12cyclictest17195-21idleruntime-cro07:30:010
774799321,8cyclictest21570-21NetworkManager12:31:190
774799321,6cyclictest808-21snmpd12:38:070
774799321,6cyclictest1694-21/usr/sbin/munin10:35:270
774799321,6cyclictest1694-21/usr/sbin/munin10:35:260
774799321,13cyclictest28814-21diskmemload11:26:490
7747993210,3cyclictest827-21runrttasks07:31:250
7747993210,3cyclictest30271-21/usr/sbin/munin11:40:200
776399311,23cyclictest0-21swapper/309:48:243
776399311,23cyclictest0-21swapper/307:11:393
774799319,3cyclictest7050-21/usr/sbin/munin08:20:160
774799313,6cyclictest13327-21smart_sda09:45:250
774799311,9cyclictest5874-21idleruntime-cro10:45:010
7747993113,15cyclictest19878-21cat12:30:010
7747993112,16cyclictest23296-21kworker/u8:108:40:010
774799311,11cyclictest0-21swapper/011:00:020
7747993111,17cyclictest6915-21cut08:20:010
7747993111,17cyclictest6915-21cut08:20:010
7747993110,3cyclictest9870-21/usr/sbin/munin09:40:250
7747993110,3cyclictest827-21runrttasks08:58:010
7747993110,3cyclictest27632-21if_err_enp2s009:05:150
774799310,8cyclictest0-21swapper/011:07:030
776399301,18cyclictest0-21swapper/308:03:043
776399300,23cyclictest0-21swapper/311:23:093
776399300,20cyclictest0-21swapper/308:10:123
774799309,3cyclictest3126-21grep08:10:150
774799309,2cyclictest8290-21/usr/sbin/munin10:50:250
774799308,3cyclictest21481-21/usr/sbin/munin11:20:200
774799305,3cyclictest30183-21cat11:40:020
774799301,4cyclictest13724-21fschecks_count12:15:150
774799301,26cyclictest3886-21grep09:25:160
774799301,26cyclictest3886-21grep09:25:160
774799301,12cyclictest23296-21kworker/u8:109:10:180
7747993010,3cyclictest827-21runrttasks07:56:250
776399290,22cyclictest0-21swapper/310:41:503
7753992915,3cyclictest22165-21chrt07:40:141
774799299,3cyclictest827-21runrttasks10:14:010
774799298,3cyclictest11129-21cpu12:10:110
774799297,2cyclictest0-21swapper/010:06:370
774799295,4cyclictest4979-21fschecks_time11:55:150
774799293,2cyclictest87350irq/126-enp1s0-10:01:000
774799291,9cyclictest32428-21grep10:30:140
774799291,14cyclictest14672-21munin-run11:05:020
7747992911,3cyclictest20407-21cut11:15:240
7747992910,4cyclictest31186-21tune2fs08:00:160
7747992910,3cyclictest22677-21cat07:40:190
7747992910,2cyclictest827-21runrttasks07:19:120
776399281,8cyclictest0-21swapper/308:45:373
776399281,18cyclictest0-21swapper/309:09:213
776399281,18cyclictest0-21swapper/309:00:493
776399281,13cyclictest0-21swapper/312:28:343
776399281,12cyclictest0-21swapper/309:21:013
776399281,12cyclictest0-21swapper/307:56:363
776399281,12cyclictest0-21swapper/307:50:243
776399281,11cyclictest0-21swapper/312:14:023
776399280,13cyclictest0-21swapper/311:43:453
776399280,12cyclictest0-21swapper/311:25:493
774799289,3cyclictest827-21runrttasks08:43:090
774799288,3cyclictest24484-21fschecks_count07:45:160
774799287,4cyclictest6266-21if_err_enp2s009:30:170
774799282,5cyclictest9957-21munin-node07:15:000
776399278,10cyclictest0-21swapper/312:20:163
776399271,11cyclictest0-21swapper/309:32:403
775399271,22cyclictest28842-21/usr/sbin/munin11:35:161
775399271,17cyclictest0-21swapper/107:54:301
774799278,3cyclictest7825-21seq10:47:070
774799278,3cyclictest20895-21gltestperf08:50:160
774799278,3cyclictest15531-21cpu12:20:120
774799277,3cyclictest12568-21cut08:30:200
774799271,12cyclictest808-21snmpd07:22:070
774799270,9cyclictest0-21swapper/011:54:230
181152271,22sleep118150-21ntp_states11:10:201
776399261,8cyclictest0-21swapper/307:49:243
776399261,10cyclictest0-21swapper/311:14:013
776399261,10cyclictest0-21swapper/310:06:463
776399261,10cyclictest0-21swapper/310:03:413
776399260,10cyclictest0-21swapper/312:08:583
775399262,15cyclictest0-21swapper/107:48:371
775399261,9cyclictest0-21swapper/111:31:061
7753992612,6cyclictest0-21swapper/107:39:561
775399261,22cyclictest2151-21ntp_states09:20:221
774799261,9cyclictest883-21irqstats11:45:190
774799261,9cyclictest883-21irqstats11:45:180
774799261,11cyclictest28232-21cat07:55:010
150352260,4sleep121-21rcuc/107:25:011
776399251,8cyclictest0-21swapper/310:34:383
776399251,11cyclictest0-21swapper/310:16:543
776399251,10cyclictest0-21swapper/309:29:173
776399251,10cyclictest0-21swapper/309:29:173
776399250,9cyclictest0-21swapper/310:39:023
776399250,9cyclictest0-21swapper/310:39:023
776399250,8cyclictest0-21swapper/307:35:123
776399250,11cyclictest0-21swapper/308:17:003
776399250,11cyclictest0-21swapper/308:17:003
776399250,10cyclictest0-21swapper/311:46:293
776399250,10cyclictest0-21swapper/311:46:293
776399250,10cyclictest0-21swapper/309:11:453
775399256,7cyclictest28814-21diskmemload12:01:461
775399256,7cyclictest0-21swapper/109:50:131
775399252,21cyclictest0-21swapper/110:51:471
775399251,5cyclictest0-21swapper/110:24:001
775399251,2cyclictest0-21swapper/109:25:301
775399251,2cyclictest0-21swapper/109:25:301
775399251,2cyclictest0-21swapper/108:48:361
775399251,22cyclictest0-21swapper/111:08:471
775399251,16cyclictest0-21swapper/108:11:321
775399251,12cyclictest32053-21irqstats09:15:181
775399251,11cyclictest0-21swapper/107:55:241
776399244,3cyclictest0-21swapper/307:19:433
776399241,9cyclictest0-21swapper/310:25:383
776399241,7cyclictest0-21swapper/308:27:423
776399241,12cyclictest28814-21diskmemload10:47:143
776399241,12cyclictest0-21swapper/308:55:023
776399241,11cyclictest0-21swapper/307:33:533
776399241,10cyclictest0-21swapper/312:18:063
776399241,10cyclictest0-21swapper/308:57:023
776399241,10cyclictest0-21swapper/307:29:533
776399240,13cyclictest0-21swapper/310:54:463
776399240,10cyclictest0-21swapper/309:54:133
775399242,15cyclictest0-21swapper/108:09:241
775399241,4cyclictest10839-21diskstats10:55:151
775399241,3cyclictest9034-21perf08:25:011
775399241,3cyclictest18968-21swap12:25:241
775399241,3cyclictest11462-21diskstats12:10:141
775399241,21cyclictest0-21swapper/109:32:071
7753992412,10cyclictest25007-21kworker/u8:010:30:121
775399241,15cyclictest0-21swapper/107:17:251
775399241,11cyclictest14665-21latency_hist11:05:021
776399238,3cyclictest6476-21munin-run12:00:023
776399238,3cyclictest0-21swapper/311:33:133
776399237,3cyclictest0-21swapper/308:05:083
776399230,9cyclictest0-21swapper/309:35:283
776399230,8cyclictest0-21swapper/311:00:103
776399230,21cyclictest0-21swapper/311:05:403
776399230,10cyclictest0-21swapper/312:32:503
776399230,10cyclictest0-21swapper/310:58:543
775899238,4cyclictest26213-21df11:30:132
775899236,4cyclictest597-21gltestperf11:45:172
775899236,4cyclictest597-21gltestperf11:45:172
775399239,3cyclictest12264-21irqstats08:30:171
775399231,3cyclictest28988-21cat09:10:011
775399231,3cyclictest25550-21memory09:00:171
775399231,3cyclictest21486-21users12:30:251
775399230,14cyclictest0-21swapper/108:26:011
776399228,3cyclictest0-21swapper/308:34:573
776399228,2cyclictest0-21swapper/308:20:293
776399228,1cyclictest0-21swapper/311:15:133
776399221,10cyclictest0-21swapper/309:41:443
776399220,13cyclictest0-21swapper/309:18:013
776399220,11cyclictest0-21swapper/308:37:023
776399220,10cyclictest0-21swapper/308:41:103
775899223,10cyclictest8182-21sed10:50:012
7758992212,3cyclictest0-21swapper/209:25:472
7758992212,3cyclictest0-21swapper/209:25:472
775899221,15cyclictest0-21swapper/211:02:512
775399221,3cyclictest0-21swapper/109:59:581
776399211,9cyclictest0-21swapper/307:21:073
776399210,12cyclictest0-21swapper/311:39:053
776399210,10cyclictest0-21swapper/310:22:583
775899219,3cyclictest3723-21ntp_states08:10:212
775899216,4cyclictest7790-21cpuspeed_turbos09:35:132
775899215,4cyclictest27281-21sadc07:50:212
775899211,9cyclictest15936-21grep11:05:202
775899211,7cyclictest0-21swapper/210:33:042
775899211,6cyclictest0-21swapper/212:10:162
775899211,11cyclictest1756-21hddtemp_smartct09:20:162
775899211,10cyclictest0-21swapper/209:13:512
775899210,5cyclictest12937-21kworker/u8:012:22:412
775399217,12cyclictest0-21swapper/107:10:151
775399212,4cyclictest32683-1kworker/u9:111:43:301
775399212,3cyclictest0-21swapper/110:19:261
775399212,17cyclictest0-21swapper/109:40:101
7753992113,3cyclictest0-21swapper/107:32:381
775399211,18cyclictest0-21swapper/110:48:521
775399211,18cyclictest0-21swapper/109:36:071
775399211,15cyclictest0-21swapper/108:03:371
775399211,11cyclictest24119-21fschecks_count11:25:151
775399210,4cyclictest0-21swapper/111:22:431
775399210,2cyclictest0-21swapper/111:57:501
51892211,3sleep15203-21diskstats08:15:151
51892211,3sleep15203-21diskstats08:15:151
776399209,3cyclictest22261-21cstates12:35:123
776399201,13cyclictest0-21swapper/311:53:133
776399200,10cyclictest0-21swapper/312:00:063
775899206,3cyclictest19464-21cat11:15:132
775899204,10cyclictest0-21swapper/211:13:212
775899203,9cyclictest0-21swapper/209:15:502
775899201,9cyclictest13725-21grep12:15:162
775899201,9cyclictest0-21swapper/209:55:202
775899201,7cyclictest24543-21unixbench-2d10:10:252
775899201,7cyclictest11735-21expr08:30:122
775899201,6cyclictest10439-21unixbench_multi12:05:262
775899201,4cyclictest0-21swapper/209:31:512
7758992014,3cyclictest15737-21grep09:50:252
775899201,12cyclictest0-21swapper/209:40:102
775899201,10cyclictest32090-21sed08:00:272
775899201,10cyclictest29635-21cat10:25:022
775899201,10cyclictest0-21swapper/210:43:112
775399208,3cyclictest16301-21ntp_states07:25:221
7753992016,3cyclictest0-21swapper/110:26:291
7753992016,3cyclictest0-21swapper/108:51:081
775399201,3cyclictest0-21swapper/111:53:061
775399201,3cyclictest0-21swapper/110:00:481
775399201,2cyclictest0-21swapper/108:58:431
775399201,17cyclictest0-21swapper/110:39:371
775399201,17cyclictest0-21swapper/110:39:371
775399201,11cyclictest13373-21cpu12:15:131
775399201,10cyclictest20508-21gunzip11:15:241
775399201,10cyclictest15397-21seq08:37:201
775399201,10cyclictest0-21swapper/111:46:561
775399201,10cyclictest0-21swapper/111:46:561
775399201,10cyclictest0-21swapper/110:11:261
196552201,2sleep20-21swapper/208:45:382
776399191,10cyclictest0-21swapper/310:12:063
775899195,3cyclictest87350irq/126-enp1s0-12:30:252
775899195,3cyclictest87350irq/126-enp1s0-08:35:132
775899195,3cyclictest827-21runrttasks07:55:142
775899193,9cyclictest0-21swapper/210:56:492
775899191,8cyclictest0-21swapper/211:37:422
775899191,6cyclictest9208-21smart_sda07:10:242
775899191,6cyclictest21081-21cat10:05:122
775899191,6cyclictest12672-21head09:45:162
775899191,5cyclictest763-21dbus-daemon09:00:012
775899191,5cyclictest5764-21smart_sda11:55:252
775899191,5cyclictest27228-21fschecks_count09:05:122
775899191,5cyclictest18603-21ps07:30:232
775899191,11cyclictest0-21swapper/210:37:582
775899191,11cyclictest0-21swapper/210:37:582
775899191,11cyclictest0-21swapper/207:43:492
775899191,10cyclictest0-21swapper/212:37:262
775899191,10cyclictest0-21swapper/212:28:162
775899191,10cyclictest0-21swapper/211:21:382
775899191,10cyclictest0-21swapper/210:29:032
7753991916,2cyclictest0-21swapper/112:08:251
7753991915,3cyclictest0-21swapper/112:20:381
775399191,3cyclictest5035-21head10:40:221
775399191,2cyclictest0-21swapper/109:46:431
775399191,17cyclictest0-21swapper/108:43:321
775399191,16cyclictest0-21swapper/110:05:411
775899184,4cyclictest8639-21diskstats10:50:132
775899184,3cyclictest32-21ksoftirqd/207:49:502
775899184,3cyclictest12050irq/123-ahci[0009:05:002
775899184,3cyclictest12050irq/123-ahci[0008:30:022
775899183,9cyclictest0-21swapper/211:41:542
775899181,9cyclictest0-21swapper/210:15:262
775899181,5cyclictest6700-21/usr/sbin/munin12:00:182
775899181,10cyclictest0-21swapper/207:28:072
775399181,16cyclictest0-21swapper/112:36:241
775399181,11cyclictest0-21swapper/109:11:361
775899172,4cyclictest16026-21cstates08:40:122
775899171,9cyclictest0-21swapper/208:15:202
775899171,9cyclictest0-21swapper/208:15:202
775899171,4cyclictest3027-21basename11:50:172
775899171,10cyclictest0-21swapper/207:38:372
775899161,8cyclictest0-21swapper/208:50:032
7758991610,3cyclictest7872-21kernelversion08:20:192
775899151,5cyclictest13033-21/usr/sbin/munin07:20:102
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional