You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2025-12-31 - 08:39

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #5, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack5slot3s.osadl.org (updated Wed Dec 31, 2025 00:44:29)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
57752238164,24sleep20-21swapper/219:06:172
58522236162,24sleep00-21swapper/019:07:160
57262204166,25sleep30-21swapper/319:05:373
40992200164,24sleep10-21swapper/119:05:031
2712221680,2sleep1615799cyclictest22:20:241
1062621410,4sleep0615299cyclictest20:30:180
6162999592,2cyclictest0-21swapper/223:52:142
6162997369,3cyclictest0-21swapper/222:08:402
6162996359,3cyclictest0-21swapper/200:13:092
12282520,3sleep230-21rcuc/222:35:212
188342510,2sleep10-21swapper/120:50:151
6152993910,13cyclictest13417-21munin-run19:25:010
174692370,4sleep230-21rcuc/200:25:262
135392370,1sleep113543-21unixbench-2d20:35:261
615799342,29cyclictest8625-21/usr/sbin/munin21:40:141
615799332,23cyclictest0-21swapper/121:19:351
615799323,16cyclictest21248-21idleruntime00:35:171
615799321,28cyclictest8731-21sh20:25:221
615799321,23cyclictest12920-21cstates21:50:121
615299322,11cyclictest22498-21munin-run00:40:020
6166993116,10cyclictest0-21swapper/323:48:413
615799315,23cyclictest15901-21turbostat.cron00:25:011
615799313,20cyclictest0-21swapper/119:15:571
615799312,21cyclictest15846-21dnf23:10:131
615799309,18cyclictest6879-21seq00:02:161
615299303,7cyclictest22078-21kworker/0:019:45:220
6152993010,6cyclictest0-21swapper/023:38:470
616699292,19cyclictest39-21rcuc/322:00:163
6166992916,8cyclictest0-21swapper/300:13:253
616699291,19cyclictest0-21swapper/322:55:243
616699291,13cyclictest0-21swapper/321:50:253
616699290,20cyclictest0-21swapper/322:05:203
616699290,13cyclictest0-21swapper/319:19:293
615799298,18cyclictest21494-40dnf23:20:281
615799292,10cyclictest6556-21fschecks_time21:35:151
615799290,19cyclictest18965-21grep00:30:201
615299294,14cyclictest751-21rngd00:30:290
615299292,9cyclictest23364-21kworker/0:322:19:570
615299291,9cyclictest0-21swapper/000:27:210
616699282,12cyclictest751-21rngd20:55:513
6166992815,2cyclictest0-21swapper/322:35:213
616699281,14cyclictest751-21rngd20:49:433
615799289,16cyclictest25612-40dnf22:19:571
615799285,12cyclictest17504-21grep22:00:161
615799283,8cyclictest0-21swapper/123:05:041
6157992813,3cyclictest0-21swapper/123:50:391
615799281,13cyclictest0-21swapper/119:47:511
615799280,8cyclictest0-21swapper/123:39:291
615299287,3cyclictest0-21swapper/022:28:020
615299281,11cyclictest13875-21kworker/0:320:54:070
6152992811,15cyclictest9316-21munin-run00:10:010
615299280,21cyclictest87150irq/128-enp1s0-23:15:250
616699276,4cyclictest401ktimersoftd/300:30:203
616699276,12cyclictest0-21swapper/322:30:393
616699272,2cyclictest88550irq/132-enp2s0-23:44:423
616699271,18cyclictest0-21swapper/323:36:343
616699271,14cyclictest16805-21hddtemp_smartct00:25:183
615799276,3cyclictest0-21swapper/119:58:331
615799273,4cyclictest4176-21memory20:15:211
6157992715,3cyclictest0-21swapper/119:10:151
615799271,16cyclictest0-21swapper/122:38:021
615799270,20cyclictest0-21swapper/123:46:031
615299276,3cyclictest0-21swapper/021:01:090
615299275,3cyclictest0-21swapper/021:21:170
615299275,3cyclictest0-21swapper/020:42:310
615299271,7cyclictest835-21runrttasks00:18:290
616699265,13cyclictest19328-21kworker/u8:123:22:293
616699261,19cyclictest0-21swapper/322:19:033
616699261,19cyclictest0-21swapper/321:15:103
616699261,17cyclictest0-21swapper/321:26:523
615799267,4cyclictest24625-21df_inode23:30:131
615799265,18cyclictest3658-21perf21:30:011
615799263,10cyclictest9818-21grep22:55:211
615799262,9cyclictest4060-21cstates21:30:141
615799262,9cyclictest4060-21cstates21:30:141
615799261,5cyclictest0-21swapper/122:34:011
615799261,3cyclictest0-21swapper/120:47:501
615799260,17cyclictest0-21swapper/100:25:141
615299261,19cyclictest0-21swapper/022:55:510
6152992611,4cyclictest0-21swapper/022:40:370
615299261,12cyclictest0-21swapper/019:33:140
615299261,10cyclictest751-21rngd20:13:300
616699259,2cyclictest41-21ksoftirqd/323:54:383
616699256,10cyclictest39-21rcuc/319:25:253
616699254,13cyclictest0-21swapper/321:44:563
616699252,12cyclictest31002-21munin-run20:05:003
6166992514,3cyclictest0-21swapper/300:38:063
616699251,18cyclictest0-21swapper/322:42:103
616699251,18cyclictest0-21swapper/300:19:183
616699251,17cyclictest0-21swapper/322:23:563
616699251,17cyclictest0-21swapper/321:37:163
616699251,16cyclictest0-21swapper/323:07:203
616699251,16cyclictest0-21swapper/300:20:113
616699251,15cyclictest0-21swapper/323:18:373
616699251,15cyclictest0-21swapper/323:02:523
6166992511,2cyclictest27517-21sort21:10:133
616699250,18cyclictest0-21swapper/322:29:203
615799254,18cyclictest7475-21cut00:05:131
615799254,18cyclictest12453-21perf21:50:011
615799253,2cyclictest18954-21smart_sda23:15:241
615799253,19cyclictest2925-21sed22:40:171
615799251,6cyclictest0-21swapper/122:08:561
6157992514,2cyclictest0-21swapper/119:37:211
615799251,3cyclictest10163-21expr00:10:161
615799251,2cyclictest0-21swapper/119:50:481
615799251,12cyclictest7507-21irqstats22:50:191
615799250,5cyclictest0-21swapper/122:14:121
615799250,2cyclictest88850irq/135-enp2s0-23:25:051
615799250,2cyclictest0-21swapper/121:00:041
615299257,3cyclictest0-21swapper/023:56:230
615299257,3cyclictest0-21swapper/023:56:230
615299256,3cyclictest5132-40dnf20:18:560
615299256,3cyclictest0-21swapper/022:09:520
615299251,14cyclictest19692-21kworker/0:319:42:310
281642250,2sleep081ktimersoftd/019:55:280
616699246,3cyclictest21100-21kworker/3:223:59:583
616699246,3cyclictest21100-21kworker/3:223:59:583
616699245,11cyclictest0-21swapper/321:48:423
616699245,10cyclictest0-21swapper/300:00:083
616699242,17cyclictest0-21swapper/321:56:303
616699241,16cyclictest0-21swapper/322:11:023
616699241,15cyclictest0-21swapper/321:20:323
616699241,15cyclictest0-21swapper/300:08:163
616699241,14cyclictest0-21swapper/323:32:023
616699241,14cyclictest0-21swapper/321:32:453
616699241,14cyclictest0-21swapper/321:32:453
616699240,16cyclictest0-21swapper/322:48:263
615799244,17cyclictest13426-21basename19:25:011
615799242,11cyclictest433-21ntp_offset21:20:201
615799241,3cyclictest0-21swapper/119:32:201
615799241,2cyclictest0-21swapper/121:10:331
615799241,2cyclictest0-21swapper/100:15:391
615299248,7cyclictest11655-21kworker/0:120:35:370
615299246,7cyclictest5448-21df_inode00:00:150
615299246,3cyclictest0-21swapper/000:11:130
615299244,9cyclictest27213-21diskmemload22:00:170
615299241,15cyclictest0-21swapper/022:53:590
615299241,13cyclictest0-21swapper/020:24:080
615299241,13cyclictest0-21swapper/020:24:070
616699235,5cyclictest12050irq/123-ahci[0019:34:563
616699232,11cyclictest12050irq/123-ahci[0020:00:003
616699231,8cyclictest24398-21awk19:50:013
616699231,14cyclictest86950irq/126-enp1s0-23:12:363
616699231,13cyclictest0-21swapper/323:25:583
616699231,13cyclictest0-21swapper/322:50:023
616699231,12cyclictest0-21swapper/320:53:173
616299231,6cyclictest0-21swapper/221:31:372
616299231,6cyclictest0-21swapper/221:31:372
616299231,4cyclictest20982-21kworker/u8:222:18:502
6162992311,3cyclictest7149-21sh21:35:212
6162992310,3cyclictest19575-21kworker/2:223:24:202
615799238,3cyclictest0-21swapper/120:43:501
615799238,3cyclictest0-21swapper/120:13:491
615799233,11cyclictest0-21swapper/121:57:051
6157992317,3cyclictest5597-21pmu-power22:45:241
615799231,3cyclictest0-21swapper/123:01:271
6157992310,3cyclictest751-21rngd21:09:191
615799230,5cyclictest0-21swapper/123:58:101
615799230,5cyclictest0-21swapper/123:58:101
615799230,4cyclictest0-21swapper/123:42:021
615799230,12cyclictest22548-21systemd-journal20:56:471
615299237,4cyclictest88650irq/133-enp2s0-21:57:200
615299235,5cyclictest13875-21kworker/0:320:45:250
615299235,2cyclictest14444-21kworker/0:221:55:010
615299232,11cyclictest6339-21kworker/0:219:10:150
615299231,3cyclictest0-21swapper/019:18:530
615299231,20cyclictest0-21swapper/021:33:510
615299231,20cyclictest0-21swapper/021:33:510
6152992311,4cyclictest87150irq/128-enp1s0-23:45:180
615299231,11cyclictest25860-21/usr/sbin/munin22:20:140
615299230,3cyclictest0-21swapper/021:13:290
616699224,9cyclictest15589-21/usr/sbin/munin20:40:253
616699224,5cyclictest6805-21fschecks_count19:10:153
616699223,9cyclictest39-21rcuc/319:50:183
616699221,11cyclictest19986-21cat19:39:573
616299221,8cyclictest0-21swapper/200:06:292
616299221,12cyclictest0-21swapper/223:00:142
615799223,15cyclictest28395-21df22:25:141
615799220,3cyclictest0-21swapper/120:33:061
615299229,5cyclictest87150irq/128-enp1s0-23:00:210
615299224,8cyclictest17322-21runrttasks23:13:170
615299224,3cyclictest23326-21wc23:25:230
615299223,2cyclictest88650irq/133-enp2s0-19:51:340
615299222,9cyclictest0-21swapper/019:37:100
615299222,2cyclictest88850irq/135-enp2s0-20:59:050
615299222,2cyclictest88650irq/133-enp2s0-20:04:540
615299221,9cyclictest0-21swapper/021:42:530
615299221,15cyclictest0-21swapper/022:37:490
615299221,11cyclictest23230-21sshd22:12:310
615299221,11cyclictest0-21swapper/023:44:010
615299221,11cyclictest0-21swapper/021:46:320
615299221,10cyclictest7687-21sshd21:35:290
616699217,3cyclictest27220-21munin-run21:10:003
6166992112,2cyclictest12050irq/123-ahci[0020:35:013
616699211,10cyclictest1083-21cpu20:10:123
616299211,5cyclictest0-21swapper/223:36:332
6162992110,3cyclictest9645-21awk20:30:012
615799214,8cyclictest0-21swapper/119:42:471
615799211,18cyclictest0-21swapper/120:20:131
615799211,18cyclictest0-21swapper/120:20:121
615299211,7cyclictest0-21swapper/022:30:190
615299211,6cyclictest5976-21grep22:45:260
615299211,11cyclictest0-21swapper/020:26:150
615299211,10cyclictest0-21swapper/019:26:530
616699205,9cyclictest39-21rcuc/320:17:583
616699204,7cyclictest0-21swapper/320:26:053
616699203,9cyclictest39-21rcuc/319:20:213
616699201,7cyclictest23037-21/usr/sbin/munin21:00:183
616699201,6cyclictest12057-21/usr/sbin/munin20:35:183
616699201,10cyclictest8469-21munin-node19:40:303
616299206,4cyclictest13817-21awk21:50:222
616299201,9cyclictest28167-21cut22:25:122
616299201,6cyclictest0-21swapper/221:40:242
616299201,6cyclictest0-21swapper/200:22:112
616299201,5cyclictest0-21swapper/222:41:002
616299201,5cyclictest0-21swapper/222:20:142
615799201,18cyclictest0-21swapper/119:29:381
615799201,16cyclictest29382-21/usr/sbin/munin20:00:151
615299207,6cyclictest751-21rngd21:09:070
615299206,3cyclictest0-21swapper/023:52:210
615299204,3cyclictest86950irq/126-enp1s0-00:20:220
615299203,4cyclictest87150irq/128-enp1s0-21:15:210
615299201,8cyclictest0-21swapper/021:29:590
615299201,16cyclictest24282-21/usr/sbin/munin23:30:190
615299200,19cyclictest0-21swapper/023:20:220
616699191,9cyclictest86950irq/126-enp1s0-20:20:173
616699191,9cyclictest86950irq/126-enp1s0-20:20:173
616699191,9cyclictest0-21swapper/320:05:303
616299198,2cyclictest19829-21cat23:20:032
616299195,3cyclictest27963-21pmu-power19:55:252
616299191,8cyclictest13047-21strings20:35:192
616299191,7cyclictest0-21swapper/222:46:592
616299191,6cyclictest0-21swapper/223:43:312
616299191,6cyclictest0-21swapper/223:12:422
616299191,5cyclictest0-21swapper/223:55:122
616299191,5cyclictest0-21swapper/223:55:122
6162991913,4cyclictest16446-21unixbench_singl21:55:262
616299191,15cyclictest19402-21ntp_states00:30:252
615799194,3cyclictest0-21swapper/120:05:291
615299191,7cyclictest0-21swapper/023:07:410
616299185,5cyclictest0-21swapper/222:02:522
616299183,5cyclictest21819-21diskstats22:10:172
616299182,6cyclictest24181-21pmu-power21:00:232
616299181,8cyclictest27444-21/usr/sbin/munin21:10:242
616299181,8cyclictest24059-21munin-run23:30:012
616299181,7cyclictest801-21snmpd19:15:222
616299181,7cyclictest31608-21latency_hist21:20:022
616299181,6cyclictest526-21pmu-power21:20:232
616299181,6cyclictest4738-21grep20:15:272
616299181,5cyclictest0-21swapper/200:36:542
616299181,4cyclictest0-21swapper/223:30:442
616299181,15cyclictest0-21swapper/220:31:172
616299181,15cyclictest0-21swapper/220:22:422
616299181,15cyclictest0-21swapper/220:22:422
616299181,15cyclictest0-21swapper/220:13:412
615299184,3cyclictest0-21swapper/020:09:200
242402180,2sleep20-21swapper/219:48:122
180222181,2sleep20-21swapper/219:35:032
616299176,3cyclictest86950irq/126-enp1s0-23:05:222
616299175,5cyclictest15837-21/usr/sbin/munin19:30:162
616299175,4cyclictest18770-21cut20:50:142
616299175,3cyclictest87250irq/129-enp1s0-22:30:252
616299172,5cyclictest12436-21needreboot19:20:202
616299171,6cyclictest21367-21head19:40:252
616299171,6cyclictest0-21swapper/221:26:542
616299171,5cyclictest0-21swapper/222:56:082
616299171,4cyclictest0-21swapper/200:02:462
616299171,3cyclictest0-21swapper/221:45:102
6162991712,3cyclictest32461-21users23:45:282
6162991712,3cyclictest25246-21/usr/sbin/munin21:05:182
616299171,15cyclictest0-21swapper/222:52:502
616299166,3cyclictest86950irq/126-enp1s0-19:25:162
616299165,3cyclictest86950irq/126-enp1s0-20:00:122
616299165,3cyclictest12050irq/123-ahci[0020:55:212
616299164,3cyclictest493-21jbd2/dm-0-820:08:352
616299163,4cyclictest24965-21df_inode19:50:142
616299161,7cyclictest0-21swapper/200:18:062
616299161,5cyclictest0-21swapper/220:40:162
6162991610,3cyclictest16820-21fschecks_count20:45:172
6162991510,3cyclictest7247-21cat19:10:182
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional