You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-08-20 - 10:16

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #5, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack5slot3s.osadl.org (updated Thu Aug 20, 2026 00:44:29)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
3046623130,3sleep00-21swapper/019:05:250
309602236164,59sleep30-21swapper/319:06:583
310972231164,54sleep20-21swapper/219:08:482
308542201166,23sleep10-21swapper/119:05:371
921821530,4sleep03128299cyclictest21:55:260
921821530,4sleep03128299cyclictest21:55:260
31292998778,3cyclictest0-21swapper/222:38:192
311742660,12sleep123-21ksoftirqd/121:35:021
142052660,2sleep29-21rcu_preempt22:10:022
31292996562,2cyclictest0-21swapper/223:13:472
286502520,3sleep230-21rcuc/223:55:162
89452470,1sleep00-21swapper/000:25:120
3128799411,10cyclictest15704-21sed22:10:251
3129799401,25cyclictest8603-21/usr/sbin/munin19:30:203
3129799391,28cyclictest24610-21/usr/sbin/munin21:20:263
3128799392,2cyclictest0-21swapper/122:40:101
3128799391,11cyclictest17771-21cat21:04:561
3129799382,22cyclictest21458-21sendmail_mailst21:10:233
3129799381,27cyclictest0-21swapper/321:30:193
3129799381,25cyclictest28875-21timerwakeupswit22:40:233
3128799378,3cyclictest8199-21processes20:40:221
3128799374,6cyclictest4024-40dnf00:11:561
3128299379,13cyclictest14974-21munin-run19:45:010
3129799361,4cyclictest26601-21cat22:35:273
3128799368,3cyclictest13953-21df_inode20:55:131
3128799364,9cyclictest0-21swapper/123:04:421
3128799362,21cyclictest0-21swapper/120:36:581
3128799361,10cyclictest25615-21latency_hist23:50:021
3128799361,10cyclictest11751-21sh20:50:121
49282350,5sleep03128299cyclictest19:20:170
32492350,4sleep011-21rcuc/022:55:260
3129799356,21cyclictest7820-21cstates21:55:143
3129799356,21cyclictest7820-21cstates21:55:143
3129799352,23cyclictest12050irq/123-ahci[0019:50:013
3129799351,4cyclictest9594-21cat23:10:233
3129799351,24cyclictest24379-21latency_hist21:20:013
3129799351,21cyclictest0-21swapper/322:00:163
3128799358,22cyclictest21355-21awk21:10:231
3128799351,32cyclictest0-21swapper/120:14:551
3128799351,2cyclictest30882-21smart_sda22:45:251
3128799351,10cyclictest0-21swapper/121:50:421
31287993510,3cyclictest12384-21df_inode22:05:131
3128799350,15cyclictest0-21swapper/121:05:021
3129799341,7cyclictest3858-21/usr/sbin/munin23:00:203
3129799341,6cyclictest0-21swapper/322:50:233
3129799341,20cyclictest21789-21/usr/sbin/munin20:00:303
31287993412,3cyclictest0-21swapper/123:34:351
31287993412,3cyclictest0-21swapper/100:03:561
3128799341,11cyclictest21167-21df22:25:111
3128799341,11cyclictest1786-21cpuspeed_turbos22:55:121
3128799341,11cyclictest0-21swapper/100:25:101
31287993410,3cyclictest0-21swapper/100:05:281
3129799331,4cyclictest0-21swapper/323:35:143
3129799331,3cyclictest22967-21cat22:30:023
3129799331,24cyclictest1329-21cstates21:40:123
3129799331,20cyclictest11413-21/usr/sbin/munin20:50:193
3129799331,19cyclictest323-21/usr/sbin/munin20:25:203
3129799331,19cyclictest2597-21cstates00:10:123
3129799330,3cyclictest87350irq/126-enp1s0-20:55:243
3129799330,24cyclictest0-21swapper/323:27:313
3128799331,5cyclictest23028-21tail21:15:161
3128799331,3cyclictest25475-21sed20:05:241
3128799331,23cyclictest0-21swapper/100:20:081
31287993311,3cyclictest30203-21cat00:00:021
3128799331,13cyclictest1065-21crond19:15:001
3128799331,10cyclictest11523-21ntp_states23:15:201
31287993310,3cyclictest0-21swapper/122:03:591
31287993310,3cyclictest0-21swapper/100:31:111
31287993310,2cyclictest0-21swapper/123:44:301
3128799330,12cyclictest0-21swapper/123:50:181
3129799327,14cyclictest0-21swapper/300:36:143
3129799326,23cyclictest14529-21unixbench_multi19:40:243
3129799323,25cyclictest20848-21smart_sda19:55:223
3129799322,5cyclictest13004-21diskstats23:20:123
3129799322,26cyclictest1803-21diskstats19:15:033
3129799322,19cyclictest13275-21cat00:35:013
3129799321,4cyclictest0-21swapper/322:34:583
3129799320,2cyclictest0-21swapper/323:10:023
3129799320,2cyclictest0-21swapper/323:10:013
3128799328,4cyclictest7312-21/usr/sbin/munin23:05:221
3128799328,4cyclictest7312-21/usr/sbin/munin23:05:221
3128799321,4cyclictest31971-21awk21:35:181
3128799321,14cyclictest0-21swapper/123:25:321
31287993211,3cyclictest18970-21df22:20:131
31287993210,19cyclictest30694-21grep20:20:111
3129799318,19cyclictest3257-21cut20:30:153
3129799312,25cyclictest25255-21smart_sda20:05:243
3129799311,5cyclictest17738-21diskstats19:50:133
3129799311,5cyclictest0-21swapper/321:36:083
3129799311,4cyclictest22119-21hddtemp_smartct23:40:173
3128799318,3cyclictest7066-21gltestperf19:25:171
3128799318,3cyclictest32177-21entropy22:50:141
3128799318,3cyclictest1118-21idleruntime20:25:171
3128799312,4cyclictest18414-21/usr/sbin/munin19:50:191
3128799311,8cyclictest0-21swapper/100:15:251
3128799311,8cyclictest0-21swapper/100:15:251
3128799311,6cyclictest20164-21memory23:35:171
3128799311,27cyclictest9892-21hddtemp_smartct20:45:151
3128799311,27cyclictest9892-21hddtemp_smartct20:45:151
3128799311,18cyclictest24953-21df_inode21:20:161
3128799311,11cyclictest4724-21cat20:35:011
3128799311,11cyclictest0-21swapper/123:22:091
3129799303,13cyclictest0-21swapper/322:09:573
3129799302,25cyclictest1665-21/usr/sbin/munin22:55:223
3129799301,2cyclictest0-21swapper/321:50:003
3129799301,22cyclictest0-21swapper/320:11:233
3129799300,21cyclictest0-21swapper/300:24:083
3128799309,3cyclictest13501-21fschecks_time19:40:141
3128799308,3cyclictest28828-21fschecks_count20:15:151
3128799301,3cyclictest5214-21awk21:50:011
3128799301,27cyclictest0-21swapper/119:46:231
31287993011,3cyclictest14776-21grep00:35:241
3128799301,11cyclictest9551-21cat19:30:181
3128799300,23cyclictest0-21swapper/119:20:341
3129799294,15cyclictest87650irq/129-enp1s0-21:00:203
3129799292,4cyclictest26757-21memory23:50:183
3129799292,4cyclictest14912-21hddtemp_smartct22:10:173
3129799291,5cyclictest0-21swapper/322:20:193
3129799291,4cyclictest0-21swapper/320:45:133
3129799291,4cyclictest0-21swapper/320:45:123
3129799291,3cyclictest5788-21diskstats21:50:143
3129799291,3cyclictest31005-21/usr/sbin/munin00:00:193
3129799291,3cyclictest19141-21/usr/sbin/munin21:05:213
3129799291,3cyclictest18303-21sshd22:18:523
3129799291,3cyclictest11613-21/usr/sbin/munin23:15:213
3129799291,25cyclictest26809-21/usr/sbin/munin21:25:233
3129799291,20cyclictest19984-21diskmemload22:45:493
31297992910,16cyclictest28044-21/usr/sbin/munin23:55:203
3129799290,4cyclictest0-21swapper/323:45:213
3128799299,5cyclictest0-21swapper/122:18:521
3128799298,3cyclictest2198-21cstates19:15:121
3128799294,6cyclictest19959-21fschecks_count19:55:121
3128799291,3cyclictest10362-21cat23:15:011
3128799291,26cyclictest0-21swapper/119:35:251
3128799290,6cyclictest0-21swapper/122:30:231
3128299296,8cyclictest11-21rcuc/021:30:220
3129799286,19cyclictest9520-21tail00:25:153
3129799282,3cyclictest11138-21df19:35:123
3129799282,2cyclictest87550irq/128-enp1s0-20:20:243
3129799281,4cyclictest17395-21diskstats23:30:113
3129799281,3cyclictest7742-21/usr/sbin/munin20:40:173
3129799281,3cyclictest7080-21hddtemp_smartct19:25:163
3129799281,15cyclictest0-21swapper/300:15:123
3129799281,15cyclictest0-21swapper/300:15:123
31297992811,14cyclictest5229-21netstat19:20:193
31287992812,3cyclictest23414-21seq20:00:451
3128799280,5cyclictest0-21swapper/121:55:181
3128799280,5cyclictest0-21swapper/121:55:181
3128799280,3cyclictest0-21swapper/121:44:281
3128299289,16cyclictest4602-21munin-run20:35:000
3128299282,14cyclictest10241-21munin-run23:15:020
31282992810,15cyclictest25623-21munin-run23:50:020
31282992810,15cyclictest13084-21idleruntime-cro00:35:010
3129799273,21cyclictest0-21swapper/320:35:133
3129799271,4cyclictest32592-21pmu-power19:10:233
3129799271,3cyclictest1154-21ntp_states00:05:233
3129799261,3cyclictest29013-21grep20:15:173
3128799268,3cyclictest27472-21expr21:25:171
3128799261,9cyclictest0-21swapper/122:39:541
3128299261,13cyclictest20619-21awk22:25:010
31292992521,3cyclictest0-21swapper/221:02:562
31292992518,4cyclictest17514-21fschecks_time23:30:122
3128299241,12cyclictest22181-21idleruntime-cro21:15:020
3129299232,7cyclictest21276-40dnf21:10:222
31282992210,3cyclictest30784-21kworker/0:121:38:060
3129299218,3cyclictest22271-21kernelversion23:40:192
3129299211,8cyclictest5440-21/usr/sbin/munin21:50:172
3129299211,7cyclictest10083-21sed19:30:232
3128299211,12cyclictest19589-21/usr/sbin/munin19:55:210
3128299211,11cyclictest10980-21head22:00:230
3128299211,11cyclictest1078-21cut00:05:210
3128299211,10cyclictest15994-21head23:25:230
3129299201,5cyclictest0-21swapper/221:31:042
31292992015,3cyclictest22831-21grep21:15:142
3128299209,3cyclictest15195-21/usr/sbin/munin19:45:250
3128299201,6cyclictest0-21swapper/022:05:410
31282992014,3cyclictest15584-21idleruntime-cro21:00:020
3128299201,13cyclictest0-21swapper/023:20:200
3128299201,11cyclictest27401-21grep23:50:250
3128299201,11cyclictest20830-21/usr/sbin/munin22:25:160
3128299201,10cyclictest7697-21strings00:20:190
31282992010,8cyclictest12096-21sshd23:15:530
210862200,3sleep20-21swapper/223:38:272
108012201,3sleep211026-21ls19:35:132
3129299197,3cyclictest13648-21cpu20:55:122
3129299191,6cyclictest0-21swapper/223:46:532
3129299191,6cyclictest0-21swapper/200:11:242
3128299199,3cyclictest87550irq/128-enp1s0-22:47:540
3128299196,5cyclictest774-21avahi-daemon00:10:240
3128299191,8cyclictest0-21swapper/022:34:230
3128299191,7cyclictest0-21swapper/023:06:540
3128299191,7cyclictest0-21swapper/023:06:530
31282991913,3cyclictest30683-21cpuspeed_turbos20:20:110
31282991912,4cyclictest12370-21grep19:35:250
3128299191,10cyclictest18015-21/usr/sbin/munin21:05:170
3129299186,4cyclictest30098-21fschecks_time22:45:172
3129299186,3cyclictest12050irq/123-ahci[0021:25:012
3129299183,5cyclictest0-21swapper/223:29:412
3129299181,7cyclictest3385-21if_enp2s020:30:152
3129299181,7cyclictest14631-21/usr/sbin/munin00:35:252
3129299181,6cyclictest32352-21grep21:35:222
3129299181,4cyclictest0-21swapper/222:43:412
3129299181,4cyclictest0-21swapper/200:06:282
31292991813,3cyclictest20143-21perl19:55:142
3128299185,12cyclictest0-21swapper/021:25:020
3128299181,9cyclictest808-21snmpd00:36:210
3128299181,6cyclictest0-21swapper/022:43:080
3128299181,4cyclictest1086-21awk19:15:000
287622181,2sleep20-21swapper/221:29:572
105522180,2sleep20-21swapper/200:26:042
318742171,2sleep20-21swapper/200:00:432
3129299175,4cyclictest19455-21kernelversion22:20:182
3129299172,4cyclictest11192-21munin-run20:50:012
3129299172,4cyclictest11192-21munin-run20:50:012
3129299171,7cyclictest4860-21diskstats00:15:142
3129299171,7cyclictest4860-21diskstats00:15:142
3129299171,7cyclictest4826-21users21:45:242
3129299171,7cyclictest22707-21memory20:00:222
3129299171,6cyclictest579-21systemd-journal22:15:022
3129299171,5cyclictest0-21swapper/223:23:352
3129299171,4cyclictest0-21swapper/221:59:422
3129299171,4cyclictest0-21swapper/221:59:422
3129299171,3cyclictest0-21swapper/223:05:352
3129299171,3cyclictest0-21swapper/223:05:352
31292991712,3cyclictest19428-21grep19:55:022
31292991712,3cyclictest15195-21/usr/sbin/munin19:45:192
31292991712,3cyclictest11101-21/usr/sbin/munin00:30:142
3129299171,15cyclictest0-21swapper/221:07:412
3129299171,14cyclictest0-21swapper/220:11:212
31292991711,3cyclictest32252-21if_enp2s019:10:182
31292991711,3cyclictest12481-21ntpq20:50:202
3129299170,5cyclictest0-21swapper/223:15:172
3129299170,15cyclictest0-21swapper/222:34:122
3129299170,15cyclictest0-21swapper/219:41:552
3128299176,3cyclictest24357-21sshd21:19:520
3128299175,4cyclictest31572-21wc00:00:310
3128299172,8cyclictest0-21swapper/022:11:090
3128299171,8cyclictest0-21swapper/023:00:260
3128299171,7cyclictest19248-21/usr/sbin/munin23:35:180
3128299171,7cyclictest17899-21wc23:30:160
3128299171,5cyclictest0-21swapper/021:49:000
31282991712,3cyclictest30375-21idleruntime-cro20:20:000
31282991712,3cyclictest27720-21/usr/sbin/munin21:25:190
3128299171,14cyclictest3031-21perf21:45:000
31282991711,3cyclictest7405-21latency_hist21:55:000
31282991711,3cyclictest2162-21tr19:15:120
183452171,2sleep00-21swapper/022:19:230
63332161,3sleep00-21swapper/000:18:180
63332161,3sleep00-21swapper/000:18:180
3129299165,3cyclictest87350irq/126-enp1s0-22:15:152
3129299161,9cyclictest0-21swapper/219:17:062
3129299161,6cyclictest30585-21/usr/sbin/munin20:20:222
3129299161,6cyclictest0-21swapper/222:25:252
3129299161,5cyclictest0-21swapper/223:00:032
3129299161,2cyclictest0-21swapper/221:41:062
3129299161,2cyclictest0-21swapper/220:15:462
31292991611,3cyclictest7250-21cut00:20:162
31292991611,3cyclictest32170-21sh22:50:132
31292991611,3cyclictest24633-21cut20:05:152
3129299161,10cyclictest0-21swapper/222:55:312
31292991610,4cyclictest7661-21tail20:40:152
31292991610,3cyclictest4545-21df19:20:122
31292991610,3cyclictest25843-21/usr/sbin/munin23:50:122
3128299169,4cyclictest910-21systemd-logind20:46:520
3128299169,4cyclictest910-21systemd-logind20:46:520
3128299162,6cyclictest4824-21/usr/sbin/munin20:35:110
3128299162,11cyclictest17790-21ls21:05:020
3128299161,9cyclictest0-21swapper/023:44:540
3128299161,6cyclictest0-21swapper/022:35:080
3128299161,5cyclictest0-21swapper/020:26:430
3128299161,3cyclictest7020-21/usr/sbin/munin20:40:210
3128299161,14cyclictest0-21swapper/019:26:350
31282991611,3cyclictest899-21grep22:50:250
31282991611,3cyclictest28513-21fschecks_time23:55:150
31282991611,3cyclictest12662-21mailstats20:50:230
3128299160,9cyclictest0-21swapper/020:05:110
3128299160,10cyclictest0-21swapper/019:30:130
3129299152,10cyclictest10440-21gltestperf22:00:162
3129299151,3cyclictest7143-21awk19:25:172
31292991512,2cyclictest0-21swapper/220:25:052
31292991510,3cyclictest6076-21sendmail_mailtr20:35:222
3128299159,3cyclictest27665-21sed20:10:250
3128299151,5cyclictest21980-21expr20:00:140
31282991510,3cyclictest18190-21interrupts19:50:170
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional