You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-03-29 - 03:08

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #2, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack2slot7s.osadl.org (updated Sun Mar 29, 2026 00:43:31)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1142766997251,11cyclictest12350irq/32-eth022:10:320
1142766995616,7cyclictest12450irq/33-eth021:20:320
1142768995326,23cyclictest1155639-21ntp_kernel_pll_19:50:292
1142767995332,11cyclictest1178734-21diskmemload22:45:341
114276799524,34cyclictest421-21dbus-daemon00:00:311
1142767995241,4cyclictest0-21swapper/121:35:341
1142767995241,4cyclictest0-21swapper/121:35:341
1142766995229,20cyclictest1319606-21cupsd00:29:520
1142768995127,21cyclictest1157731-21munin-plugin-st20:00:012
1142768995044,3cyclictest0-21swapper/221:00:012
1142767995034,9cyclictest624-21lldpd22:15:281
1142767995033,8cyclictest0-21swapper/122:10:301
1142768994924,22cyclictest1319609-21cups-browsed00:04:012
1142767994938,7cyclictest3374176-21cups-browsed22:55:411
1142767994838,4cyclictest0-21swapper/122:05:311
1142767994816,25cyclictest421-21dbus-daemon21:30:291
1142768994726,19cyclictest1352560-21sh00:40:012
1142766994729,11cyclictest12350irq/32-eth023:15:250
114276699472,37cyclictest1271305-21ssh23:00:270
114276699472,37cyclictest1271305-21ssh23:00:270
1142766994710,22cyclictest1317874-21sh23:56:480
1142768994624,19cyclictest1160746-21cut20:10:012
1142767994640,3cyclictest0-21swapper/100:40:011
114276699461,41cyclictest1325071-21ps00:05:350
114276799458,29cyclictest1304453-21ssh23:40:351
1142767994536,5cyclictest0-21swapper/123:05:001
1142767994536,5cyclictest0-21swapper/123:05:001
1142766994530,12cyclictest1233664-21sh22:15:240
1142766994523,19cyclictest1211855-21sh21:50:000
1142768994436,5cyclictest1257733-21systemd-run22:45:012
1142768994436,3cyclictest0-21swapper/200:00:012
1142768994419,22cyclictest659-21snmpd22:10:392
1142767994437,4cyclictest0-21swapper/122:30:011
114276799442,31cyclictest1263119-21ssh22:50:321
1142766994420,21cyclictest1241750-21sshd22:25:210
1142767994335,5cyclictest0-21swapper/121:20:211
114276899429,19cyclictest1178734-21diskmemload21:16:222
1142768994232,7cyclictest1225670-21proc_pri22:05:342
114276799425,21cyclictest1051-21mta-sts-daemon21:00:261
1142767994233,6cyclictest1161272-21fschecks_time20:10:221
1142767994233,6cyclictest1161272-21fschecks_time20:10:221
114276699424,32cyclictest1204716-21sh21:40:290
114276699424,32cyclictest1204716-21sh21:40:290
114276699422,33cyclictest1258848-21ssh22:45:280
1142766994220,19cyclictest0-21swapper/000:40:010
1142768994116,21cyclictest0-21swapper/220:10:302
1142768994116,21cyclictest0-21swapper/220:10:302
1142768994115,21cyclictest0-21swapper/219:15:202
114276899410,12cyclictest1305032-21ssh23:40:482
1142767994132,5cyclictest1283319-21fschecks_count23:15:201
1142767994131,6cyclictest1195306-21latency_hist21:30:021
1142767994114,5cyclictest171rcu_preempt21:45:321
1142766994127,11cyclictest1333185-21sendmail-mta00:15:310
1142766994126,12cyclictest1337853-21unixbench_singl00:20:400
1142766994117,21cyclictest1216710-21fschecks_count21:55:200
1142766994116,21cyclictest0-21swapper/000:30:330
1142766994113,25cyclictest1213351-21switchtime21:50:380
114276899403,16cyclictest171rcu_preempt00:33:272
1142768994031,5cyclictest1340241-21rm00:25:012
1142768994017,19cyclictest0-21swapper/221:50:292
114276899401,14cyclictest1288603-21ssh23:20:452
114276799409,24cyclictest428-21mta-sts-daemon22:40:301
114276799403,4cyclictest1179937-21ssh21:10:311
1142767994032,5cyclictest1332541-21cpu00:15:181
114276699408,30cyclictest1226315-21ssh22:05:580
1142768993931,5cyclictest1178734-21diskmemload21:45:002
1142768993931,5cyclictest1178734-21diskmemload21:45:002
1142768993930,6cyclictest1328980-21ntp_kernel_pll_00:10:282
1142768993917,19cyclictest0-21swapper/222:50:292
114276899390,12cyclictest1333122-21ntpq00:15:292
114276799393,28cyclictest1250422-21ssh22:35:251
1142767993930,4cyclictest0-21swapper/123:45:411
1142767993929,6cyclictest1220190-21sendmail22:00:001
1142767993929,5cyclictest0-21swapper/122:20:251
1142767993929,5cyclictest0-21swapper/122:20:251
1142766993915,22cyclictest1169772-21kworker/u8:6-xprtiod21:25:250
1142768993831,3cyclictest0-21swapper/223:30:272
1142768993831,3cyclictest0-21swapper/223:15:012
1142768993820,15cyclictest0-21swapper/222:25:012
1142768993820,15cyclictest0-21swapper/222:25:012
1142768993817,18cyclictest0-21swapper/223:15:282
114276899381,12cyclictest1271461-21ntpq23:00:332
114276899381,12cyclictest1271461-21ntpq23:00:332
1142767993828,6cyclictest3374176-21cups-browsed21:52:321
1142767993827,5cyclictest0-21swapper/123:55:361
114276699388,17cyclictest1308358-21ssh23:45:280
114276699387,26cyclictest1275629-21ssh23:05:320
114276699385,31cyclictest1252559-21ssh22:38:160
114276699382,8cyclictest1199365-21munin-plugin-st21:35:010
114276699382,30cyclictest1169174-21ntpq20:35:290
1142766993818,17cyclictest0-21swapper/023:20:230
1142766993817,18cyclictest0-21swapper/020:50:380
1142766993813,22cyclictest0-21swapper/022:30:370
114276899373,30cyclictest1312512-21ntpq23:50:282
114276899373,28cyclictest1291945-21ntpq23:25:262
1142768993731,4cyclictest0-21swapper/221:40:012
1142768993731,4cyclictest0-21swapper/221:40:012
1142768993730,4cyclictest1196881-21ssh21:30:392
1142768993728,6cyclictest516-21in:imuxsock22:46:212
1142768993728,6cyclictest421-21dbus-daemon19:35:012
1142768993728,6cyclictest421-21dbus-daemon19:35:012
1142768993721,13cyclictest1-21systemd19:41:592
114276899371,32cyclictest1246366-21ntpq22:30:292
1142768993713,21cyclictest0-21swapper/220:50:222
114276899371,12cyclictest1301466-21ssh23:36:472
114276899371,12cyclictest1233905-21ntp_states22:15:312
1142767993731,3cyclictest0-21swapper/123:35:251
1142767993729,5cyclictest1312067-21fschecks_time23:50:191
1142767993729,5cyclictest1287372-21cpu23:20:201
1142767993728,6cyclictest1171570-21aten_r2power_fr20:45:171
114276699379,26cyclictest421-21dbus-daemon23:35:180
1142766993717,18cyclictest1274395-21kworker/u8:15-xprtiod23:50:170
1142766993714,19cyclictest0-21swapper/023:25:260
114276699371,12cyclictest1239576-21ssh22:22:190
114276699371,12cyclictest1239576-21ssh22:22:190
114276899363,30cyclictest1309048-21ssh23:45:412
114276899363,27cyclictest1167589-21ntpq20:30:252
114276899363,27cyclictest1167589-21ntpq20:30:252
1142768993629,3cyclictest0-21swapper/200:25:292
114276899362,29cyclictest1217189-21ntpq21:55:302
114276899361,4cyclictest1188147-21ntpq21:20:302
114276899361,30cyclictest659-21snmpd21:00:252
114276899361,30cyclictest1275195-21irqstats23:05:222
114276899361,29cyclictest1266683-21ssh22:55:192
1142768993612,20cyclictest0-21swapper/219:25:282
114276899361,12cyclictest1154101-21ntpq19:45:262
114276899361,11cyclictest1221443-21ntpq22:00:332
114276899361,11cyclictest1158620-21ntpq20:00:272
1142767993628,5cyclictest1221725-21threads22:00:381
1142767993628,5cyclictest1175772-21latency_hist21:00:021
114276699367,26cyclictest1156721-21/usr/sbin/munin19:55:200
1142766993630,4cyclictest1150269-21systemd-run19:35:010
1142766993630,4cyclictest1150269-21systemd-run19:35:010
1142766993629,3cyclictest0-21swapper/021:15:350
1142766993627,6cyclictest421-21dbus-daemon00:04:340
114276699362,5cyclictest1157973-21/usr/sbin/munin20:00:170
114276699362,29cyclictest1221355-21ntpq22:00:290
1142766993614,19cyclictest0-21swapper/019:55:020
1142766993614,19cyclictest0-21swapper/000:11:430
114276699361,32cyclictest1167637-21ntpq20:30:270
114276699361,32cyclictest1167637-21ntpq20:30:270
1142766993613,21cyclictest1279461-21missed_timers23:10:230
114276699361,2cyclictest0-21swapper/019:15:280
114276699361,12cyclictest1152648-21awk19:40:270
114276699361,11cyclictest1148104-21ntpq19:25:260
1142766993610,23cyclictest1202824-21sh21:38:440
1142766993610,23cyclictest1202824-21sh21:38:440
114276699360,32cyclictest1267087-21/usr/sbin/munin22:55:260
114276899356,25cyclictest420-21avahi-daemon20:45:322
1142768993523,9cyclictest1179102-21/usr/sbin/munin21:10:242
114276899352,29cyclictest1242237-21ssh22:25:302
1142768993514,18cyclictest0-21swapper/219:10:302
114276899351,13cyclictest1192178-21ntpq21:25:262
114276899351,11cyclictest1169090-21ntpq20:35:252
114276899351,11cyclictest1151153-21ntpq19:35:282
114276899351,10cyclictest1324883-21ntpq00:05:292
114276899350,12cyclictest1251154-21ssh22:35:402
1142767993528,4cyclictest1169746-21sendmail20:40:001
1142767993527,5cyclictest1331990-21systemd-run00:15:011
1142767993526,6cyclictest1340202-21sh00:25:001
1142767993526,5cyclictest0-21swapper/119:55:311
1142767993524,7cyclictest421-21dbus-daemon00:30:141
114276799352,24cyclictest1291973-21ssh23:25:271
114276699356,26cyclictest421-21dbus-daemon20:55:340
114276699353,8cyclictest1166107-21ntpq20:25:250
114276699353,27cyclictest659-21snmpd20:15:290
114276699353,27cyclictest659-21snmpd20:15:290
114276699352,27cyclictest1178137-21ntpq21:05:280
114276699351,3cyclictest1262965-21ssh22:50:270
114276699351,29cyclictest1164624-21ntpq20:20:250
114276699351,10cyclictest1304404-21ssh23:40:330
114276699351,10cyclictest1182612-21ssh21:14:330
114276699350,11cyclictest1170590-21ntpq20:40:260
114276899342,28cyclictest1164670-21ntpq20:20:272
114276899341,8cyclictest1208077-21aten_r2power_cu21:45:162
1142768993411,18cyclictest0-21swapper/220:40:172
114276899341,10cyclictest1163195-21ntpq20:15:312
114276899341,10cyclictest1163195-21ntpq20:15:312
1142767993425,6cyclictest1145785-21systemd-run19:20:011
114276699342,29cyclictest1298731-21sh23:34:240
114276699342,29cyclictest1254668-21ssh22:40:280
114276699342,28cyclictest1172110-21ntpq20:45:270
114276699342,27cyclictest1154192-21ntpq19:45:300
114276699341,4cyclictest1176091-21cut21:00:170
114276699341,4cyclictest1146685-21ntpq19:20:280
114276699341,30cyclictest659-21snmpd20:10:150
114276699341,30cyclictest659-21snmpd20:10:150
114276699341,12cyclictest1143634-21ntpq19:10:270
114276899331,27cyclictest0-21swapper/220:25:182
114276899331,11cyclictest1178126-21ntpq21:05:272
1142767993323,6cyclictest1324642-21latency00:05:231
1142767993321,9cyclictest1143595-21ntp_kernel_err19:10:251
114276699331,9cyclictest1159744-21sshd20:05:190
114276699331,4cyclictest1142722-21munin-run19:10:010
114276699331,10cyclictest1151116-21ntpq19:35:260
114276899321,26cyclictest1146372-21if_wlan019:20:212
114276799322,8cyclictest171rcu_preempt19:50:261
1142767993225,4cyclictest1275072-21cut23:05:201
1142767993225,4cyclictest1056-21mta-sts-daemon23:10:221
1142767993224,5cyclictest1152214-21cpuspeed19:40:181
1142767993223,5cyclictest0-21swapper/121:40:261
1142767993223,5cyclictest0-21swapper/121:40:261
114276799322,24cyclictest1296118-21ssh23:30:291
1142767993220,9cyclictest271ktimers/120:30:271
1142767993220,9cyclictest271ktimers/120:30:271
1142767993122,6cyclictest1142778-21systemd-run19:10:011
1142767993023,3cyclictest0-21swapper/122:30:211
114276899291,25cyclictest1142770-21/usr/sbin/munin19:10:012
1142767992921,5cyclictest1184167-21proc_pri21:15:361
1142767992921,5cyclictest1146419-21kernelversion19:20:221
1142767992919,8cyclictest1178539-21timerwakeupswit21:05:411
1142767992822,3cyclictest1342435-21kworker/u8:9-xprtiod00:26:561
1142767992822,3cyclictest0-21swapper/120:25:011
1142767992820,5cyclictest1149117-21aten_r2power_po19:30:161
1142767992820,5cyclictest1149117-21aten_r2power_po19:30:161
1142767992819,6cyclictest1-21systemd19:40:011
1142767992721,3cyclictest0-21swapper/120:20:001
1142767992721,3cyclictest0-21swapper/120:20:001
1142767992721,3cyclictest0-21swapper/120:05:011
1142767992718,4cyclictest0-21swapper/120:40:291
1142767992617,7cyclictest695-21cron19:50:011
114276799253,17cyclictest428-21mta-sts-daemon20:25:301
1142767992512,10cyclictest421-21dbus-daemon19:30:011
114276799241,4cyclictest1160110-21ntpq20:05:261
1142767992013,4cyclictest1173027-21aten2.4-expect20:50:161
114276999193,10cyclictest0-21swapper/323:10:303
114276999192,10cyclictest0-21swapper/322:10:333
114276999191,12cyclictest0-21swapper/321:10:323
114276999191,11cyclictest0-21swapper/300:15:263
114276999184,8cyclictest0-21swapper/323:40:353
114276999183,9cyclictest0-21swapper/323:45:293
114276999182,9cyclictest0-21swapper/321:40:263
114276999182,9cyclictest0-21swapper/321:40:263
114276999182,10cyclictest0-21swapper/321:25:343
114276999181,9cyclictest0-21swapper/322:35:263
114276999173,9cyclictest0-21swapper/321:30:293
114276999172,9cyclictest0-21swapper/322:40:273
114276999172,9cyclictest0-21swapper/322:20:293
114276999172,9cyclictest0-21swapper/322:20:293
114276999172,8cyclictest0-21swapper/319:40:273
114276999172,10cyclictest0-21swapper/323:25:273
114276999172,10cyclictest0-21swapper/322:05:333
114276999171,9cyclictest0-21swapper/322:15:343
114276999171,8cyclictest0-21swapper/320:50:263
114276999171,8cyclictest0-21swapper/319:45:283
114276999171,10cyclictest0-21swapper/322:50:313
114276999164,9cyclictest0-21swapper/319:55:293
114276999164,8cyclictest0-21swapper/323:30:263
114276999163,9cyclictest0-21swapper/322:55:203
114276999163,8cyclictest0-21swapper/323:35:243
114276999163,8cyclictest0-21swapper/321:20:243
114276999162,9cyclictest0-21swapper/323:20:343
114276999162,9cyclictest0-21swapper/322:30:313
114276999162,9cyclictest0-21swapper/321:45:253
114276999162,9cyclictest0-21swapper/300:00:203
114276999162,8cyclictest0-21swapper/323:55:293
114276999162,8cyclictest0-21swapper/323:15:253
114276999162,8cyclictest0-21swapper/300:30:173
114276999162,7cyclictest0-21swapper/321:15:233
114276999162,7cyclictest0-21swapper/300:35:203
114276999161,9cyclictest0-21swapper/322:45:253
114276999161,9cyclictest0-21swapper/322:25:273
114276999161,9cyclictest0-21swapper/320:55:273
114276999161,8cyclictest0-21swapper/320:00:283
114276999161,10cyclictest0-21swapper/323:50:303
114276999153,9cyclictest0-21swapper/300:25:283
114276999153,7cyclictest0-21swapper/323:05:303
114276999152,8cyclictest0-21swapper/321:10:013
114276999152,7cyclictest0-21swapper/321:55:273
114276999151,9cyclictest0-21swapper/322:00:213
114276999151,9cyclictest0-21swapper/321:50:203
114276999151,7cyclictest0-21swapper/320:40:313
114276999151,7cyclictest0-21swapper/320:10:343
114276999151,7cyclictest0-21swapper/320:10:343
114276999151,7cyclictest0-21swapper/320:05:323
114276999151,6cyclictest0-21swapper/319:50:253
114276999150,9cyclictest0-21swapper/321:35:233
114276999150,9cyclictest0-21swapper/321:35:233
114276999145,5cyclictest0-21swapper/320:15:263
114276999145,5cyclictest0-21swapper/320:15:263
114276999142,8cyclictest0-21swapper/300:10:163
114276999142,7cyclictest0-21swapper/320:45:323
114276999142,7cyclictest0-21swapper/300:05:233
114276999141,9cyclictest0-21swapper/300:20:323
114276999141,8cyclictest0-21swapper/323:00:203
114276999141,8cyclictest0-21swapper/323:00:203
114276999141,6cyclictest0-21swapper/320:35:243
114276999141,6cyclictest0-21swapper/319:20:243
114276999133,7cyclictest0-21swapper/319:15:283
114276999132,6cyclictest0-21swapper/320:35:013
114276999132,6cyclictest0-21swapper/320:35:013
114276999131,6cyclictest0-21swapper/321:00:263
114276999131,6cyclictest0-21swapper/319:30:323
114276999131,6cyclictest0-21swapper/319:30:323
114276999123,5cyclictest0-21swapper/320:25:333
114276999123,5cyclictest0-21swapper/319:40:013
114276999120,6cyclictest0-21swapper/319:10:243
114276999111,6cyclictest0-21swapper/320:20:283
114276999101,5cyclictest0-21swapper/319:25:303
11427699981,4cyclictest0-21swapper/319:10:023
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional