You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-04-10 - 08:55

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rackeslot3s.osadl.org (updated Fri Apr 10, 2026 00:45:29)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
232303899861,80cyclictest2334585-21ssh21:22:130
2323038998421,47cyclictest16850irq/134-800000021:19:360
2323038998323,56cyclictest2353997-21ssh22:07:200
2323038998323,56cyclictest2353997-21ssh22:07:200
2323038998032,40cyclictest275-21dbus-daemon23:45:010
2323038998030,34cyclictest2357708-21ssh22:15:430
2323038998030,34cyclictest2357708-21ssh22:15:430
2323038998027,49cyclictest16950irq/224-800000021:45:010
2323038997926,36cyclictest2370543-21ssh22:45:210
232303899781,12cyclictest2383473-21ssh23:15:130
232303899761,57cyclictest2330734-21ssh21:13:240
2323038997428,42cyclictest150-21pr/ttyS200:12:190
232303899741,5cyclictest2346748-21sshd21:50:130
232303899741,4cyclictest1-21systemd00:35:000
2323047997313,37cyclictest2402666-40mandb00:00:022
2323038997323,46cyclictest2397824-21ssh23:48:370
2323043997229,6cyclictest2419984-21sh00:40:021
232303899721,66cyclictest2329211-21diskmemload22:35:130
232303899714,3cyclictest0-21swapper/020:40:000
2323038997131,32cyclictest19350irq/34-mmc120:50:010
2323038997131,32cyclictest19350irq/34-mmc120:50:000
2323038997129,25cyclictest2341387-21ssh21:38:120
2323038997128,26cyclictest2336810-21ssh21:27:270
2323038997114,53cyclictest2374808-21ssh22:55:040
2323038997114,52cyclictest16850irq/134-800000023:59:160
2323038997112,53cyclictest16850irq/134-800000000:39:540
2323043997022,11cyclictest275-21dbus-daemon21:30:011
2323043997015,20cyclictest275-21dbus-daemon23:35:011
232303899706,55cyclictest16850irq/134-800000023:29:520
232303899701,7cyclictest48-21kcompactd023:35:200
2323038997017,50cyclictest16850irq/134-800000023:20:080
232303899691,64cyclictest0-21swapper/023:02:130
232303899691,64cyclictest0-21swapper/023:02:130
232303899684,49cyclictest16850irq/134-800000021:55:360
2323038996825,26cyclictest2361405-21ssh22:24:380
232303899681,5cyclictest3467602-21systemd-journal00:06:130
232303899681,5cyclictest3467602-21systemd-journal00:06:130
2323038996814,49cyclictest16850irq/134-800000022:33:250
2323043996713,9cyclictest2326600-21cron20:20:011
2323043996713,9cyclictest2326600-21cron20:20:011
2323038996726,37cyclictest2391696-21rm23:34:310
232303899672,61cyclictest2411874-21ssh00:20:470
232303899672,61cyclictest2411874-21ssh00:20:470
2323038996725,25cyclictest2362337-21ssh22:26:310
2323038996722,39cyclictest309-21in:imuxsock20:45:010
2323038996630,33cyclictest0-21swapper/021:50:020
2323038996630,32cyclictest16950irq/224-800000000:04:040
2323038996612,48cyclictest16850irq/134-800000022:01:350
2323038996612,34cyclictest19350irq/34-mmc100:20:030
2323052996524,34cyclictest275-21dbus-daemon21:45:013
2323043996531,15cyclictest2415717-21cat00:30:011
232303899654,56cyclictest16850irq/134-800000022:43:220
232303899652,14cyclictest2324279-21munin-run19:35:000
232303899651,59cyclictest2339167-21ssh21:32:580
2323043996429,8cyclictest23-21ksoftirqd/123:21:211
232303899641,2cyclictest0-21swapper/022:10:320
2323052996333,26cyclictest2356770-21sh22:13:553
2323043996323,10cyclictest2368024-21systemctl22:40:001
232303899635,49cyclictest16850irq/134-800000023:52:250
232303899632,5cyclictest2324542-21munin-run19:40:000
2323047996236,17cyclictest275-21dbus-daemon21:50:012
232303899622,54cyclictest16850irq/134-800000023:13:290
232303899622,54cyclictest16850irq/134-800000023:13:290
2323038996225,33cyclictest2415306-21ssh00:29:140
2323038996217,28cyclictest2379135-21ssh23:05:090
232305299613,16cyclictest2371684-21ssh22:48:213
232305299612,17cyclictest2386363-21ssh23:22:013
2323052996121,34cyclictest275-21dbus-daemon23:35:013
232304799613,39cyclictest291rcuc/222:40:022
2323043996126,9cyclictest23-21ksoftirqd/121:18:591
2323043996119,13cyclictest275-21dbus-daemon21:10:011
232303899612,18cyclictest2323785-21munin-run19:25:010
2323038996114,43cyclictest16850irq/134-800000022:51:050
2323038996114,43cyclictest16850irq/134-800000022:51:050
232303899611,14cyclictest364-21snmpd20:23:090
232305299602,16cyclictest2416218-21ssh00:31:003
2323052996020,34cyclictest0-21swapper/300:00:023
232305299601,20cyclictest2328965-21true21:05:013
232305299601,16cyclictest2408892-21ssh00:14:263
232305299601,14cyclictest2324014-21cron19:30:003
2323043996025,13cyclictest23-21ksoftirqd/100:31:431
232303899601,7cyclictest2326318-21sshd20:11:100
232303899601,13cyclictest364-21snmpd20:58:130
232305299593,16cyclictest2339979-21munin-run21:35:003
2323052995925,28cyclictest3467602-21systemd-journal22:40:003
2323052995923,32cyclictest37-21ksoftirqd/322:27:173
2323052995918,36cyclictest2329211-21diskmemload23:06:293
2323043995925,10cyclictest23-21ksoftirqd/100:12:351
2323043995916,15cyclictest275-21dbus-daemon00:00:011
232303899595,49cyclictest16950irq/224-800000020:05:000
232303899592,5cyclictest275-21dbus-daemon21:05:000
232303899591,6cyclictest2326594-21sshd20:19:130
232303899591,6cyclictest2326594-21sshd20:19:120
232303899591,5cyclictest2324027-21munin-run19:30:000
232303899591,54cyclictest2326274-21latency_hist20:10:030
2323052995819,35cyclictest309-21in:imuxsock19:51:063
2323047995847,6cyclictest2337888-21kworker/2:022:41:192
2323043995824,9cyclictest23-21ksoftirqd/121:32:131
232303899583,5cyclictest2325031-21sshd19:46:060
232303899581,4cyclictest2329238-21munin-run21:10:010
2323052995735,18cyclictest3467602-21systemd-journal00:23:023
2323052995735,18cyclictest3467602-21systemd-journal00:23:023
232305299572,8cyclictest2350750-21cron22:00:003
2323052995724,29cyclictest2409958-21sh00:16:343
2323052995724,29cyclictest2346443-21latency_hist21:50:033
232305299572,17cyclictest2394238-21latency_hist23:40:033
232305299572,14cyclictest2373268-21ssh22:51:493
232305299572,14cyclictest2373268-21ssh22:51:493
2323043995726,4cyclictest2374098-21sh22:53:551
2323043995726,4cyclictest2374098-21sh22:53:551
232303899571,7cyclictest1-21systemd19:55:010
232303899571,52cyclictest0-21swapper/020:35:010
232303899571,52cyclictest0-21swapper/020:35:000
232305299563,45cyclictest0-21swapper/321:55:003
2323052995624,27cyclictest2389092-21sh23:28:253
232305299562,13cyclictest48-21kcompactd000:00:233
232305299562,13cyclictest2381443-21sh23:10:353
232305299562,13cyclictest2381443-21sh23:10:353
232305299562,13cyclictest2337432-21ssh21:29:023
2323047995648,4cyclictest2327933-21kworker/2:222:11:222
2323047995645,7cyclictest2337888-21kworker/2:023:52:592
232303899561,6cyclictest2324813-21munin-run19:45:000
232305299552,7cyclictest2396211-21cron23:45:003
2323052995523,27cyclictest2419088-21sh00:37:423
232305299552,15cyclictest2415845-21latency_hist00:30:023
232305299552,14cyclictest2405497-21ssh00:06:043
232305299552,14cyclictest2405497-21ssh00:06:043
232305299552,14cyclictest2376766-21latency_hist23:00:013
2323052995514,37cyclictest2328608-21sort20:55:013
2323052995514,36cyclictest0-21swapper/323:05:003
2323052995514,36cyclictest0-21swapper/323:05:003
2323047995546,6cyclictest2327933-21kworker/2:221:50:362
2323047995544,7cyclictest2337888-21kworker/2:023:30:442
2323047995544,6cyclictest2303479-21kworker/2:119:40:002
2323052995438,12cyclictest1-21systemd23:20:013
232305299542,15cyclictest2365037-21ssh22:32:513
232305299542,13cyclictest2398702-21sh23:50:223
232305299542,13cyclictest2335377-21sh21:24:153
2323052995414,33cyclictest2325552-21cron20:00:003
232305299541,14cyclictest2353483-21ssh22:05:543
232305299541,14cyclictest2353483-21ssh22:05:533
232305299541,13cyclictest2397433-21ssh23:47:313
232305299541,13cyclictest2324569-21sh19:40:013
2323047995446,5cyclictest2327933-21kworker/2:222:03:192
2323047995445,6cyclictest2337888-21kworker/2:022:46:202
2323047995445,6cyclictest2337888-21kworker/2:000:20:362
2323047995445,6cyclictest2337888-21kworker/2:000:20:362
2323047995445,5cyclictest2327933-21kworker/2:221:59:092
2323047995444,6cyclictest2303479-21kworker/2:120:05:012
2323047995443,6cyclictest2303479-21kworker/2:119:22:082
232303899543,6cyclictest364-21snmpd19:10:580
2323038995434,15cyclictest3467602-21systemd-journal20:30:000
232303899541,14cyclictest2328411-21modprobe20:54:130
232303899541,12cyclictest364-21snmpd19:59:560
2323052995332,18cyclictest2327391-21latency_hist20:35:023
2323052995332,18cyclictest2327391-21latency_hist20:35:023
232305299532,18cyclictest2352026-21ssh22:02:463
232305299532,17cyclictest2332687-21ssh21:17:583
232305299531,7cyclictest2326598-21cron20:20:003
232305299531,7cyclictest2326598-21cron20:20:003
232305299531,12cyclictest2359283-21ssh22:19:543
232305299531,12cyclictest2359283-21ssh22:19:543
232305299531,10cyclictest2369932-21ssh22:44:273
2323047995345,5cyclictest2327933-21kworker/2:223:02:152
2323047995345,5cyclictest2327933-21kworker/2:223:02:152
2323047995345,5cyclictest2327933-21kworker/2:221:24:512
2323047995345,5cyclictest2303479-21kworker/2:121:12:562
2323047995345,5cyclictest2303479-21kworker/2:120:45:022
2323047995344,5cyclictest2337888-21kworker/2:022:21:102
2323047995344,5cyclictest2327933-21kworker/2:223:41:402
2323047995343,7cyclictest2337888-21kworker/2:023:26:042
2323047995343,6cyclictest2337888-21kworker/2:022:28:172
2323047995343,6cyclictest2327933-21kworker/2:222:05:342
2323047995343,6cyclictest2327933-21kworker/2:222:05:332
2323047995342,6cyclictest2303479-21kworker/2:119:30:012
2323043995323,10cyclictest23-21ksoftirqd/123:47:301
232305299522,7cyclictest2326337-21cron20:14:593
232305299522,13cyclictest2327143-21munin-run20:30:003
232305299522,11cyclictest2342150-21munin-run21:40:023
2323052995215,33cyclictest37-21ksoftirqd/319:35:013
232305299521,14cyclictest2361114-21ssh22:23:573
232305299521,13cyclictest2331052-21ssh21:14:193
232305299521,10cyclictest2325858-21munin-run20:05:013
2323047995244,5cyclictest2337888-21kworker/2:022:56:252
2323047995243,6cyclictest2337888-21kworker/2:000:34:112
2323047995243,6cyclictest2337888-21kworker/2:000:08:052
2323047995243,6cyclictest2337888-21kworker/2:000:08:052
2323047995243,5cyclictest2337888-21kworker/2:000:11:502
2323047995243,5cyclictest2327933-21kworker/2:223:11:212
2323047995243,5cyclictest2327933-21kworker/2:223:11:212
2323047995242,7cyclictest2337888-21kworker/2:000:04:262
232303899526,40cyclictest2323484-21cron19:20:000
232305299512,13cyclictest2323736-21modprobe19:20:023
232305299512,12cyclictest2323477-21sshd19:19:053
2323052995114,33cyclictest2326115-21latency_hist20:10:023
232305299511,10cyclictest2327907-21sshd20:44:143
2323047995143,5cyclictest2337888-21kworker/2:023:48:202
2323047995143,5cyclictest2337888-21kworker/2:022:30:162
2323047995143,5cyclictest2327933-21kworker/2:221:38:252
2323047995143,5cyclictest2327933-21kworker/2:221:29:392
2323047995142,6cyclictest2327933-21kworker/2:221:32:342
2323047995142,5cyclictest2337888-21kworker/2:023:35:202
2323047995142,5cyclictest2337888-21kworker/2:022:52:082
2323047995142,5cyclictest2337888-21kworker/2:022:52:082
2323047995142,5cyclictest2337888-21kworker/2:000:35:042
2323047995142,5cyclictest2303479-21kworker/2:120:48:022
2323047995142,5cyclictest2303479-21kworker/2:120:48:022
2323047995141,6cyclictest2337888-21kworker/2:023:24:142
2323047995140,7cyclictest2303479-21kworker/2:121:00:022
232303899511,10cyclictest2323104-21latency_hist19:10:020
232305299502,9cyclictest284-21systemd-logind21:00:013
2323047995042,5cyclictest2327933-21kworker/2:223:17:262
2323047995042,5cyclictest2327933-21kworker/2:222:15:072
2323047995042,5cyclictest2327933-21kworker/2:222:15:062
2323047995041,5cyclictest2303479-21kworker/2:119:45:032
232305299494,6cyclictest2324911-21cat19:45:023
232305299491,18cyclictest2329221-21ssh21:10:003
2323047994941,5cyclictest2337888-21kworker/2:000:27:512
2323047994941,5cyclictest2337888-21kworker/2:000:18:432
232305299482,15cyclictest2323233-21munin-run19:15:013
232305299482,13cyclictest2326893-21munin-run20:24:593
2323052994817,27cyclictest275-21dbus-daemon20:40:013
2323047994840,5cyclictest2327933-21kworker/2:221:42:232
2323047994840,5cyclictest2303479-21kworker/2:121:18:082
2323043994832,12cyclictest275-21dbus-daemon21:00:011
232305299471,15cyclictest364-21snmpd20:46:023
232305299471,15cyclictest364-21snmpd20:46:023
2323047994738,6cyclictest2327933-21kworker/2:223:05:342
232305299462,11cyclictest2325077-21unin-run19:50:013
2323047994637,5cyclictest2303479-21kworker/2:120:13:102
2323047994625,13cyclictest275-21dbus-daemon19:50:012
2323043994633,9cyclictest2350748-21cron22:00:001
2323043994633,10cyclictest23-21ksoftirqd/119:50:011
2323047994537,5cyclictest2303479-21kworker/2:120:50:572
2323043994532,9cyclictest3467602-21systemd-journal20:45:141
2323043994532,9cyclictest3467602-21systemd-journal20:45:141
2323043994532,10cyclictest2355189-21wc22:10:021
2323043994532,10cyclictest2355189-21wc22:10:021
2323043994530,11cyclictest275-21dbus-daemon19:20:011
2323047994436,5cyclictest2303479-21kworker/2:120:38:132
2323047994436,5cyclictest2303479-21kworker/2:120:27:002
232304399442,12cyclictest2412697-21ssh00:22:531
232304399442,12cyclictest2412697-21ssh00:22:531
2323043994412,7cyclictest131rcu_preempt22:20:001
2323043994412,7cyclictest131rcu_preempt22:20:001
232305299433,6cyclictest2323122-21grep19:10:023
2323047994335,5cyclictest2303479-21kworker/2:120:15:562
2323047994335,5cyclictest2303479-21kworker/2:120:15:552
2323047994332,7cyclictest2325592-21sendmail-msp20:00:002
2323047994329,9cyclictest3467602-21systemd-journal19:35:002
2323043994332,6cyclictest2329211-21diskmemload21:40:021
2323043994324,13cyclictest275-21dbus-daemon22:45:011
2323047994236,4cyclictest2303479-21kworker/2:121:07:582
2323047994233,6cyclictest2303479-21kworker/2:120:05:532
2323043994232,7cyclictest2327893-21sshd20:41:131
2323043994231,8cyclictest2389144-21sshd23:28:321
2323043994225,13cyclictest275-21dbus-daemon23:00:011
2323047994133,5cyclictest2303479-21kworker/2:119:17:192
2323047994133,5cyclictest2303479-21kworker/2:119:10:562
2323047994129,10cyclictest30-21ksoftirqd/219:50:342
2323043994129,9cyclictest23-21ksoftirqd/121:55:021
2323043994128,10cyclictest3467602-21systemd-journal20:21:321
2323043994128,10cyclictest23-21ksoftirqd/123:44:591
2323043994128,10cyclictest23-21ksoftirqd/121:24:191
2323043994127,11cyclictest23-21ksoftirqd/123:03:401
2323043994127,11cyclictest23-21ksoftirqd/123:03:401
2323047994030,8cyclictest30-21ksoftirqd/220:20:032
2323047994024,12cyclictest2328699-21sendmail21:00:002
2323043994029,7cyclictest23-21ksoftirqd/121:40:091
2323043994025,11cyclictest2327682-21systemd-run20:40:011
2323043994025,11cyclictest23-21ksoftirqd/123:37:061
2323047993931,5cyclictest2303479-21kworker/2:120:32:442
2323047993931,5cyclictest2303479-21kworker/2:120:32:442
2323043993927,10cyclictest23-21ksoftirqd/122:22:211
2323043993926,10cyclictest2346518-21latency_hist21:50:011
2323043993925,11cyclictest23-21ksoftirqd/122:47:381
2323043993925,10cyclictest23-21ksoftirqd/120:35:011
2323043993925,10cyclictest23-21ksoftirqd/120:35:001
2323043993924,11cyclictest3467602-21systemd-journal19:44:031
2323043993924,11cyclictest23-21ksoftirqd/100:07:571
2323043993924,11cyclictest23-21ksoftirqd/100:07:571
232304399392,3cyclictest131rcu_preempt22:05:001
232304399384,4cyclictest131rcu_preempt20:30:011
232304399384,3cyclictest131rcu_preempt00:05:011
2323043993824,9cyclictest275-21dbus-daemon19:34:591
2323043993824,11cyclictest23-21ksoftirqd/119:37:161
2323043993824,10cyclictest23-21ksoftirqd/123:05:381
2323043993823,12cyclictest3467602-21systemd-journal00:20:011
2323043993727,8cyclictest23-21ksoftirqd/123:15:001
2323043993727,8cyclictest23-21ksoftirqd/123:15:001
2323043993727,7cyclictest2400602-21rm23:55:011
2323043993726,8cyclictest23-21ksoftirqd/122:35:031
2323043993725,8cyclictest23-21ksoftirqd/121:13:081
2323043993725,10cyclictest23-21ksoftirqd/122:25:201
2323043993724,9cyclictest23-21ksoftirqd/123:17:001
2323043993724,10cyclictest23-21ksoftirqd/122:11:441
232304399365,5cyclictest131rcu_preempt20:00:001
2323043993627,5cyclictest2323760-21cron19:25:001
2323043993626,8cyclictest23-21ksoftirqd/121:05:011
2323043993625,8cyclictest2326106-21systemd-run20:10:011
2323043993623,10cyclictest23-21ksoftirqd/119:25:561
2323047993524,8cyclictest2323087-21sort19:10:022
2323043993521,10cyclictest23-21ksoftirqd/120:15:021
232304399331,5cyclictest0-21swapper/119:55:011
2323043993224,5cyclictest2323413-21latency_hist19:15:021
2323043993223,6cyclictest2323120-21latency_hist19:10:011
2323043993213,13cyclictest275-21dbus-daemon20:55:001
2323043993124,4cyclictest2325842-21latency_hist20:05:011
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional