You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-06-23 - 14:02

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rackeslot3s.osadl.org (updated Tue Jun 23, 2026 00:45:39)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
60331699104100,2cyclictest0-21swapper/000:35:010
60331699104100,2cyclictest0-21swapper/000:35:010
603316991038,21cyclictest16850irq/134-800000021:25:020
603327997611,36cyclictest0-21swapper/319:35:023
603327997611,36cyclictest0-21swapper/319:35:013
603327997521,48cyclictest275-21dbus-daemon22:20:013
603327997521,48cyclictest275-21dbus-daemon22:20:013
60332799711,15cyclictest646682-21sshd22:27:373
60332799704,61cyclictest605320-21cron19:50:003
603327997025,40cyclictest609482-21diskmemload21:27:583
603327997025,40cyclictest609482-21diskmemload21:27:583
60331699681,63cyclictest0-21swapper/019:20:020
60331699681,63cyclictest0-21swapper/019:20:020
603327996623,39cyclictest671738-21sed23:20:023
60332799661,15cyclictest607123-21sshd20:20:083
60332799652,13cyclictest649830-21sshd22:34:223
60331699653,42cyclictest606037-21modprobe20:00:030
60332799641,9cyclictest703864-21sshd00:27:223
60332799641,9cyclictest625758-21ssh21:44:033
60332799641,12cyclictest706646-21ssh00:33:113
60332799641,12cyclictest706646-21ssh00:33:103
60332799641,11cyclictest695158-21sshd00:09:223
603323996459,3cyclictest301ksoftirqd/222:20:032
603323996459,3cyclictest301ksoftirqd/222:20:022
603323996456,6cyclictest30-21ksoftirqd/220:00:022
60332799631,10cyclictest635670-21ssh22:04:373
603327996232,26cyclictest645511-21sed22:25:023
60332799622,8cyclictest606116-21munin-run20:05:003
60332799622,13cyclictest610766-21sshd21:12:253
603327996133,23cyclictest275-21dbus-daemon00:40:003
603327996120,36cyclictest37-21ksoftirqd/322:53:363
60332799611,9cyclictest675058-21ssh23:26:593
60332799611,10cyclictest684566-21ssh23:46:543
60332799611,10cyclictest607891-21sshd20:38:213
60331699612,15cyclictest683729-21latency_hist23:45:020
60332799608,42cyclictest623826-21modprobe21:40:003
60332799608,42cyclictest623826-21modprobe21:40:003
603327996027,29cyclictest698475-21sh00:15:553
60332799602,11cyclictest609193-21sshd21:00:213
60332799601,8cyclictest686338-21ssh23:50:343
60332799601,8cyclictest686338-21ssh23:50:333
60332799601,13cyclictest664460-21munin-run23:05:013
60331699606,26cyclictest131rcu_preempt00:25:000
60331699606,26cyclictest131rcu_preempt00:25:000
603316996050,5cyclictest16950irq/224-800000000:00:010
60331699602,41cyclictest629150-21ssh21:50:450
603316996023,32cyclictest12-21ksoftirqd/021:42:590
603316996016,10cyclictest131rcu_preempt22:55:020
603327995930,25cyclictest690941-21sh00:00:043
603327995930,25cyclictest690941-21sh00:00:043
60332799592,10cyclictest48-21kcompactd022:35:163
60332799591,13cyclictest364-21snmpd23:07:563
60332799591,13cyclictest364-21snmpd23:07:563
603316995925,7cyclictest12-21ksoftirqd/023:16:110
603316995924,8cyclictest12-21ksoftirqd/023:15:010
603316995923,24cyclictest12-21ksoftirqd/021:56:260
603316995923,24cyclictest12-21ksoftirqd/021:56:260
603316995920,19cyclictest16850irq/134-800000021:50:010
603316995919,35cyclictest12-21ksoftirqd/022:05:080
603327995821,33cyclictest631445-21rm21:55:273
603327995821,33cyclictest631445-21rm21:55:273
60332799582,12cyclictest48-21kcompactd022:45:173
60332799581,9cyclictest48-21kcompactd023:20:563
603327995819,34cyclictest275-21dbus-daemon00:25:023
603327995819,34cyclictest275-21dbus-daemon00:25:013
60332799581,20cyclictest613217-21ssh21:17:383
60332799581,12cyclictest48-21kcompactd021:53:263
60331699585,6cyclictest121ksoftirqd/022:25:490
603316995827,15cyclictest612649-21ssh21:16:210
603316995820,5cyclictest131rcu_preempt00:02:260
603316995820,5cyclictest131rcu_preempt00:02:260
603316995820,30cyclictest12-21ksoftirqd/022:37:180
603316995810,8cyclictest12-21ksoftirqd/022:47:090
60332799572,20cyclictest628257-21ssh21:49:113
60332799572,16cyclictest3467602-21systemd-journal22:40:053
60332799571,9cyclictest3467602-21systemd-journal23:11:233
60332799571,14cyclictest683336-21ssh23:44:393
603327995711,40cyclictest275-21dbus-daemon19:45:013
603327995711,40cyclictest275-21dbus-daemon19:45:013
603323995749,5cyclictest643345-21kworker/2:222:39:592
60331699579,6cyclictest131rcu_preempt21:33:320
603316995734,8cyclictest12-21ksoftirqd/000:15:510
603316995713,40cyclictest12-21ksoftirqd/022:42:380
60332799569,41cyclictest3467602-21systemd-journal21:00:013
60332799563,6cyclictest640569-21cron22:15:003
603327995630,21cyclictest606883-21latency_hist20:20:023
60332799561,15cyclictest678206-21ssh23:33:423
60332799561,13cyclictest619477-21rm21:30:303
60332799561,11cyclictest48-21kcompactd020:45:343
60332799561,11cyclictest48-21kcompactd020:45:343
603323995647,6cyclictest643345-21kworker/2:223:20:232
603323995646,6cyclictest596717-21kworker/2:022:01:572
603316995628,13cyclictest695291-21ssh00:09:370
603316995628,13cyclictest672258-21ssh23:20:590
603316995628,13cyclictest642363-21ssh22:18:390
603316995628,13cyclictest642363-21ssh22:18:390
60331699561,4cyclictest131rcu_preempt21:12:360
603316995612,40cyclictest12-21ksoftirqd/019:54:030
603327995531,20cyclictest609482-21diskmemload21:21:253
603327995531,19cyclictest688509-21sh23:55:073
60332799552,14cyclictest662058-21munin-run23:00:003
60332799552,10cyclictest364-21snmpd19:59:543
603323995546,6cyclictest596717-21kworker/2:020:55:012
603323995545,6cyclictest643345-21kworker/2:222:55:022
603323995545,6cyclictest643345-21kworker/2:200:00:002
60331699558,5cyclictest131rcu_preempt00:39:590
603316995519,32cyclictest16850irq/134-800000000:28:490
603316995518,32cyclictest16850irq/134-800000022:59:100
603316995512,9cyclictest131rcu_preempt23:46:280
603316995510,29cyclictest131rcu_preempt23:27:450
60332799542,14cyclictest679371-21sh23:35:563
60332799542,13cyclictest696453-21ssh00:11:553
60332799542,13cyclictest696453-21ssh00:11:543
603327995412,37cyclictest150-21pr/ttyS222:08:103
60332799541,13cyclictest608174-21sshd20:44:213
603316995442,7cyclictest0-21swapper/023:40:000
60331699544,17cyclictest131rcu_preempt20:20:020
603316995419,6cyclictest16850irq/134-800000023:51:460
603316995419,6cyclictest16850irq/134-800000023:51:460
603316995419,31cyclictest16850irq/134-800000022:03:090
603316995413,8cyclictest131rcu_preempt22:35:020
60332799539,39cyclictest0-21swapper/320:11:043
60332799532,8cyclictest3467562-21sshd19:24:573
60332799532,14cyclictest607409-21munin-run20:30:003
603327995313,34cyclictest0-21swapper/320:55:023
603316995324,14cyclictest664785-21ssh23:05:170
603316995324,14cyclictest664785-21ssh23:05:160
60331699532,20cyclictest607922-21munin-run20:40:000
603316995318,18cyclictest16850irq/134-800000022:24:240
603316995317,32cyclictest16850irq/134-800000023:01:180
603316995317,32cyclictest16850irq/134-800000021:38:030
603316995317,32cyclictest16850irq/134-800000021:38:030
603316995315,5cyclictest131rcu_preempt19:10:030
603316995315,5cyclictest131rcu_preempt19:10:030
60332799523,8cyclictest603399-21ls19:10:033
60332799523,8cyclictest603399-21ls19:10:033
60332799522,15cyclictest606366-21munin-plugin-st20:10:003
60332799522,15cyclictest606366-21munin-plugin-st20:10:003
603323995243,6cyclictest643345-21kworker/2:223:48:232
603323995242,6cyclictest643345-21kworker/2:200:35:012
603323995242,6cyclictest643345-21kworker/2:200:35:012
603316995224,12cyclictest677316-21ssh23:31:440
603316995218,6cyclictest16850irq/134-800000021:27:430
603316995218,6cyclictest16850irq/134-800000021:27:430
603316995218,17cyclictest16850irq/134-800000022:10:360
603316995216,18cyclictest16850irq/134-800000000:10:550
603316995216,18cyclictest16850irq/134-800000000:10:550
60332799511,10cyclictest364-21snmpd19:17:383
60332799511,10cyclictest364-21snmpd19:17:383
603323995142,5cyclictest596717-21kworker/2:022:05:592
603323995141,6cyclictest596717-21kworker/2:022:21:492
603323995141,6cyclictest596717-21kworker/2:022:00:022
603323995141,6cyclictest596717-21kworker/2:022:00:022
603323995141,5cyclictest643345-21kworker/2:200:15:002
603323995141,5cyclictest643345-21kworker/2:200:15:002
603320995134,13cyclictest1-21systemd19:25:001
60332799502,13cyclictest604480-21grep19:30:023
60332799501,9cyclictest364-21snmpd19:51:003
60332799501,12cyclictest603488-21sshd19:13:573
603323995042,5cyclictest643345-21kworker/2:223:50:502
603323995042,5cyclictest643345-21kworker/2:223:50:502
603323995042,5cyclictest643345-21kworker/2:223:44:562
603323995042,5cyclictest643345-21kworker/2:223:14:292
603323995041,6cyclictest643345-21kworker/2:223:27:542
603323995041,6cyclictest643345-21kworker/2:222:55:332
603323995041,6cyclictest643345-21kworker/2:222:49:092
603323995041,6cyclictest643345-21kworker/2:200:10:012
603323995041,6cyclictest596717-21kworker/2:021:32:222
603323995041,6cyclictest596717-21kworker/2:021:10:022
603323995040,6cyclictest596717-21kworker/2:021:28:222
603323995040,6cyclictest596717-21kworker/2:021:28:222
603323995040,6cyclictest596717-21kworker/2:020:48:432
603323995040,6cyclictest596717-21kworker/2:020:48:432
60332099503,5cyclictest131rcu_preempt22:20:011
60332099503,5cyclictest131rcu_preempt22:20:011
603320995019,19cyclictest0-21swapper/121:25:021
603323994942,4cyclictest596717-21kworker/2:021:35:202
603323994942,4cyclictest596717-21kworker/2:021:35:192
603323994941,5cyclictest596717-21kworker/2:019:16:492
603323994941,5cyclictest596717-21kworker/2:019:16:482
603323994940,6cyclictest643345-21kworker/2:223:16:202
603323994940,5cyclictest596717-21kworker/2:021:21:282
603323994939,7cyclictest643345-21kworker/2:222:41:512
603323994921,16cyclictest603307-21cyclictest20:45:012
603320994927,17cyclictest275-21dbus-daemon23:10:011
603320994927,17cyclictest275-21dbus-daemon23:10:011
603316994934,11cyclictest1-21systemd20:05:000
60332799482,6cyclictest609479-21sh21:10:003
60332799482,6cyclictest1-21systemd19:40:003
603323994840,5cyclictest596717-21kworker/2:021:43:082
603323994839,6cyclictest643345-21kworker/2:223:35:342
603323994839,6cyclictest596717-21kworker/2:022:30:012
603323994839,5cyclictest643345-21kworker/2:200:25:022
603323994839,5cyclictest643345-21kworker/2:200:25:022
603323994838,7cyclictest596717-21kworker/2:021:15:012
603323994838,5cyclictest643345-21kworker/2:200:15:242
603320994834,10cyclictest3467602-21systemd-journal20:00:011
603320994831,13cyclictest120-21kswapd022:35:001
603320994814,14cyclictest23-21ksoftirqd/122:03:251
603323994738,6cyclictest596717-21kworker/2:019:45:012
603323994738,6cyclictest596717-21kworker/2:019:45:012
603323994737,6cyclictest643345-21kworker/2:200:00:302
603323994737,6cyclictest643345-21kworker/2:200:00:302
603323994733,10cyclictest1-21systemd21:55:012
603323994731,12cyclictest3467602-21systemd-journal21:00:002
60332099474,9cyclictest23-21ksoftirqd/123:15:001
603320994736,9cyclictest23-21ksoftirqd/121:37:331
603320994736,9cyclictest23-21ksoftirqd/121:37:331
603320994730,13cyclictest275-21dbus-daemon22:55:001
603320994719,9cyclictest23-21ksoftirqd/122:25:001
603316994717,26cyclictest12-21ksoftirqd/020:22:200
603323994638,5cyclictest643345-21kworker/2:223:06:522
603323994638,5cyclictest643345-21kworker/2:223:06:522
603323994638,5cyclictest643345-21kworker/2:200:26:202
603323994637,6cyclictest643345-21kworker/2:223:01:542
60332099466,7cyclictest131rcu_preempt00:30:001
60332099466,6cyclictest131rcu_preempt23:59:591
603320994638,5cyclictest23-21ksoftirqd/119:41:431
603320994638,5cyclictest23-21ksoftirqd/119:41:431
603320994633,9cyclictest3467602-21systemd-journal20:50:031
603320994633,9cyclictest1-21systemd21:10:011
603316994622,6cyclictest151rcuc/019:40:000
60332799451,7cyclictest3467562-21sshd20:31:213
603323994538,4cyclictest596717-21kworker/2:022:32:152
603323994537,5cyclictest596717-21kworker/2:022:11:102
603323994537,5cyclictest596717-21kworker/2:021:18:172
603320994538,5cyclictest23-21ksoftirqd/122:14:271
60332099451,7cyclictest23-21ksoftirqd/123:19:471
603320994516,6cyclictest131rcu_preempt23:40:001
603320994515,6cyclictest131rcu_preempt21:30:011
603320994515,6cyclictest131rcu_preempt21:30:011
603320994514,21cyclictest221rcuc/123:50:441
603320994514,21cyclictest221rcuc/123:50:441
603323994436,6cyclictest596717-21kworker/2:021:48:372
60332399442,4cyclictest131rcu_preempt23:31:452
60332099447,5cyclictest131rcu_preempt00:24:381
60332099447,5cyclictest131rcu_preempt00:24:381
603320994435,6cyclictest23-21ksoftirqd/122:35:081
603320994418,6cyclictest221rcuc/100:11:141
603320994418,6cyclictest221rcuc/100:11:131
603320994412,6cyclictest131rcu_preempt23:45:011
603320994412,14cyclictest23-21ksoftirqd/122:28:521
60332099441,19cyclictest0-21swapper/123:49:211
603316994434,6cyclictest608951-21sendmail21:00:000
603316994426,14cyclictest275-21dbus-daemon20:45:010
603316994414,6cyclictest131rcu_preempt21:10:010
603323994335,5cyclictest643345-21kworker/2:200:39:562
603323994330,10cyclictest30-21ksoftirqd/219:30:002
60332099435,5cyclictest131rcu_preempt23:25:011
603320994332,8cyclictest3467602-21systemd-journal21:55:221
603320994332,8cyclictest3467602-21systemd-journal21:55:221
60332099431,5cyclictest131rcu_preempt00:40:011
603320994311,21cyclictest23-21ksoftirqd/123:33:311
60331699439,6cyclictest131rcu_preempt20:50:210
60331699433,10cyclictest3467602-21systemd-journal20:31:070
603316994328,11cyclictest12-21ksoftirqd/020:15:000
603323994233,6cyclictest596717-21kworker/2:019:35:012
603323994233,6cyclictest596717-21kworker/2:019:35:012
60332099428,9cyclictest23-21ksoftirqd/120:34:211
60332099426,6cyclictest131rcu_preempt21:53:061
603320994230,9cyclictest23-21ksoftirqd/119:40:001
603320994225,12cyclictest611145-21sshd21:13:211
603320994216,6cyclictest131rcu_preempt21:00:001
60332099421,5cyclictest131rcu_preempt00:30:031
60332099421,5cyclictest131rcu_preempt00:30:021
603316994226,13cyclictest605311-21sshd19:47:170
603323994127,10cyclictest30-21ksoftirqd/220:15:022
603323994125,11cyclictest30-21ksoftirqd/220:40:002
60332099416,6cyclictest131rcu_preempt23:30:011
603320994128,9cyclictest23-21ksoftirqd/100:00:051
603320994128,9cyclictest23-21ksoftirqd/100:00:041
60332099411,17cyclictest0-21swapper/121:41:161
60331699417,6cyclictest131rcu_preempt19:25:000
60331699411,9cyclictest606410-21latency_hist20:10:020
60331699411,9cyclictest606410-21latency_hist20:10:020
603323994032,5cyclictest596717-21kworker/2:020:05:002
603323994021,14cyclictest275-21dbus-daemon19:40:002
60332099403,4cyclictest131rcu_preempt00:16:541
603320994030,7cyclictest23-21ksoftirqd/122:42:571
603320994028,8cyclictest23-21ksoftirqd/121:20:001
603320994026,11cyclictest23-21ksoftirqd/122:55:571
60332099402,5cyclictest131rcu_preempt21:50:041
603320994024,10cyclictest0-21swapper/119:20:011
603320994024,10cyclictest0-21swapper/119:20:011
603320994023,13cyclictest275-21dbus-daemon20:25:011
60332099401,7cyclictest0-21swapper/122:08:491
60332099401,6cyclictest131rcu_preempt22:50:001
603320994013,8cyclictest131rcu_preempt23:00:131
603323993931,5cyclictest596717-21kworker/2:021:05:022
603323993924,12cyclictest30-21ksoftirqd/220:31:212
60332099393,6cyclictest131rcu_preempt21:35:011
603320993927,8cyclictest605306-21sshd19:47:031
603320993922,13cyclictest275-21dbus-daemon20:50:011
603320993922,13cyclictest275-21dbus-daemon20:50:011
60331699398,5cyclictest131rcu_preempt19:30:020
603316993929,7cyclictest609223-21cron21:05:020
603316993926,10cyclictest604565-21sshd19:35:010
603316993926,10cyclictest604565-21sshd19:35:010
603323993824,11cyclictest606521-21sed20:10:022
603323993824,11cyclictest606521-21sed20:10:022
603320993828,7cyclictest3467602-21systemd-journal19:50:021
603320993813,21cyclictest221rcuc/119:25:021
603316993825,10cyclictest608409-21sshd20:45:210
603316993825,10cyclictest608409-21sshd20:45:210
603323993729,5cyclictest607382-21sshd20:27:212
603323993725,9cyclictest30-21ksoftirqd/219:24:482
603323993724,10cyclictest3467602-21systemd-journal20:18:082
60332099378,5cyclictest131rcu_preempt20:41:091
60332099377,19cyclictest23-21ksoftirqd/119:11:331
603320993724,10cyclictest23-21ksoftirqd/121:05:021
603320993723,9cyclictest1-21systemd20:05:011
603320993723,10cyclictest1-21systemd20:20:011
603320993713,19cyclictest131rcu_preempt00:08:191
60331699372,5cyclictest131rcu_preempt20:30:000
603323993623,9cyclictest30-21ksoftirqd/219:55:012
603323993621,11cyclictest603474-21sshd19:10:572
603320993629,4cyclictest604690-21latency_hist19:35:021
603320993629,4cyclictest604690-21latency_hist19:35:021
603320993625,7cyclictest23-21ksoftirqd/120:10:021
603320993625,7cyclictest23-21ksoftirqd/120:10:021
603320993610,18cyclictest23-21ksoftirqd/120:25:041
60331699361,31cyclictest0-21swapper/019:13:170
603316993610,5cyclictest131rcu_preempt19:45:010
603316993610,5cyclictest131rcu_preempt19:45:010
603320993518,13cyclictest275-21dbus-daemon20:15:001
603323993425,6cyclictest30-21ksoftirqd/220:25:022
603323993322,8cyclictest0-21swapper/219:10:022
603323993322,8cyclictest0-21swapper/219:10:012
603323993321,8cyclictest605439-21sed19:50:022
60332099305,18cyclictest23-21ksoftirqd/120:37:081
60332099291,3cyclictest131rcu_preempt19:10:031
60332099291,3cyclictest131rcu_preempt19:10:031
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional