You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-08-23 - 13:53

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack7slot3s.osadl.org (updated Sun Aug 23, 2026 00:43:36)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
950721670,2sleep32387699cyclictest21:57:093
23873991624,134cyclictest3529-21uniq21:50:270
2244021390,5sleep10-21swapper/119:05:281
23873991387,28cyclictest0-21swapper/022:20:330
23874991323,79cyclictest3486-21df_inode21:50:251
23873991262,101cyclictest24338-21/usr/sbin/munin22:55:360
238769911717,59cyclictest0-21swapper/322:05:253
23874991124,86cyclictest28708-21ssh22:20:321
238739911213,7cyclictest0-21swapper/022:05:440
23873991095,27cyclictest0-21swapper/021:20:380
23873991086,58cyclictest11-21rcu_preempt22:10:370
23873991084,49cyclictest8153-21unixbench_singl21:15:430
23873991073,82cyclictest0-21swapper/021:30:390
238739910737,61cyclictest24131-21ntp_states21:35:380
238739910729,59cyclictest0-21swapper/021:25:260
238739910612,18cyclictest13254-21taskset22:01:320
23873991055,75cyclictest9-21ksoftirqd/021:10:410
1356921040,2sleep3381ktimersoftd/323:20:353
238739910360,20cyclictest101ktimersoftd/023:00:380
23874991017,73cyclictest7750irq/56-dwc_otg21:35:341
23873991012,81cyclictest0-21swapper/022:25:400
23874991004,70cyclictest7850irq/56-dwc_otg_21:10:411
23874991003,76cyclictest15714-21ssh22:05:281
112752980,3sleep211269-21fschecks_count21:20:282
2387699975,19cyclictest7750irq/56-dwc_otg22:20:333
2387699973,11cyclictest24131-21ntp_states21:35:373
2387499964,57cyclictest15386-21fschecks_count21:25:271
2387499962,74cyclictest13250-21ssh22:01:311
23873999623,13cyclictest0-21swapper/023:15:290
23873999611,60cyclictest9-21ksoftirqd/022:30:430
2387699953,26cyclictest0-21swapper/322:01:333
2387499958,53cyclictest0-21swapper/123:00:391
2387699938,13cyclictest7950irq/56-dwc_otg_21:10:243
2387499923,59cyclictest8171-21users21:15:441
2387499898,58cyclictest9018-21ssh23:15:291
2387499885,58cyclictest7950irq/56-dwc_otg_21:20:361
2387499882,48cyclictest799-21unixbench-2d22:25:391
2387699876,10cyclictest9016-21ls23:15:293
2387499876,45cyclictest0-21swapper/120:45:241
2387699863,11cyclictest437-21kworker/3:221:20:383
2387699863,10cyclictest7636-21ntpq21:15:353
2387699843,25cyclictest7950irq/56-dwc_otg_23:00:383
2387499843,74cyclictest5069-21sh22:30:401
2387499835,27cyclictest9205-21ssh23:55:211
2387499807,28cyclictest20778-21timerwakeupswit22:10:371
2387499796,36cyclictest0-21swapper/121:00:241
2387499795,46cyclictest25271-21/usr/sbin/munin22:55:381
23873997927,7cyclictest7950irq/56-dwc_otg_21:55:370
23873997926,15cyclictest0-21swapper/023:50:340
2387399791,37cyclictest2914-21modprobe21:50:090
2387499776,51cyclictest7750irq/56-dwc_otg21:30:381
23873997718,6cyclictest21823-21ssh23:30:350
2387399752,29cyclictest0-21swapper/022:45:470
2387699748,22cyclictest7950irq/56-dwc_otg_22:25:383
2387399731,33cyclictest16242-21snmpd00:27:440
2387399721,31cyclictest0-21swapper/023:23:040
2387399721,29cyclictest0-21swapper/000:30:540
2387399721,28cyclictest0-21swapper/022:39:550
2387399721,26cyclictest0-21swapper/019:35:260
2387499711,56cyclictest5219-21/usr/sbin/munin19:45:371
2387399711,29cyclictest20228-21rm22:50:210
23875997013,33cyclictest16835-21grep22:05:442
2387399702,49cyclictest0-21swapper/023:35:200
2387499691,44cyclictest30878-21ssh21:44:331
23873996921,11cyclictest1180-21runrttasks23:47:400
23875996814,18cyclictest7850irq/56-dwc_otg_21:15:432
2387499682,41cyclictest19693-21ls20:25:371
23874996811,31cyclictest29996-21if_wlan020:55:281
23873996819,4cyclictest14914-21tr20:15:200
2387399681,32cyclictest0-21swapper/020:37:070
23876996715,28cyclictest7850irq/56-dwc_otg_21:25:243
2387499671,53cyclictest9193-21taskset19:59:211
2387499671,45cyclictest17420-21rm22:45:391
2387499671,43cyclictest13083-21ssh00:39:151
32202660,2sleep10-21swapper/123:08:501
2387499661,46cyclictest0-21swapper/123:50:251
2387499661,43cyclictest17542-21ntp_states20:20:331
23874996614,35cyclictest22760-21ssh00:10:391
2387399661,33cyclictest0-21swapper/021:44:020
2387399661,32cyclictest0-21swapper/023:27:260
2387399661,32cyclictest0-21swapper/023:27:260
2387599653,34cyclictest9067-21missed_timers23:15:312
23875996512,8cyclictest7750irq/56-dwc_otg21:10:372
2387499653,46cyclictest600-21ssh00:24:081
2387499651,46cyclictest27648-21ssh00:16:491
2387499651,45cyclictest7950irq/56-dwc_otg_19:26:561
2387499651,45cyclictest7950irq/56-dwc_otg_19:26:561
2387399652,34cyclictest0-21swapper/020:47:510
2387699642,39cyclictest39-21ksoftirqd/321:30:383
23876996419,11cyclictest25161-21ssh22:55:363
2387499641,42cyclictest7756-21/usr/sbin/munin21:55:271
2387499641,41cyclictest17370-21ssh00:05:141
2387499641,39cyclictest26160-21ssh22:17:331
2387499641,38cyclictest20953-21/usr/sbin/munin23:30:231
2387499641,38cyclictest19317-21rm23:27:541
2387499641,38cyclictest19317-21rm23:27:541
23876996318,18cyclictest7950irq/56-dwc_otg_22:10:393
2387499632,46cyclictest28329-21memory20:50:301
2387399631,33cyclictest0-21swapper/023:41:510
2387599624,21cyclictest29719-21ssh23:00:382
2387499621,50cyclictest1191-21snmpd19:10:561
2387499621,43cyclictest23183-21ssh22:53:391
2387499621,41cyclictest7219-21ssh00:31:051
2387399621,28cyclictest0-21swapper/000:02:300
2387699614,6cyclictest0-21swapper/320:35:213
23875996118,27cyclictest0-21swapper/222:55:372
2387499613,46cyclictest7950irq/56-dwc_otg_23:10:351
2387499613,46cyclictest7950irq/56-dwc_otg_23:10:351
2387499611,38cyclictest1699-21/usr/sbin/munin00:25:231
2387499611,36cyclictest0-21swapper/123:44:561
2387399616,52cyclictest0-21swapper/022:40:260
23873996140,5cyclictest7850irq/56-dwc_otg_20:55:090
23873996115,27cyclictest2360-21aten_rbpower_en19:40:220
23875996013,22cyclictest20338-21cat21:30:392
2387499603,40cyclictest1149-21ssh21:46:591
2387499602,42cyclictest2288-21/usr/sbin/munin19:40:321
2387499601,46cyclictest2320-21diskmemload23:37:391
2387499601,45cyclictest327-21latency_hist19:35:091
2387499601,38cyclictest25487-21taskset20:42:181
2387599598,33cyclictest0-21swapper/221:50:262
23875995937,15cyclictest28725-21/usr/sbin/munin22:20:342
2387599593,10cyclictest7950irq/56-dwc_otg_21:35:372
23875995913,25cyclictest0-21swapper/222:30:442
2387499591,40cyclictest11599-21ssh22:40:061
2387499591,38cyclictest15506-21sed20:15:301
2387499591,36cyclictest23862-21chrt20:39:371
23873995910,36cyclictest814-21aten_rbpower_vo21:05:240
2387499581,45cyclictest12857-21cron20:10:091
2387499581,42cyclictest3354-21ssh23:47:501
2387499581,38cyclictest0-21swapper/120:15:071
2387499581,35cyclictest15363-21ssh00:01:581
2387499571,36cyclictest27183-21taskset19:19:091
2387399572,39cyclictest31113-21grep00:20:390
2387399571,34cyclictest12441-21unixbench_singl20:05:390
2387699563,39cyclictest0-21swapper/322:30:453
23875995612,19cyclictest0-21swapper/221:25:252
2387499561,52cyclictest12796-21ssh22:40:361
2387499561,35cyclictest0-21swapper/123:22:141
23873995630,4cyclictest18639-21unixbench-2d00:05:390
2387399561,41cyclictest0-21swapper/000:35:360
2387599554,12cyclictest0-21swapper/222:10:392
2387599553,14cyclictest743-21wc22:25:382
2387499551,42cyclictest0-21swapper/121:06:261
2387499551,37cyclictest7154-21taskset19:51:181
2387399552,45cyclictest0-21swapper/020:30:270
2387399552,42cyclictest0-21swapper/019:10:200
2387499543,38cyclictest0-21swapper/119:21:321
23873995437,7cyclictest7950irq/56-dwc_otg_19:25:230
23873995437,7cyclictest7950irq/56-dwc_otg_19:25:230
2387399542,43cyclictest22794-21unixbench_multi00:10:390
2387499531,34cyclictest7850irq/56-dwc_otg_20:04:501
2387399533,35cyclictest0-21swapper/022:20:090
19942530,2sleep20-21swapper/221:48:302
2387499526,43cyclictest1029-21/usr/sbin/munin19:35:311
2387499525,18cyclictest7950irq/56-dwc_otg_20:30:221
23873995218,5cyclictest28653-21grep19:20:370
2387399521,44cyclictest0-21swapper/020:25:280
2387399521,43cyclictest32576-21/usr/sbin/munin23:05:290
2387399521,43cyclictest0-21swapper/000:15:240
2387699513,19cyclictest0-21swapper/321:50:263
23873995134,6cyclictest7850irq/56-dwc_otg_20:11:080
2387399511,18cyclictest7821-21aten_rbpower_vo19:55:230
2387399502,36cyclictest13-21rcuc/023:55:260
23873995011,20cyclictest0-21swapper/020:00:380
2387399495,30cyclictest9-21ksoftirqd/019:50:200
234292493,39sleep20-21swapper/219:08:002
2387599484,17cyclictest13333-21sh00:00:212
2387399486,29cyclictest0-21swapper/020:40:240
23873994818,14cyclictest7750irq/56-dwc_otg19:15:370
2387399481,38cyclictest32067-21timerandwakeup19:30:360
2387399481,38cyclictest0-21swapper/023:13:090
2387399481,38cyclictest0-21swapper/023:13:090
235812482,37sleep00-21swapper/019:10:010
2387699477,26cyclictest0-21swapper/321:05:243
2387699477,25cyclictest0-21swapper/320:20:153
2387599477,9cyclictest7750irq/56-dwc_otg20:20:212
2387599473,11cyclictest0-21swapper/222:01:312
23875994720,11cyclictest0-21swapper/219:45:372
23873994722,13cyclictest101ktimersoftd/021:00:350
2387399471,32cyclictest0-21swapper/021:00:090
23875994537,6cyclictest7950irq/56-dwc_otg_23:35:202
142082450,5sleep30-21swapper/320:10:373
2387699447,25cyclictest0-21swapper/319:40:223
2387599446,25cyclictest12559-21ssh23:20:142
23875994422,5cyclictest233050wget19:40:222
2387399442,29cyclictest0-21swapper/019:45:200
23873994421,13cyclictest17163-21fschecks_time20:20:260
2387699437,24cyclictest0-21swapper/323:50:233
292092420,4sleep231-21ksoftirqd/223:40:232
2387699407,26cyclictest0-21swapper/319:20:223
2387599400,29cyclictest0-21swapper/223:25:222
2387599400,29cyclictest0-21swapper/223:25:222
219862400,1sleep20-21swapper/222:51:282
23876993914,4cyclictest16561-21latency_hist20:20:093
23876993816,5cyclictest11936-21sh00:37:093
2387599384,15cyclictest7750irq/56-dwc_otg23:55:092
23875993812,5cyclictest2320-21diskmemload22:15:402
152542380,2sleep20-21swapper/222:44:152
2387699376,21cyclictest0-21swapper/322:45:223
23876993718,5cyclictest381ktimersoftd/321:45:343
2387699371,5cyclictest7750irq/56-dwc_otg23:55:183
23876993715,5cyclictest22643-21/usr/sbin/munin00:10:383
23876993715,4cyclictest29040-21sh23:40:103
2387599374,4cyclictest7850irq/56-dwc_otg_20:40:312
2387599374,13cyclictest7750irq/56-dwc_otg20:55:382
23875993711,19cyclictest301ktimersoftd/219:35:242
52132360,3sleep32387699cyclictest19:45:373
2387699363,8cyclictest0-21swapper/323:25:203
2387699363,8cyclictest0-21swapper/323:25:203
23876993616,5cyclictest5892-21/usr/sbin/munin19:50:343
2387699361,3cyclictest0-21swapper/320:40:243
2387699361,25cyclictest29008-21ssh23:40:103
2387599368,3cyclictest7750irq/56-dwc_otg20:35:232
2387699353,26cyclictest7950irq/56-dwc_otg_22:40:233
2387699351,16cyclictest2335-21ssh00:25:333
2387599353,15cyclictest7850irq/56-dwc_otg_23:50:102
2387599352,7cyclictest0-21swapper/219:25:202
2387599352,7cyclictest0-21swapper/219:25:202
2387599352,7cyclictest0-21swapper/200:20:212
23875993522,10cyclictest0-21swapper/220:00:092
23875993514,5cyclictest9322-21sh21:56:482
2387599351,25cyclictest24686-21latency_hist23:35:092
2387599351,24cyclictest7463-21latency_hist19:55:102
2387699349,12cyclictest4635-21cut23:10:263
2387699349,12cyclictest4635-21cut23:10:263
2387699348,9cyclictest0-21swapper/300:04:033
2387699348,16cyclictest0-21swapper/323:05:243
2387699347,4cyclictest7750irq/56-dwc_otg23:45:303
2387599348,12cyclictest0-21swapper/220:10:262
2387599346,23cyclictest7950irq/56-dwc_otg_00:30:232
2387599342,17cyclictest7950irq/56-dwc_otg_00:40:102
2387599342,13cyclictest922450ssh23:55:212
23876993314,13cyclictest32668-21sshd19:35:043
2387599337,20cyclictest0-21swapper/220:05:242
2387599336,4cyclictest7850irq/56-dwc_otg_00:10:272
2387599332,4cyclictest0-21swapper/219:30:222
23875993313,4cyclictest27587-21latency_hist20:50:092
2387599331,16cyclictest0-21swapper/219:20:272
2387699329,5cyclictest0-21swapper/300:05:383
2387699323,25cyclictest7950irq/56-dwc_otg_19:25:203
2387699323,25cyclictest7950irq/56-dwc_otg_19:25:203
2387699322,16cyclictest0-21swapper/323:33:143
2387699321,22cyclictest0-21swapper/322:15:303
2387699321,14cyclictest30078-21ssh00:20:263
2387699321,13cyclictest7420-21ssh00:31:273
2387599326,6cyclictest28682-21ssh21:40:372
2387599325,17cyclictest0-21swapper/223:10:162
2387599325,17cyclictest0-21swapper/223:10:162
2387599324,15cyclictest7950irq/56-dwc_otg_00:25:232
23876993114,5cyclictest2320-21diskmemload00:17:033
23876993113,7cyclictest0-21swapper/321:41:043
2387599311,6cyclictest17353-21head22:45:382
23875993112,5cyclictest21107-21/usr/sbin/munin20:30:302
2387699308,6cyclictest39-21ksoftirqd/322:35:283
2387699308,4cyclictest26169-21sh20:45:263
2387699306,6cyclictest7750irq/56-dwc_otg20:50:203
2387699303,4cyclictest7950irq/56-dwc_otg_21:00:253
2387699301,4cyclictest7950irq/56-dwc_otg_20:00:243
2387699301,4cyclictest7850irq/56-dwc_otg_20:25:353
23876993011,5cyclictest29941-21basename20:55:283
2387599307,20cyclictest0-21swapper/220:15:222
2387599302,7cyclictest20023-21rm00:07:562
2387599301,9cyclictest9094-21unixbench_multi22:35:382
23875993010,4cyclictest27916-21cpu20:50:232
2387699299,10cyclictest381ktimersoftd/319:10:213
2387699298,8cyclictest20308-21tr22:50:243
2387699293,6cyclictest7750irq/56-dwc_otg20:30:233
23876992922,5cyclictest7819-21aten_rbpower_vo19:55:233
23876992920,6cyclictest27378-21latency_hist19:20:103
2387599299,5cyclictest7950irq/56-dwc_otg_21:05:372
2387599294,6cyclictest7950irq/56-dwc_otg_23:05:282
2387599294,4cyclictest0-21swapper/200:15:152
2387599291,18cyclictest627-21ls21:05:102
23875992911,5cyclictest24180-21grep19:10:272
2387699286,9cyclictest7950irq/56-dwc_otg_20:05:243
2387599285,5cyclictest7850irq/56-dwc_otg_20:00:252
2387599284,4cyclictest7750irq/56-dwc_otg20:25:272
2387699276,4cyclictest7750irq/56-dwc_otg19:35:263
2387599271,5cyclictest7850irq/56-dwc_otg_19:18:362
232862263,14sleep30-21swapper/319:06:073
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional