You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-03-28 - 04:38

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #4

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack7slot4s.osadl.org (updated Sat Mar 28, 2026 00:45:10)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2574699491,3cyclictest0-21swapper/219:10:122
25755994725,13cyclictest28366irq/58-eth000:05:133
2574699442,38cyclictest25058-21apt-get21:35:132
25729994428,9cyclictest0-21swapper/000:30:130
2574699434,35cyclictest0-21swapper/222:45:132
2574699432,36cyclictest0-21swapper/200:10:122
2574699431,32cyclictest0-21swapper/200:00:142
2575599422,22cyclictest28366irq/58-eth019:40:143
2574699423,35cyclictest22346irq/40-dwc2_hso23:10:132
2574699413,34cyclictest0-21swapper/221:45:112
2574699411,36cyclictest16023-21ssh21:30:142
2574699402,35cyclictest22346irq/40-dwc2_hso20:40:102
2574699390,3cyclictest0-21swapper/222:40:102
2574699384,30cyclictest12087-21ssh21:10:142
2574699382,31cyclictest18735-21apt-get22:25:122
2574699381,4cyclictest0-21swapper/223:05:142
2574699380,1cyclictest0-21swapper/223:20:142
2574699373,30cyclictest19911-21apt-get21:50:142
2574699371,32cyclictest511-21apt-get22:15:112
2574699371,2cyclictest0-21swapper/223:30:132
2574699371,2cyclictest0-21swapper/219:25:122
2574699370,2cyclictest5744-21apt-get20:30:122
2574699367,26cyclictest19894-21cron23:55:012
2574699361,4cyclictest0-21swapper/221:20:122
2574699361,3cyclictest0-21swapper/221:05:112
2574699361,3cyclictest0-21swapper/220:00:142
2574699361,3cyclictest0-21swapper/220:00:132
2574699361,33cyclictest29160-21ntp_192.168.11423:40:222
2574699361,31cyclictest0-21swapper/221:40:102
2573799363,25cyclictest21-21ksoftirqd/119:40:141
2574699355,27cyclictest16073-21awk23:15:252
2574699352,29cyclictest4450-21ssh22:35:122
2574699351,5cyclictest20200-21apt-get20:45:042
2574699351,4cyclictest3190-21apt-get19:20:142
2574699351,30cyclictest14045-21awk20:35:272
2574699351,26cyclictest24369-21kthreadcore19:40:202
2574699350,7cyclictest10958-21ls23:50:012
2574699350,7cyclictest10485-21cat22:00:312
2574699350,32cyclictest28574-21ssh21:18:352
2574699350,31cyclictest9010-21awk20:00:022
2574699350,2cyclictest0-21swapper/222:10:152
2575599349,16cyclictest0-21swapper/300:10:113
2574699348,23cyclictest15743-21sh22:21:562
2574699345,26cyclictest0-21swapper/223:25:102
2574699345,25cyclictest22346irq/40-dwc2_hso19:50:132
2574699343,27cyclictest0-21swapper/221:55:112
2574699341,30cyclictest11569-21ssh00:06:182
2574699341,29cyclictest10039-21fschecks_count00:25:162
2574699340,3cyclictest29651-21sshd20:51:442
2574699340,2cyclictest0-21swapper/222:05:132
2574699340,2cyclictest0-21swapper/222:05:122
2574699340,2cyclictest0-21swapper/221:25:142
2574699340,2cyclictest0-21swapper/220:05:122
2572999342,27cyclictest11253-21ssh23:50:140
2575599331,18cyclictest28366irq/58-eth022:00:133
2575599330,18cyclictest28366irq/58-eth000:00:133
2574699331,7cyclictest27804-21ssh23:58:362
25746993317,7cyclictest28137-21df_inode00:35:152
2574699331,4cyclictest27037-21ls20:15:222
2574699331,29cyclictest14141-21rm22:56:332
2574699331,29cyclictest14141-21rm22:56:322
2574699330,6cyclictest1670-21cut20:25:192
2574699330,2cyclictest0-21swapper/221:00:122
2574699330,22cyclictest24069-21ssh23:02:242
2572999332,28cyclictest1757-21ssh21:40:120
2574699321,8cyclictest23839-21users00:30:332
2574699321,28cyclictest22767-21/usr/sbin/munin20:10:292
2574699321,28cyclictest16240-21/usr/sbin/munin19:30:262
2574699321,27cyclictest28922-21sed20:20:182
2574699321,27cyclictest24172-21acpi00:15:102
2574699321,22cyclictest4519-21ntp_states00:20:272
2574699321,22cyclictest4519-21ntp_states00:20:262
2574699320,5cyclictest3385-21ssh22:34:142
2574699320,5cyclictest23870-21sshd23:38:322
2574699320,5cyclictest22131-21sshd19:39:222
2574699320,2cyclictest0-21swapper/220:55:112
25729993218,9cyclictest3359-21apt-get23:10:140
2574699313,25cyclictest22346irq/40-dwc2_hso22:50:142
2574699311,2cyclictest30782-21apt-get19:15:142
2573799312,23cyclictest17264-21users23:15:331
2572999311,24cyclictest19917-21ssh21:50:120
2574699301,26cyclictest28576-21cut19:45:192
2572999302,17cyclictest11669-21diskmemload22:25:110
2575599291,15cyclictest28366irq/58-eth021:55:133
2573799294,4cyclictest21-21ksoftirqd/123:37:231
2573799293,5cyclictest21-21ksoftirqd/100:18:471
2572999298,3cyclictest131rcu_preempt23:01:450
2572999291,22cyclictest22662-21ssh22:45:130
2575599281,21cyclictest28366irq/58-eth022:15:253
2573799286,9cyclictest0-21swapper/121:18:591
2573799284,5cyclictest21-21ksoftirqd/123:49:471
2573799284,4cyclictest21-21ksoftirqd/121:24:051
2573799284,11cyclictest21-21ksoftirqd/122:40:291
2573799283,5cyclictest21-21ksoftirqd/123:50:181
25737992812,11cyclictest0-21swapper/122:50:131
2572999289,10cyclictest12-21ksoftirqd/000:35:280
2575599272,18cyclictest0-21swapper/300:33:503
25755992721,4cyclictest321rcuc/300:25:023
25755992721,4cyclictest321rcuc/300:25:013
2575599272,13cyclictest28366irq/58-eth000:25:143
2573799275,3cyclictest131rcu_preempt23:20:431
2573799274,7cyclictest7810-21ntp_192.168.11419:55:251
2573799273,4cyclictest21-21ksoftirqd/121:39:511
25737992721,3cyclictest25946-21apt-get19:10:131
25737992720,3cyclictest5787-21apt-get22:00:131
25737992714,9cyclictest4428-21apt-get22:35:131
2572999278,10cyclictest12-21ksoftirqd/021:28:080
2572999274,5cyclictest12-21ksoftirqd/022:58:400
2572999274,5cyclictest12-21ksoftirqd/022:58:400
2572999274,5cyclictest12-21ksoftirqd/000:11:300
2572999273,5cyclictest12-21ksoftirqd/022:02:450
2572999272,5cyclictest3509-21ssh22:50:300
25729992712,4cyclictest12-21ksoftirqd/023:56:540
2573799264,4cyclictest21-21ksoftirqd/121:11:561
2573799263,5cyclictest21-21ksoftirqd/123:05:571
2573799263,4cyclictest21-21ksoftirqd/100:24:431
2573799263,4cyclictest21-21ksoftirqd/100:24:421
2573799261,8cyclictest0-21swapper/122:55:241
2573799261,8cyclictest0-21swapper/122:55:231
25737992614,8cyclictest17685-21df23:00:141
25737992614,3cyclictest21-21ksoftirqd/123:29:121
25737992611,8cyclictest0-21swapper/121:46:011
2572999265,4cyclictest12-21ksoftirqd/021:15:340
2572999265,3cyclictest131rcu_preempt23:07:360
2572999265,2cyclictest131rcu_preempt22:42:230
2572999264,7cyclictest131rcu_preempt22:33:050
2572999264,5cyclictest12-21ksoftirqd/023:44:280
2572999264,5cyclictest12-21ksoftirqd/021:35:140
2572999263,5cyclictest12-21ksoftirqd/023:30:130
2572999263,4cyclictest12-21ksoftirqd/022:17:120
2572999263,4cyclictest12-21ksoftirqd/022:10:070
2572999263,4cyclictest12-21ksoftirqd/020:45:300
2572999263,4cyclictest12-21ksoftirqd/000:00:150
2572999263,11cyclictest12-21ksoftirqd/022:05:080
2572999263,11cyclictest12-21ksoftirqd/022:05:070
2572999261,19cyclictest6039-21ssh00:05:150
25729992611,6cyclictest131rcu_preempt21:57:510
25755992513,8cyclictest28366irq/58-eth022:30:133
2573799255,6cyclictest0-21swapper/120:25:131
2573799254,4cyclictest21-21ksoftirqd/120:10:281
2573799254,4cyclictest21-21ksoftirqd/100:25:161
2573799253,8cyclictest21-21ksoftirqd/100:14:321
2573799253,4cyclictest21-21ksoftirqd/123:40:191
2573799253,4cyclictest21-21ksoftirqd/123:34:571
2573799253,4cyclictest21-21ksoftirqd/122:46:331
2573799253,4cyclictest21-21ksoftirqd/121:40:571
2573799252,9cyclictest21-21ksoftirqd/122:20:351
2573799252,4cyclictest21-21ksoftirqd/122:34:121
2573799252,4cyclictest21-21ksoftirqd/122:07:181
2573799252,4cyclictest21-21ksoftirqd/122:07:171
2573799252,4cyclictest21-21ksoftirqd/121:34:471
25737992515,7cyclictest29433-21apt-get00:00:131
2573799251,4cyclictest21-21ksoftirqd/122:28:261
25737992513,6cyclictest6037-21sh00:05:161
2573799250,6cyclictest2605-21irqcore21:00:181
2572999259,8cyclictest0-21swapper/019:15:150
2572999255,6cyclictest12-21ksoftirqd/019:55:190
2572999254,8cyclictest131rcu_preempt23:15:460
2572999253,6cyclictest12-21ksoftirqd/022:35:160
2572999253,5cyclictest12-21ksoftirqd/023:35:190
2572999253,5cyclictest12-21ksoftirqd/000:25:140
2572999253,4cyclictest12-21ksoftirqd/023:45:250
2572999253,4cyclictest12-21ksoftirqd/022:20:030
2572999253,4cyclictest12-21ksoftirqd/021:49:240
2572999253,4cyclictest12-21ksoftirqd/021:22:570
2572999253,4cyclictest12-21ksoftirqd/020:35:290
2572999253,4cyclictest12-21ksoftirqd/000:15:080
2572999253,10cyclictest12-21ksoftirqd/020:30:130
2572999252,9cyclictest12-21ksoftirqd/021:30:430
2572999252,6cyclictest12-21ksoftirqd/023:21:450
2572999252,4cyclictest12-21ksoftirqd/020:55:260
2572999252,4cyclictest12-21ksoftirqd/020:06:350
2572999252,10cyclictest12-21ksoftirqd/020:50:260
2572999251,6cyclictest12-21ksoftirqd/020:00:210
2572999251,6cyclictest12-21ksoftirqd/020:00:200
2574699240,5cyclictest25791-21latency_hist19:10:012
2573799247,13cyclictest0-21swapper/123:10:131
2573799244,10cyclictest21-21ksoftirqd/122:10:311
2573799243,5cyclictest21-21ksoftirqd/123:55:101
2573799243,5cyclictest21-21ksoftirqd/122:15:141
2573799243,5cyclictest21-21ksoftirqd/120:00:241
2573799243,5cyclictest21-21ksoftirqd/120:00:231
2573799243,4cyclictest21-21ksoftirqd/121:25:021
2573799241,7cyclictest23609-21usage_EthcTask00:30:311
2573799241,4cyclictest21-21ksoftirqd/122:00:001
2572999244,5cyclictest12-21ksoftirqd/000:20:120
2572999244,5cyclictest12-21ksoftirqd/000:20:120
2572999244,4cyclictest12-21ksoftirqd/019:30:160
2572999244,3cyclictest131rcu_preempt19:35:280
2572999243,5cyclictest12-21ksoftirqd/023:25:130
2572999243,5cyclictest12-21ksoftirqd/020:20:140
2572999243,4cyclictest12-21ksoftirqd/021:10:140
2572999243,4cyclictest12-21ksoftirqd/020:25:180
2572999243,4cyclictest12-21ksoftirqd/020:15:240
2572999243,4cyclictest12-21ksoftirqd/020:10:220
2572999242,5cyclictest12-21ksoftirqd/019:20:150
2572999242,4cyclictest12-21ksoftirqd/019:40:260
2575599238,10cyclictest0-21swapper/323:41:323
2575599231,16cyclictest28366irq/58-eth023:55:123
2573799234,4cyclictest21-21ksoftirqd/121:51:091
2573799234,4cyclictest21-21ksoftirqd/100:35:531
2573799233,4cyclictest21-21ksoftirqd/120:30:141
2573799233,3cyclictest21-21ksoftirqd/119:30:251
2573799231,18cyclictest10731-21ls20:35:161
2572999234,5cyclictest12-21ksoftirqd/021:00:290
2572999233,11cyclictest12-21ksoftirqd/019:25:160
2572999233,10cyclictest12-21ksoftirqd/019:45:220
2572999232,5cyclictest12-21ksoftirqd/019:10:140
2572999232,4cyclictest12-21ksoftirqd/019:50:020
25729992317,3cyclictest15328-21apt-get20:40:100
2572999230,6cyclictest12-21ksoftirqd/021:05:270
25755992214,5cyclictest0-21swapper/322:20:593
2573799228,12cyclictest0-21swapper/120:15:121
2573799224,4cyclictest21-21ksoftirqd/120:40:251
2573799223,4cyclictest21-21ksoftirqd/121:05:171
2573799222,9cyclictest21-21ksoftirqd/119:15:131
2573799222,4cyclictest21-21ksoftirqd/119:35:151
2573799221,4cyclictest21-21ksoftirqd/120:20:241
25737992211,6cyclictest6981-21grep19:20:291
25755992116,3cyclictest321rcuc/300:15:203
25755992115,4cyclictest321rcuc/323:35:223
25755992115,4cyclictest321rcuc/323:00:253
25755992113,5cyclictest0-21swapper/323:46:303
25755992113,5cyclictest0-21swapper/323:12:003
25755992112,6cyclictest28366irq/58-eth021:10:143
25755992111,6cyclictest28366irq/58-eth021:35:133
25755992110,8cyclictest0-21swapper/322:10:193
2573799214,5cyclictest21-21ksoftirqd/120:55:171
25737992114,4cyclictest8296-21ps19:25:161
2573799210,4cyclictest19904-21apt-get20:45:021
25755992014,4cyclictest28466irq/59-eth021:52:373
25755992014,4cyclictest0-21swapper/322:29:563
25755992014,4cyclictest0-21swapper/322:05:123
25755992014,4cyclictest0-21swapper/322:05:123
25755992013,4cyclictest0-21swapper/321:45:113
2575599201,12cyclictest0-21swapper/321:05:163
25755992010,8cyclictest0-21swapper/323:06:403
2573799209,8cyclictest14257-21tune2fs20:05:171
2573799202,7cyclictest21-21ksoftirqd/119:47:151
2573799201,7cyclictest1896-21kthreadcore19:50:211
2573799201,3cyclictest21-21ksoftirqd/120:50:241
25755991914,3cyclictest28466irq/59-eth023:30:243
25755991914,3cyclictest28466irq/59-eth021:25:503
25755991913,4cyclictest0-21swapper/323:50:163
25755991913,4cyclictest0-21swapper/323:25:123
25755991913,4cyclictest0-21swapper/323:20:143
25755991913,4cyclictest0-21swapper/323:15:233
25755991913,4cyclictest0-21swapper/322:55:303
25755991913,4cyclictest0-21swapper/322:55:303
25755991913,4cyclictest0-21swapper/322:50:143
25755991913,4cyclictest0-21swapper/322:40:513
25755991913,4cyclictest0-21swapper/322:35:433
25755991913,4cyclictest0-21swapper/321:40:373
25755991913,4cyclictest0-21swapper/321:15:193
25755991913,4cyclictest0-21swapper/320:25:153
2572999191,6cyclictest12-21ksoftirqd/019:10:010
2575599189,6cyclictest0-21swapper/319:15:223
2575599188,7cyclictest33-21ksoftirqd/319:55:163
25755991812,4cyclictest321rcuc/320:10:163
25755991812,4cyclictest0-21swapper/322:45:073
25755991812,4cyclictest0-21swapper/321:30:083
25755991812,4cyclictest0-21swapper/320:55:313
25755991812,4cyclictest0-21swapper/320:45:283
25755991812,4cyclictest0-21swapper/319:50:283
25755991812,4cyclictest0-21swapper/319:45:213
25755991812,4cyclictest0-21swapper/319:30:183
25755991812,4cyclictest0-21swapper/319:10:183
25755991812,4cyclictest0-21swapper/300:35:063
25755991810,5cyclictest28366irq/58-eth021:20:113
2575599178,3cyclictest0-21swapper/320:15:213
2575599172,10cyclictest0-21swapper/319:35:213
25755991711,4cyclictest0-21swapper/320:50:183
25755991711,4cyclictest0-21swapper/320:35:143
25755991711,4cyclictest0-21swapper/320:30:253
25755991711,4cyclictest0-21swapper/320:20:203
25755991711,4cyclictest0-21swapper/320:05:183
25755991711,4cyclictest0-21swapper/320:00:173
25755991711,4cyclictest0-21swapper/320:00:173
25755991711,4cyclictest0-21swapper/319:20:133
25755991610,4cyclictest0-21swapper/321:00:193
25755991610,4cyclictest0-21swapper/320:40:263
25755991610,4cyclictest0-21swapper/319:25:133
25755991610,4cyclictest0-21swapper/319:10:013
2573799131,8cyclictest25735-21latency_hist19:10:011
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional